AI Engineering: KI-Systeme produktiv entwickeln

Ein KI-Assistent kann im Prototyp überzeugende Antworten liefern, im produktiven Einsatz jedoch an fehlerhaften Schnittstellen, schwankender Antwortqualität oder hohen Modellkosten scheitern. Für die zuverlässige Bearbeitung technischer Serviceanfragen müssen Sprachmodelle, Unternehmenswissen, Werkzeuge und Freigabeprozesse in einer belastbaren Systemarchitektur zusammenwirken. AI Engineering schafft dafür die methodische Grundlage: von der Auswahl geeigneter Modelle über die Integration und Evaluation bis zur Bereitstellung einer KI-Anwendung im Unternehmensumfeld.

Als Aufbaumodul des TAE-Lernpfads AI Engineer vermittelt das Seminar die Kompetenzen, um aus ersten KI-Prototypen zuverlässige und produktiv einsetzbare KI-Systeme zu entwickeln.

AI Engineering verbindet die Entwicklung KI-gestützter Anwendungen mit den Anforderungen an Systemintegration, Qualitätssicherung und produktiven Einsatz. Anhand eines durchgängigen Praxisfalls zur Bearbeitung technischer Serviceanfragen erarbeiten Sie eine belastbare KI-Systemarchitektur und setzen die wesentlichen Komponenten praktisch um. Dabei stehen die Auswahl und Integration unterschiedlicher Sprachmodelle, die systematische Evaluation sowie die Bereitstellung eines funktionsfähigen KI-Systems im Mittelpunkt.

Nach der Weiterbildung können Sie:

• Systemarchitekturen für KI-Anwendungen anhand fachlicher und technischer Anforderungen entwerfen.
• Sprachmodelle hinsichtlich Qualität, Kosten, Latenz, Datenschutz und Betriebsmodell bewerten.
• Sprachmodelle, Prompts, Wissensquellen und Werkzeuge in robuste KI-Workflows integrieren.
• Evaluationsverfahren zur systematischen Qualitätssicherung von KI-Ausgaben aufbauen.
• KI-Anwendungen bereitstellen und technische Anforderungen an Sicherheit, Dokumentation und Betrieb einordnen.

Die Weiterbildung vertieft zentrale Kompetenzen des AI Engineering und qualifiziert Sie, KI-Systeme ganzheitlich zu konzipieren, technische Komponenten zu integrieren und deren Qualität für den produktiven Einsatz systematisch abzusichern.

Nutzen der Weiterbildung

Die Weiterbildung erhöht die Entscheidungssicherheit bei der technischen Konzeption und Umsetzung produktiver KI-Anwendungen. Strukturierte Entwicklungs- und Prüfprozesse reduzieren Integrationsfehler, Qualitätsrisiken und unnötige Modellkosten. Dadurch lassen sich KI-Projekte nachvollziehbarer umsetzen und zuverlässiger in bestehende Arbeitsabläufe überführen.

TAG 1: Architektur, Modellauswahl und Integration

1. Architektur produktiver KI-Systeme

Vom Anwendungsfall zur Systemarchitektur (Praxisbeispiel: KI-gestützte Bearbeitung technischer Serviceanfragen – der durchgängige Fall des Seminars).

• Anforderungen aufnehmen: Nutzer, Datenquellen, Qualitätsziele, Risiken
• Architekturmuster: Assistent, RAG, Agent, Batch-Pipeline, Mensch-in-der-Schleife
• Komponenten und ihre Verantwortung: Orchestrierung, Modellzugriff, Wissen, Werkzeuge, Protokollierung
• Übung: Architekturskizze für den Serviceanfragen-Fall erstellen und begründen

2. Auswahl und Nutzung von KI-Modellen

Das richtige Modell für die richtige Aufgabe (Praxisbeispiel: Klassifikation, Extraktion und Antwortgenerierung mit unterschiedlichen Modellen).

• Modelllandschaft: geschlossene und offene Modelle – Leistungsklassen und Preismodelle
• Betriebsmodelle: Anbieter-API, Cloud-Plattform des Unternehmens, EU-Hosting, lokaler Betrieb
• Prompting, RAG oder Fine-Tuning? Entscheidungskriterien und typische Fehlentscheidungen
• Hands-on: Benchmark dreier Modelle auf einem Testset – Ergebnisse und Kosten vergleichen
• Aufgaben aufteilen: kleine Modelle für einfache Schritte, große für schwierige

3. Integration von LLMs in Anwendungen

Modelle sauber anbinden – austauschbar und robust.

• API-Grundlagen: Nachrichtenformat, Parameter, strukturierte Ausgaben, Tool Calling
• Abstraktionsschicht für Anbieterwechsel: warum man nie fest verdrahtet
• Fehlerbehandlung: Timeouts, Ratenlimits, ungültige Antworten, Fallbacks
• Hands-on: Modellzugriff mit Anbieterwechsel in der Low-Code-Umgebung aufbauen

4. Komponenten zusammenfügen

Serviceanfragen-System Schritt für Schritt (Praxisbeispiel: Eingang klassifizieren, Wissen abrufen, Antwortentwurf erzeugen, Freigabe).

• Prompt-Design für Anwendungen: Systemprompts, Vorlagen, Versionierung
• Schnittstelle Wissen: Retrieval-Schritt einbinden – Aufbau und Optimierung von RAG-Systemen im eigenen Modul
• Schnittstelle Werkzeuge: Bestandsdaten und Ticketsystem anbinden
• Hands-on: End-to-End-Workflow mit Mensch-in-der-Schleife

5. Zusammenfassung Tag 1 und offene Fragerunde

***

TAG 2: Qualitätssicherung, Bereitstellung und Betrieb

6. Evaluation und Qualitätssicherung von KI-Systemen

Qualität messbar machen (Praxisbeispiel: 100 historische Serviceanfragen mit Referenzantworten als Testset).

• Testdaten aufbauen: Repräsentativität, Grenzfälle, sensible Fälle
• Metriken: Trefferquote, Antworttreue, Vollständigkeit, Regelkonformität, Kosten pro Fall
• LLM-as-a-Judge, Regelprüfungen und menschliche Bewertung kombinieren
• Hands-on: Evaluations-Pipeline aufbauen und Prompt-Änderung messbar bewerten
• Regressionstests bei Modell- oder Prompt-Wechsel

7. Sicherheit und Verantwortung

Angriffsflächen und Schutzmaßnahmen im Gesamtsystem.

• Prompt Injection, Datenabfluss, unerwünschte Ausgaben – Risiken und Gegenmaßnahmen
• Eingabe- und Ausgabefilter, Berechtigungen, Protokollierung
• Transparenz gegenüber Nutzer, Kennzeichnung von KI-Ausgaben
• Schnittstelle Governance: welche Anforderungen des EU AI Act das System berühren – Umsetzung im Modul „AI Governance & EU AI Act“

8. Deployment von KI-Anwendungen

Eine Variante praktisch, die Alternativen im Überblick (Praxisbeispiel: das Serviceanfragen-System als Dienst bereitstellen).

• Hands-on: Workflow als Service bereitstellen und aus der Kollaborationsumgebung der Teilnehmenden aufrufen (z. B. Teams)
• Alternativen im Überblick: Cloud-KI-Plattformen, Container, Integration in Office-Assistenten – Auswahlkriterien
• Konfiguration, Geheimnisse, Umgebungen (Test/Produktion)
• Schnittstelle Betrieb: Monitoring, Versionierung, Modellwechsel – Vertiefung im Modul „MLOps & LLMOps“

9. Projektwerkstatt

Transfer auf den eigenen Anwendungsfall.

• Architektur, Modellwahl und Evaluationsplan für den eigenen Use Case skizzieren
• Aufwand, Kosten und Risiken abschätzen
• Präsentation und Feedback in der Gruppe

10. Zusammenfassung Tag 2 und offene Fragerunde

Hinweis: Auf Wunsch können Sie eigene Praxisbeispiele mit realen Daten und Anwendungsfällen aus Ihrem Unternehmen mitbringen und im Seminar diskutieren. Voraussetzung dafür ist die Bereitstellung der Informationen 3 Wochen vor dem Termin des Seminars.