Operating GenAI – LLMOps Best Practices

Der Betrieb von LLMs erfordert neue Lösungen. Im Vergleich zum klassichen MLOps greifen unter anderem die bekannten Evaluationstechniken nicht mehr: Das Modellhosting ist nun eine Make-or-Buy-Entscheidung, und es ergeben sich neue Angriffsmöglichkeiten.

Von der Modellauswahl über die Evaluation von Prompts und Monitoring bis hin zu robusten Strategien für Skalierbarkeit und Sicherheit stellt der Vortrag neue Lösungen für den erfolgreichen Betrieb von LLM-basierten Lösungen vor. Neben technischen Aspekten werden auch organisatorische Herausforderungen thematisiert, etwa die Gestaltung effektiver Teams und die Integration in bestehende Unternehmensprozesse.

Anhand realer Anwendungsbeispiele und Lessons Learned aus erfolgreichen GenAI-Projekten vermittelt der Vortrag konkrete Ansätze, um LLMOps nicht nur als technisches Werkzeug, sondern als strategisches Erfolgskonzept zu nutzen.

Vorkenntnisse

Grundprinzipien der Softwareentwicklung, insbesondere

• der Lebenszyklus von Softwareprojekten
  
• die Rolle von Daten in modernen Anwendungen
  
• die Bedeutung von Deployment- und Monitoring-Prozessen
  

Lernziele

Die Teilnehmenden lernen die Grundlagen von LLMOps kennen, inklusive Best Practices für Bereitstellung, Überwachung und Optimierung von GenAI-Systemen. Sie erhalten Einblicke in organisatorische Anforderungen, typische Herausforderungen und Lösungsstrategien. Ziel ist es, fundiertes Wissen zu vermitteln, um GenAI effizient und nachhaltig in der eigenen Organisation einzusetzen.