MLflow für LLMs
MLflow, bekannt für seinen umfassenden ML-Lifecycle-Support, hat seinen Fokus auf LLMs erweitert. Der MLflow AI Gateway Service vereinfacht LLM-Nutzung und Credential-Management für bekannte API-Anbieter ebenso wie für Custom-Lösungen. Zugleich wurde das Tracking-Feature erweitert, um die Auswahl und Evaluation von LLMs sowie das Prompt Engineering zu begleiten. Unterstützt werden prompt-basierte Modellvergleiche, diverse Evaluationsmetriken, und das Tracking von Prompt-Output-Kombinationen. Doch wie bewähren sich diese Funktionen in der Praxis?In diesem Vortrag möchten wir unsere Erfahrungen, Einsichten und Gedanken mit euch teilen und einige Fragen beantworten.
Vorkenntnisse
Erste Erfahrungen mit LLMs oder MLflow sind von Vorteil, aber nicht notwendig.
Lernziele
Antworten auf folgende Fragen:
- Wie schneidet der AI Gateway Service im Vergleich zu ähnlichen Angeboten ab?
- Wie geeignet sind die Tracking-Funktionen für reale Anforderungen und Arbeitsabläufe?
- Wie praktikabel ist die Erweiterung der Dienste und Funktionen für individuelle Lösungen?
- Wie flexibel sind die Services einsetzbar?
- Wie sind sie auf eigene Daten anwendbar?
Speaker
Zarah Weiss arbeitet bei der Novatec Consulting GmbH. Sie ist Senior Consultant für Data Science und Maschinelles Lernen. Ihr Schwerpunkt liegt im Bereich Natural Language Processing. In der Praxis unterstützt sie Kunden aus Industrie und Wirtschaft bei der Entwicklung und Umsetzung von KI-Projekten. Dabei liegt ihr das Thema MLOps besonders am Herzen.
Harald Bosch arbeitet als Data Scientist bei der Novatec Consulting GmbH. Er wurde am Institut „Visualisierung und Interaktive Systeme“ im Bereich Datenvisualisierung und -Analyse promoviert und hat sich seither auch mit vielen Themen der Softwareentwicklung beschäftigt.
M3-Newsletter
Du möchtest über die Minds Mastering Machines
auf dem Laufenden gehalten werden?