Betrieb einer Kubeflow-basierten Plattform für Enterprise-Data-Science-Teams
Der produktive Betrieb von Plattformen für große Data-Science-Teams stellt für viele Unternehmen und Organisationen eine signifikante Herausforderung dar. Data Scientists arbeiten selbst mit immer wechselnden und heterogenen Aufgaben, Daten und Modellen – daher wird auch von der Plattform eine Dynamik erwartet, die mit diesen Anforderungen skaliert.
In diesem Vortrag berichten wir über die Herausforderungen im Produktionsbetrieb einer MLOPs-Platfform die aus Open-Source-Komponenten wie Kubeflow, JupyterLab und KServe besteht.
Wir zeigen, wie die Plattform zur Erstellung von Modellen in CI/CD-Umgebungen bis hin zum Deployment auf einer heterogenen Umgebung verwendet wird. Ebenso gehen wir auf die praktischen Herausforderungen des Betriebs ein, beispielsweise die Erstellung von wiederverwendbaren ML-Pipelines sowie die effiziente Skalierung von Ressourcen.
Zuletzt beleuchten wir die Sicherheitsaspekte, die beim Einsatz von Open-Source-basierten Lösungen berücksichtigt werden sollten und gehen auf das Thema Datensouveränität mit Relevanz für den MLOps-Betrieb auf Public Clouds ein.
Vorkenntnisse
Die Teilnehmer:innen sollen idealerweise ein grundlegendes Verständnis von ML bzw. MLOps haben.
Lernziele
- Praktische Herausforderungen aus dem Gebiet MLOps
- Vor- und Nachteile beim Einsatz von Open-Source Komponenten
- Sicherheit im MLOps Betrieb
- Relevanz von Datensouveränität der Cloud-Infrastruktur