MLOps – wie bringt man ein ML-Modell in Produktion und hält es dort?
MLOps beschäftigt sich mit der Herausforderung, ein Machine-Learning-Modell in Produktion zu bringen und es dort erfolgreich zu betreiben.Dementsprechend besteht der Workshop aus drei Teilen:
- Professionalisierung: Umwandlung eines bestehenden Notebooks in Libraries, Tests, Scripte und ein resilientes Modell
- Produktivsetzung: Erstellen eines OpenAPI Server, Betrieb mit Docker und Kubernetes
- Monitoring: Drift Detection mit Prometheus, Evidently und Grafana
Vorkenntnisse
Als ML-Werkzeug werden wir TensorFlow nutzen, allerdings ist dies nur ein Beispiel, und alles Gezeigte gilt auch für alle anderen Frameworks. Es wird lediglich Erfahrung mit Python und ein Verständnis für ein Machine-Learning-Projekt vorausgesetzt. Alles andere wird soweit nötig im Workshop eingeführt.
Lernziele
Teilnehmer:innen sollen anhand eines in sich stimmigen Satzes von Werkzeugen die Konzepte und Ansätze im Bereich MLOps kennenlernen und diskutieren können.
Agenda
ab 09:00 Uhr: Registrierung und Begrüßungskaffee (Wer noch Hilfe bei der Installation braucht, kann bereits jetzt erscheinen) 10:00 Uhr: BeginnEinleitung / Grundlagen (Olli 1h)
- Unser Beispiel
- Unser Ausgangspunkt: Notebooks
- Übersicht MLOps
- Bestehendes Notebook professionalisieren
- Das Modell mit FastAPI via REST bereitstellen
- Einführung in die Containerisierung
- Training und Deployment in Containern
- Mit vorhandener Infrastructure as Code einen Cluster erzeugen
Betrieb (Tobi 1,5h)
- Aufsetzen eines Clusters mittels Terraform in Kind
- Überblick über die verschiedenen Anwendungen im Cluster
- Die Build und Trainings-Pipeline ausführen (CI)
- Deployment der ML Anwendung und des Modells (CD)
Monitoring (Olli 1h)
- Drift verstehen und detektieren
- Drift Detection mit Prometheus, Evidently und Grafana
Abschluss (Alle 0,5h)
- Zusammenfassung
- Offene Fragen
- Ausblick
Technische Anforderungen
Die Teilnehmer:innen benötigen einen zeitgemäßen Laptop mit freiem Internet-Zugang und Admin-Rechten.Notwendige Software, Voraussetzung für die Teilnahme, bitte schon vor dem Workshop installieren:
- Einen aktuellen Chrome Browser und ein Google Login
- git
- Empfohlen für Windows: WSL2 mit Ubuntu für Shell und Docker
- kubectl
- docker
- kind
- terraform
- Als Bonus: k9s
- Workshop-Teilnehmer:in hat keine Administrator-Rechte.
- Corporate Laptops mit übermäßig penibler Sicherheitssoftware
- Gesetzte Corporate-Proxies, über die man in der Firma kommunizieren muss, die aber in einer anderen Umgebung entsprechend nicht erreicht werden.
Speaker
Oliver Zeigermann ist Softwareentwickler aus Hamburg. Er entwickelt seit über 35 Jahren Software mit unterschiedlichen Ansätzen und Programmiersprachen. In letzter Zeit hat er sich vor allem mit Machine Learning und dessen Kommunikation mit dem Menschen beschäftigt.
Tobias Kurzydym ist Enterprise Entwickler aus Oldenburg. Während seiner 7 Jahre als Software-Entwickler beschäftigte er sich neben der Enterprise Entwicklung mit Quarkus und Spring in seinen letzten 2 Jahren bei Open Knowledge viel mit Cloud Native und DevOps Themen. Jetzt verlagert sich der Schwerpunkt auf MLOps. Neben der Arbeit findet man ihn in der Boulderhalle.
Yannick Habecker ist Software Developer aus Oldenburg. Seit seinem Masterstudium mit Schwerpunkt Machine Learning beschäftigt er sich insbesondere mit Deep Learning. Bei der open knowledge GmbH bringt er seine beiden Leidenschaften Software Development und Machine Learning zusammen.
M3-Newsletter
Du möchtest über die Minds Mastering Machines
auf dem Laufenden gehalten werden?