ML-Modelle mit Open-Source-Tools verwalten und deployen

Sobald die Modellentwicklung abgeschlossen ist, stellt sich die große Frage, wie ein Modell in Produktion gelangen kann. Im vergangenen Jahr kamen zahlreiche Frameworks auf den Markt, die das Ziel haben, die Inbetriebnahme der Modelle zu vereinfachen. Der Fokus der verschiedenen Frameworks erstreckt sich hierbei von der Daten- und Modellverwaltung bis hin zum Deployment der Modelle auf unterschiedlichen Cloud-Plattformen.

Im Vortrag wird aufgezeigt, wie die Verwaltung und Inbetriebnahme von Modellen durch eine geeignete Auswahl von Open-Source-Bibliotheken vereinfacht werden kann. Dazu werden die Technologien DVC, ONNX und cortex vorgestellt. Der Hauptfokus des Vortrags liegt dabei auf cortex.

Es wird gezeigt, wie die Technologien bei der Inbetriebnahme des Modells zusammenspielen. Dazu deployen wir beispielhaft ein Modell auf AWS. Anhand dieses Beispiels wird herausgearbeitet, welche Details hierbei zu beachten sind und welche Vorteile wir durch das Zusammenspiel dieser Technologien gewinnen.

Vorkenntnisse

Es sind keine Vorkenntnisse für den Vortrag erforderlich. Dennoch ist es hilfreich, ein grundlegendes Verständnis der Cloud-Technik (z.B. AWS) und von Kubernetes mitzubringen.

Lernziele

Ziel des Vortrags ist es, eine Einführung in die Technologien DVC, ONNX und cortex zu geben und zu zeigen, wie ein Modell mithilfe dieses Stacks auf AWS deployt werden kann.