Modelle mit Open-Source-Technologien betreiben

Nach der erfolgreichen Modellentwicklung steht das Überführen des Modells in eine Produktivumgebung an. Doch Modelle zuverlässig und effizient zu betreiben, ist kein leichtes Unterfangen, da hier zahlreiche neue Herausforderungen uns erwarten.

Glücklicherweise sind in den letzten Jahren neben den verschiedenen Trainingsbibliotheken neue Frameworks und Tools auf dem Markt erschienen, die sich vor allem um das den effizienten und zuverlässigen Betrieb der Modelle fokussieren.

Im Vortrag werden zu Beginn verschiedene Herausforderungen für die Inbetriebnahme der Modelle identifiziert. Weiterhin werden verschiedene Projekte wie ONNX Runtime, TensorFlow Serving & Cortex vorgestellt.

Ziel des Vortrags ist es, Tools für das Modell-Deployment kennenzulernen und wie sich diese in der Praxis unterscheiden.