Mit Flow-Based Programming ein Orchester aus ML-Microservices dirigieren

Machine-Learning-Modelle sind in der Praxis nie isoliert – ihre Inputs müssen spezifisch aufbereitet werden und ihre Outputs bedürfen einer modellspezifischen Interpretation. Diese Aufgaben gemeinsam in einen Microservice auszulagen, der atomar ein Modell ausführt, ist offensichtlich.

• Was jedoch, wenn mehrere Modelle in Reihe ausgeführt werden müssen?
• Wie verhindert man ein "Tight Coupling", bei dem jede Änderung eines Modells Änderungen an allen darauf folgenden Modellen mit sich bringt?
• Was tun, wenn der Output eines Modells in verschiedene andere Modelle eingehen soll, die Berechnung jedoch zu aufwändig ist, um einfach mehrmals ausgeführt zu werden?
• Und wie sorgt man in einem solchen Setup dafür, dass die Data Scientists ohne Bruch zu den in Produktion verwendeten Modellen arbeiten können?

Diese Fragen hat Nect für sich beantwortet und die Lösung in einer Kombination aus Flow-based Programming und einem praktischen Template für Machine-Learning-Microservices gefunden. Die Vor- und Nachteile dieser Konstruktion werden im Detail und praxisnah beleuchtet, so dass einer Adaption in Ihren Workflow nichts im Wege steht.

Vorkenntnisse

Ein grundlegendes Verständnis von Microservices ist hilfreich, aber keine Voraussetzung.

Lernziele

Dieser Vortrag bietet nützliche Hinweise zum Aufbau von Microservices und einer auf Microservices basierenden Architektur für Deep Learning Inference.