MLOps in der Cloud

Reale, praxisrelevante KI-Applikationen sind äußert selten als allein stehende Anwendungen zu begreifen. Meistens ist das Ziel, sie als Komponenten oder Services in größere Softwarelandschaften einzubinden, in denen die maschinellen Lernverfahren ihren Mehrwert entfalten. Doch vom PoC bis zu einem soliden, produktiven Betrieb kann es ein sehr weiter und steiniger Weg sein. Außerdem kann sich unterwegs das benötigte Skillset dramatisch ändern.

Je weiter wir uns dem Ziel nähern, umso weniger sind Data-Science- bzw. ML-Fragestellungen (wie z.B. Datenqualität, Modell-Design etc.) relevant – diese werden im Prozess nach und nach geklärt und verfeinert. Viel mehr rücken Überlegungen aus der klassischen Softwareentwicklung in den Vordergrund wie Pipelines, Monitoring, Skalierung, Stabilität, Verfügbarkeit etc. also Dinge, die Richtung DevOps gehen. Somit sind wir im Themenkomplex MLOps angekommen, was Data-Science-Teams vor teils große Herausforderungen stellen kann:

• Auswahl der passenden Werkzeuge & Dienste
  
• Aufbau von effizienten Workflows und robusten CI/CD-Pipelines
  
• Anforderung oder Aufbau der benötigten Infrastruktur
  
• Integration in Bestandsarchitektur
  
• Feedback-Kanal für Continuous Training (CT)
  
• Verfügbarkeit und Skalierung der Inferenzendpunkte
  
• uvm.
  

Viele dieser Bedarfe haben kleine und große (Cloud-)Anbieter erkannt und stellen immer bessere Werkzeuge zur Verfügung, um die Produktivnahme und -nutzung von KI-Anwendungen zu erleichtern. Nicht immer ist es sinnvoll, in die Cloud zu gehen, doch gibt es oftmals gute Gründe, diese Angebote zu nutzen oder zumindest zu evaluieren.

Wir wollen am Beispiel von Microsoft Azure schauen, wie MLOps praktisch in der Cloud umgesetzt werden kann und was alles dazu gehört.