Keep an eye on AI – ML-Modelle in Produktion überwachen

Wir haben unser Machine-Learning-Modell in Produktion deployt – aber damit ist unser Data-Science-Projekt noch lange nicht fertig.

Ein produktives Modell muss sich vielen Herausforderungen stellen. Im Gegensatz zu "traditioneller" Software verschlechtert sich die Qualität eines Machine Learning Systems mit der Zeit. Wir müssen es kontinuierlich monitoren und neue Versionen bauen und releasen.

In diesem Talk lernst du, wie du ML-Modelle in Produktion überwachst.

Wir reden über schnelle Deployment-Zyklen, DevOps und über die Entscheidung, ob unser Modell noch einen Mehrwert liefert. Außerdem erkunden wir Strategien, die Katastrophen verhindern können, wenn wir unser neues Modell deployen.

Vorkenntnisse

• Grundkenntnisse Softwareentwicklung
  
• Grundkenntnisse Machine Learning
  
• Grundkenntnisse DevOps
  

Lernziele

• Warum sind wir nicht fertig, wenn wir live sind?
  
• Was passiert mit meinem Modell in Produktion?
  
• Wann liefere ich ein neues Modell aus?
  
• Active Learning vs. Online Learning
  
• Wie kann ich User-Feedback in meinen Prozess einbeziehen?
  
• Wie kann ich "Shadow Models" und A/B-Tests verwenden, um ohne Angst kontinuierlich neue Modellversionen nachzuliefern?