MLOps: Serving und A/B testing

Ob Produktempfehlung oder personalisierte Social Media Feed, sobald Benutzerinput Teil der Evaluierung ist, stellen sich folgende Fragen:

• Modelle trainiert, was nun?
  
• Wie mache ich Modelle für meine Organization verfügbar?
  
• Welches Modell generiert den stärksten Uplift?
  
• Performt ein Modell noch auf neuen Daten oder muss neu trainiert werden?
  
• Und wie automatisiere ich all diese Prozesse?
  

Anhand eines praxisnahen Use-Case gehen wir auf diese Fragen ein. Dieser ist unter anderem mit Kubernetes, Istio und Seldon realisiert.

Vorkenntnisse

Grundlegende Kubernetes/Container/Microservice Konzepte

Lernziele

• Grundlegende Konzepte, Architektur und Herausforderung von Model Serving und Experiments in der Praxis
  
• Überblick über die bestehenden Frameworks für packaging, serving und A/B Experimenten von ML Modellen
  
• Einblick in Praxisbeispiele: Inferenz via REST, definieren und durchführen von A/B Tests, bis zu progressivem Rollout von Modellen basieren auf benutzerdefinierten SLOs