Spieglein an der Wand, welches ist das beste Modell im ganzen Land?

Je nach Anwendungsfall kommen im Bereich des Maschinellen Lernens neben diversen Modellklassen auch unterschiedliche Validierungsmetriken in Betracht, um Modelle zu bewerten und schließlich vergleichen zu können. Im Fall einer Klassifikation ist das bspw. die Genauigkeit. Doch es gibt auch noch weitere Metriken zur Bewertung der Ergebnisse eines ML-Modells. Weitere wünschenswerte Eigenschaften von Modellen beziehen sich etwa nicht nur auf die Qualität der Modellrückgaben, sondern auch auf ihren Ressourcenverbrauch.

In diesem Vortrag werden wir über den Weg der Modellvalidierung sprechen und dabei unter anderem mögliche Metriken für ausgewählte Anwendungsfälle vorstellen.

Vorkenntnisse

Vorkenntnisse in Statistik und Optimierung sind von Vorteil.

Lernziele

• Verständnis der Validierungspipeline
  
• Verständnis diverser Metriken