Wie bewerte ich die Qualität meines ML-Modells?

“Traue keiner Statistik, die du nicht selber gefälscht hast.” – Ein scheinbar gutes Ergebnis mit Hilfe von maschinellen Lernverfahren ist oft schnell erzielt oder wird von anderen als bahnbrechend verkauft. Doch auf welche Gütemaße kann man sich bei einem Klassifikations- oder Regressionsproblem wirklich verlassen? Und wie wird sichergestellt, dass Ergebnisse mit der richtigen Methodik erzielt wurden und somit belastbar und übertragbar sind?

In unserem Vortrag wollen wir praxisnah anhand von Beispielen aus unseren eigenen Forschungsfeldern (medizinische Bildgebung bzw. industrielle Datenanalyse) vorstellen, wie Daten zunächst korrekt partitioniert werden und welche Daten sich zum Validieren eignen.

Wir stellen im Weiteren die wichtigsten Gütemaße für Klassifikations- und Regressionprobleme vor und klären, in welchem Anwendungsfall diese eingesetzt werden sollten. Gleichzeitig wollen wir für typische Fehler in der Auswertungsmethodik sensibilisieren.

Vorkenntnisse

Grundlagen im Bereich Machine Learning und Statistik sind von Vorteil, aber nicht zwingend erforderlich.

Lernziele

* Wie ein Machine-Learning-Modell methodisch korrekt hinsichtlich der individuellen Anforderung validiert wird, ohne dass es etwa zu Overfitting oder einem Prävalenzfehler kommt.
* Wissen, welche Gütemaße in individuellen Anwendungsfällen herangezogen werden können und was diese genau aussagen.
* Einschätzen können, ob ein vorliegendes Validierungsergebnis plausibel ist und wo evtl. methodische Fehler gemacht wurden.

 

Speaker

 

Max-Heinrich Laves Max-Heinrich Laves ist wissenschaftlicher Mitarbeiter am Institut für mechatronische Systeme der Leibniz Universität Hannover. Er forscht im Bereich der Medizintechnik und der medizinischen Bildverarbeitung. Sein besonderes Interesse hat die dreidimensionale optische Kohärenztomographie (OCT), bei der er Deep Learning unter anderem für die computerassistierte Diagnose (CAD) und für das Schätzen von Rauschmodellen zur Bildverbesserung einsetzt.

Karl-Philipp Kortmann Karl-Philipp Kortmann forscht ebenfalls als wissenschaftlicher Mitarbeiter am Institut für mechatronische Systeme der Leibniz Universität Hannover im Bereich der prädiktiven Datenanalyse in der industriellen Produktionstechnik (Predictive Analytics). Sein Schwerpunkt liegt hierbei auf der Vorhersage kritischer Anlagenzustände aus heterogenen Zeitreihendaten.

Gold-Sponsor

Novatec

Minds Mastering Machines-Newsletter

Sie möchten über den Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden