Modellerwartungen vs. Realität – Monitoring von Modellperformance

Werden Machine-Learning-Modelle produktiv eingesetzt, stellt sich schnell die Frage nach der Performance und der Aktualität des Modells.

Wir zeigen anhand unseres Prozesses der automatisierten Schadenbeurteilung, wie sich Abweichungen zwischen Testergebnissen und realer Anwendung ergeben und wie man bestmöglich damit umgeht. Dabei präsentieren wir Praxisbeispiele, die konkrete Methoden zu Anpassungen von Modell und Auswertungen illustrieren, um dieser Herausforderung zu begegnen.

Außerdem beleuchten wir, wie eine stetige Aktualisierung der Modelle trotz parallelem Live-Betrieb, der konträr zur Verfügbarkeit neuer Trainingsdaten steht, möglich ist. Das beinhaltet auch die Umsetzung einer Qalitätssicherung im Prozess. Vernachlässigt man dies, bestätigt das Modell sich selbst und weicht – möglicherweise unbemerkt – immer weiter von der Realität ab.

Beide Aspekte werden anhand unserer KI-Anwendung zur Erkennung von Gutfällen bei der Prüfung von Sach- und KFZ-Versicherungsschadendokumenten (z. B. Handwerkerrechnungen) erklärt. Die automatische Erkennung von Gutfällen ermöglicht eine schnellere Rückmeldung und Auszahlung an den Versicherungsnehmer, da eine aufwendige Expertenprüfung eingespart wird. Dies bedeutet im gleichen Zug eine Effizienzsteigerung für die Versicherung.

Vorkenntnisse

* Keine tiefgreifenden Vorkenntnisse im Bereich Machine Learning notwendig
* Vertrautheit mit Modellentwicklung oder produktiver Nutzung KI-gestützter Modelle in Prozessen ist hilfreich

Lernziele

Der Vortrag soll ein wichtiges Problem beleuchten: die Abweichungen zwischen Ergebnissen, die anhand von Testdaten erwartet werden, und den tatsächlich produktiv eingetretenen Ergebnissen. Lösungsansätze dafür werden aufgezeigt.

Außerdem werden Möglichkeiten zur Qualitätssicherung und Modellaktualisierung bei gleichzeitiger Nutzung präsentiert.

 

Speaker

 

Janera Kronsbein Janera Kronsbein ist studierte Wirtschaftmathematikerin (Bielefeld) und hat jetzt, nachdem sie u.a. das Data Science Team aktiv unterstützt hat, das Produktmanagement für „Claims Prediction“ der Eucon Digital GmbH übernommen. Sie treibt die stetige Neu- und Weiterentwicklung der automatisierten Schadenbeurteilung mit Hilfe von KI voran.

Christina Blanke Christina Blanke hat Mathematik an der WWU Münster studiert und ist jetzt Teil des Data Science Teams der Eucon Digital GmbH. Sie konzentriert sich auf die Entwicklung von Vorhersagemodellen im Bereich der Schadenbeurteilung für Kfz-Schäden und interner Prozessoptimierungen.

Gold-Sponsor

Novatec

Minds Mastering Machines-Newsletter

Sie möchten über den Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden