Modellerwartungen vs. Realität – Monitoring von Modellperformance

Werden Machine-Learning-Modelle produktiv eingesetzt, stellt sich schnell die Frage nach der Performance und der Aktualität des Modells.

Wir zeigen anhand unseres Prozesses der automatisierten Schadenbeurteilung, wie sich Abweichungen zwischen Testergebnissen und realer Anwendung ergeben und wie man bestmöglich damit umgeht. Dabei präsentieren wir Praxisbeispiele, die konkrete Methoden zu Anpassungen von Modell und Auswertungen illustrieren, um dieser Herausforderung zu begegnen.

Außerdem beleuchten wir, wie eine stetige Aktualisierung der Modelle trotz parallelem Live-Betrieb, der konträr zur Verfügbarkeit neuer Trainingsdaten steht, möglich ist. Das beinhaltet auch die Umsetzung einer Qalitätssicherung im Prozess. Vernachlässigt man dies, bestätigt das Modell sich selbst und weicht – möglicherweise unbemerkt – immer weiter von der Realität ab.

Beide Aspekte werden anhand unserer KI-Anwendung zur Erkennung von Gutfällen bei der Prüfung von Sach- und KFZ-Versicherungsschadendokumenten (z. B. Handwerkerrechnungen) erklärt. Die automatische Erkennung von Gutfällen ermöglicht eine schnellere Rückmeldung und Auszahlung an den Versicherungsnehmer, da eine aufwendige Expertenprüfung eingespart wird. Dies bedeutet im gleichen Zug eine Effizienzsteigerung für die Versicherung.

Vorkenntnisse

* Keine tiefgreifenden Vorkenntnisse im Bereich Machine Learning notwendig
* Vertrautheit mit Modellentwicklung oder produktiver Nutzung KI-gestützter Modelle in Prozessen ist hilfreich

Lernziele

* Der Vortrag soll ein wichtiges Problem beleuchten: die Abweichungen zwischen Ergebnissen, die anhand von Testdaten erwartet werden, und den tatsächlich produktiv eingetretenen Ergebnissen. Lösungsansätze dafür werden aufgezeigt.
* Außerdem werden Möglichkeiten zur Qualitätssicherung und Modellaktualisierung bei gleichzeitiger Nutzung präsentiert.