Wie kann man Weltwissen ins Machine Learning einbringen?

Machine-Learning-Modelle verfügen a priori nicht über allgemeines Weltwissen. Dieser Mangel lässt sie oft kläglich scheitern, vor allem, wenn sie auf Bereiche extrapolieren, die nicht durch Trainingsdaten abgedeckt sind.

Es gibt viele Beispiele für Dinge, die wir Menschen wissen, aber einem ML-System erst einmal beigebracht werden müssen. Dazu zählen bestimmte Invarianten in der Bilderkennung wie, z.B. die Tatsache, dass ein Objekt im Wesentlichen gleich aussieht, egal wo es sich befindet. Weitere Beispiele sind das Wissen, dass kein Mensch über 150 Jahre alt ist und Autos typischerweise nicht die Schallgeschwindigkeit erreichen.

Dieser Vortrag ist ein Überblick über bekannte Methoden, dieses Wissen in einen Machine-Learning-Prozess einzubringen: die Wahl des richtigen Losses, die Erzwingung von Sparsity, die Wahl guter Dimensionen, Lattices, Arten von Netzwerkschichten und – nicht zuletzt – augmentierte Trainingsdaten.

Vorkenntnisse

Ein grundsätzliches Verständnis, wie neuronale Netze trainiert werden und Vorhersagen machen.

Lernziele

Teilnehmer:innen bekommen eine Idee von der Herausforderung, Weltwissen in einen Trainingsprozess einfließen zu lassen, sowie einen Überblick über die existierenden Möglichkeiten.