NLP: Dank BERT auch mit wenigen Trainingsdaten zum Ziel

Das Ziel dieses Vortrages ist es, die verschiedenen Methodiken und Modelle im Bereich des Natural Language Processings (NLP) zu zeigen. Insbesondere dann, wenn man nur wenig Trainingsdaten zur Verfügung hat.

Der Vortrag zeigt zunächst ein einfaches „Bag of Words“-Modell. Deutlich bessere Ergebnisse werden dann mit einem bidirektionalen rekurrenten neuronalen Netz mit Attend-Mechanismus erzielt. Weitere Verbesserungen zeigen danach Word Embeddings und die Erklärung dieser sowie ein Attend Mechanismus.

Der Vortrag führt zu den Transformer-Modellen und speziell Googles BERT. Als besonderes Highlight kombinieren wir BERT und das vormals beschriebene RNN, um so kontextuale Embeddings mittels BERT zu trainieren, was zu erstaunlichen Ergebnissen führt.

Vorkenntnisse

Spezielle Vorkenntnisse sind nicht nötig. Es ist aber von Vorteil, wenn man bereits Kenntnisse über neuronale Netze mitbringt.

Lernziele

NLP ist derzeit eines der großen Trend- und Forschungsthemen. In diesem Vortrag möchte ich verschiedene Methodiken, aber auch Probleme aufzeigen. Die Teilnehmer sollten so die Erkenntnisse mitnehmen, welche Techniken sie selbst sinnvoll einsetzen können.