NLP: Dank BERT auch mit wenigen Trainingsdaten zum Ziel

Das Ziel dieses Vortrages ist es, die verschiedenen Methodiken und Modelle im Bereich des Natural Language Processings (NLP) zu zeigen. Insbesondere dann, wenn man nur wenig Trainingsdaten zur Verfügung hat.

Der Vortrag zeigt zunächst ein einfaches „Bag of Words“ Modell. Deutlich bessere Ergebnisse werden dann mit einem bidirektionalen rekurrenten neuronalen Netz mit Attend Mechanismus erzielt. Weitere Verbesserungen zeigen danach Word Embeddings und die Erklärung dieser, sowie ein Attend Mechanismus.

Der Vortrag führt zu den Transformer Modellen und speziell Googles BERT. Als besonderes Highlight kombinieren wir BERT und das vormals beschriebene RNN, um so kontextuale Embeddings mittels BERT zu trainieren, was zu erstaunlichen Ergebnissen führt.

Vorkenntnisse

Spezielle Vorkenntnisse sind nicht nötig. Es ist aber von Vorteil, wenn man bereits Kenntnisse über neuronale Netze mitbringt.

Lernziele

NLP ist derzeit eines der großen Trend- und Forschungsthemen. In diesem Vortrag möchte ich verschiedene Methodiken, aber auch Probleme aufzeigen. Die Teilnehmer sollten so die Erkenntnisse mitnehmen, welche Techniken sie selbst sinnvoll einsetzen können.

 

Speaker

 

Dirk Hofmeister
Dirk Hofmeister ist seit mehr als 20 Jahren beruflich in der Softwareentwicklung tätig. Mit neuronalen Netzen beschäftigt er sich bereits seit den 1990er-Jahren. In seiner aktuellen Position als Senior Systementwickler bei der ekom21 – Kommunales Gebietsrechenzentrum Hessen – kann er seine Kenntnisse in verschiedenen Projekten einbringen. Derzeit beschäftigt er sich hauptsächlich mit Natural Language Processing und setzt hierzu meist Tensorflow ein. In der jüngeren Vergangenheit entwickelte er Prototypen im Bereich der Visual Recognition u.a. mit Tensorflow, Keras und CNTK

Gold-Sponsor

Novatec

Silber-Sponsor

inovex

M3-Newsletter

Sie möchten über die Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden