BERT, Sprachmodelle und Transfer Learning

---

Online-Workshop am 16. November 2021, 9-16 Uhr

---

Aus dem schwer handhabbaren Forschungsprojekt BERT hat sich in der Zwischenzeit eine leicht nutzbare Infrastruktur für zahlreiche NLP-Aufgaben entwickelt.
Im Workshop betrachten wir kurz die Vorgeschichte, die zur Entwicklung der Sprachmodelle geführt hat. Wir werden uns ein bisschen mit der Architektur der Transfer-Learning-Modelle auseinandersetzen und uns anschließend den Anwendungsmöglichkeiten widmen.

In vielen NLP-Projekten steht am Anfang die linguistische Analyse, die sehr häufig mit spaCy durchgeführt wird. Auch spaCy nutzt dabei BERT und kann mit relativ einfachen Mitteln auf eigene Bedürfnisse angepasst werden.

Mit Sprachmodellen kann man aber noch viel mehr erreichen. Wir betrachten dazu zunächst reine Sprachmodelle und berechnen kontextualisierte Embeddings. Im nächsten Schritt führen wir ein sog. Finetuning durch und passen ein Modell auf eine spezifische Aufgabe an. Damit lassen sich komplexe Klassifikationsaufgaben elegant lösen.

Ein Finetuning ist aber gar nicht unbedingt immer nötig, weil es schon sehr viele existierende Modelle gibt. Einige davon werden wir ausprobieren und zum Abschluss noch spezielle Modelle betrachten, die sich z.B. für die automatische Übersetzung oder Textgenerierung eignen.

Im Workshop arbeiten wir mit Jupyter-Notebooks. Nachdem Transfer Learning hohe Anforderungen an die Rechenkapazität stellt, werden wir mit Google Colab arbeiten. Teilnehmer, die über leistungsfähige Grafik-Hardware verfügen, können natürlich auch alle Notebooks lokal ausführen.

Vorkenntnisse

Grundkenntnisse in Python sind hilfreich. Die Jupyter Notebooks sind einfach gehalten und werden im Rahmen des Workshops eingeführt. NLP-Grundkenntnisse sind von Vorteil, aber nicht unbedingt erforderlich, auch grundsätzliche Dinge werden erklärt.

Lernziele

Verständnis von BERT und Sprachmodellen, Finetuning und Anpassung auf eigene Anforderungen, Nutzung der Huggingface-Infrastruktur