Der Transformer-Zoo

Transformator-basierte Sprachmodelle stehen im Mittelpunkt der jüngsten Fortschritte in der natürlichen Sprachverarbeitung (NLP). Neben den ursprünglichen Basis-Sprachmodellen werden dort zunehmend auch solche für andere Sprachen und feingetunte Modelle für spezielle Aufgaben angeboten. Dadurch ist aus dieser ursprünglich auf Transfer-Learning basierenden Technologie ein ganzes Ökosystem entstanden – woraus sich völlig neue Anwendungsbereiche ergeben.

Der Vortrag gibt einen Überblick der verschiedenen Modelle und darüber, wie diese für eigene Zwecke nach trainiert werden können. Dabei werden wir Modelle von Huggingface nutzen und in Jupyter-Notebooks auf realistische Problemstellungen loslassen. Oft ist eine erfolgreiche Klassifizierung nur der erste Schritt, um andere Aufgaben des maschinellen Lernens wie Trendvorhersagen usw. zu erleichtern.