Keynote: Ein Sprachmodell für die Westentasche

ChatGPT ist in aller Munde. Das Sprachmodell kann Erstaunliches leisten und macht sogar Google Angst, weil User in Zukunft potenziell lieber Antworten auf ihre Fragen als Webseiten sehen möchten. Leider gibt es auch Schattenseiten: Das Training dieser Modelle ist sehr aufwendig und man ist auf OpenAI angewiesen, um ChatGPT zu verwenden. Außerdem kann es nicht auf individuelle Bedürfnisse angepasst werden.

Mit dem von Meta veröffentlichten Sprachmodell Llama ist man deutlich flexibler: Man kann es auf eigener Hardware betreiben, durch sog. Quantisierung geht das sogar ohne Grafikkarten! Das Modell kann zudem auf spezifische Anforderungen, eigenes Vokabular etc. angepasst werden. Damit macht man sich etwas unabhängiger von den großen Konzernen.

Im Vortrag werden die Schritte erklärt und vorgeführt, wie man das Sprachmodell selbst herunterladen und betreiben kann. Dabei sieht man, in welcher Geschwindigkeit Texte erzeugt werden können, auf welcher Hardware (inklusive Handy) das möglich ist und wie sich die unterschiedlich großen Varianten in ihrer Genauigkeit unterscheiden.

Vorkenntnisse

ChatGPT haben sicher die meisten schon verwendet. Es hilft, ein bisschen was über Sprachmodelle zu wissen, aber das ist nicht unbedingt notwendig. Wir werden uns nicht zu sehr um Details kümmern.

Lernziele

Verständnis, warum die ausschließliche Nutzung von ChatGPT gefährlich sein kann. Befähigung, selbst Sprachmodelle auf eigener Hardware herunterzuladen und zu betreiben. Überblick über die neuen Möglichkeiten, die durch die Anpassung der Sprachmodelle zur Verfügung stehen.