Einführung in große Sprachmodelle

Jeder kennt ChatGPT. Doch Sprachmodelle gibt es in viel mehr Ausprägungen. Das beginnt schon bei den generativen Varianten, wo Metas Llama eine Art Urknall ausgelöst hat. Es gibt zwischenzeitlich unzählige Abkömmlinge, die auf ganze spezielle Aufgaben angepasst sind. Aber auch bei den Foundation Models ist man nicht nur auf OpenAI angewiesen – es gibt leistungsfähige Alternativen, die mit sehr viel weniger Parametern auskommen und strukturell neue Ansätze nutzen.

Doch nicht nur generative Modelle sind sinnvoll, sondern auch Encoder-Modelle wie BERT und davon abgeleitet. So lassen sich Satzähnlichkeiten bestimmen, die als Basis für viele Retrieval-Aufgaben dienen und den generativen Modellen so das Halluzinieren abgewöhnen können.

Dieser Vortrag gibt einen Überblick über aktuelle Modelle sowie neue Entwicklungen und wagt einen Ausblick, wie es weitergehen könnte.