Liquid Foundation Models - die nächste Generation der LLMs

LLMs sind beeindruckend, können für vielfältige Aufgaben eingesetzt werden und sind doch in der Praxis relativ unpraktisch. Sie sind zu groß, zu unspezifisch, zu wenig nachvollziehbar, zu wenig verlässlich.

Das Konzept erreicht mittlerweile gewisse Grenzen. Zum einen gibt es da einfach nicht genug neue Daten. Oder wie Ilya Sutskever so schön sagte: Es gibt nur ein Internet, und das wurde schon zum Training verwendet. Wie sieht also ein mögliches Upgrade aus, welches idealerweise auch effizienter ist, nicht so viel Strom- und Memory-bedarf hat?

Bühne frei für die LFMs – die Liquid Foundation Models. Sie stellen einen Weg zu neuen Modellarchitekturen jenseits der GPTs – Generative Pretrained Transformers – dar, inspiriert durch den innovativen und extrem ressourceneffizienten Anzahl der Liquid Neural Networks. Sie können unter anderem mit längeren Kontexten umgehen, da sie einen deutlich geringeren eigenen Memory Footprint aufweisen als GPT-basierte LLMs. Dies und einiges mehr, beispielsweise ihre Performance in relevanten Benchmarks oder auch ihre Explainability-Eigenschaften, werden wir in diesem Vortrag untersuchen.

Lernziele

• Erstes Kennenlernen von Liquid Foundation Models
  
• Einstieg in die Konzepte hinter LFMs, wie z.B.
  
• Liquid Neural Nets
  
• Architekturen, die über GPTs hinausgehen
  
• Besonderheiten in Bezug auf Memory Footprint und Explainability
  
• Benchmarks, Performance, und ein erster Praxistest