Liquid Neural Nets - was kommt nach Deep Neural Nets

Wanna meet a small + smart Neural Network that learns on the job, not only during training? Here you go.
Man soll ja bekanntlich immer dann aufhören, wenn es am schönsten ist. Und da der LLM+GenAI Hypecycle mittlerweile schon recht weit fortgeschritten ist, ist es an der Zeit, sich mit den Themen zu beschäftigen, die danach kommen.
Liquid Neural Nets sind aus verschiedenen Gründen noch relativ unbekannt. Zum einen sind sie einfach anders als andere Neural Nets – sie passen sich "on the job" an veränderte Herausforderungen an und man benötigt dafür dann doch etwas mehr Mathematik – und sie passen noch nicht so ganz ins Beuteschema der großen Player, deren Umsätze im Wesentlichen durch die "Größe" und Skalierbarkeit der Anwendungen bzw. der für das Betreiben der Anwendungen benötigten Ressourcen generiert und stabilisiert werden. Big AI ist heute, was früher Big Data war. Vor allem teuer, nicht nachhaltig, und von oft unklarer Wertigkeit für das Business. Es gibt natürlich auch hier einige, perspektivisch viele Bereiche, in denen LLMs produktiv und möglicherweise sogar kosteneffizient einsetzbar sind, ein Silver Bullet sind sie nicht.
Das gilt auch für Liquid Neural Nets, aber im Gegensatz zu ihren überdimensionierten Verwandten aus dem Neural-Nets-Zoo sind sie vor allem eines – klein. Und sie lernen kontinuierlich weiter. Wie dies funktionieren kann, und wieso diese besonderen Neuronalen Netze eine vielversprechende, insbesondere ressourcenschonende Alternative für viele Anwendungsbereiche darstellen könnten, möchte ich in diesem Talk untersuchen. Neben etwas Mathematik und einigen Folien werden wir auch einen Blick auf die praktische Umsetzung werfen.