How to roll your own LLM – Open Source Large Language Models selbst hosten
Im letzten Jahr haben sich LLM-basierte Tools als wertvolle Werkzeuge zur Effizienzsteigerung im Arbeitsalltag bewiesen. Von Coding bis Wissensmanagement, LLMs können heute die Geschwindigkeit und Qualität Ihrer Arbeit maßgeblich verbessern – vorausgesetzt Sie trauen ihnen mit ihren Daten. Aus diesem Grund hat TNG Technology Consulting letztes Jahr eine eigene LLM-Infrastruktur aufgebaut, die es den Consultants erlaubt, selbst Arbeiten mit sensiblen Daten zu beschleunigen.Dieser Vortrag gibt einen Einblick in die LLM-Infrastruktur der TNG. Wir zeigen einige LLM-Anwendungsbeispiele auf sensiblen Daten und erläutern, warum es sich lohnt, diese auf eigener Hardware laufen zu lassen. Im Anschluss werfen wir einen Blick auf unsere konkrete Lösung in Hardware und Software, bevor wir den Vortrag mit Best Practices abschließen.
Speaker
Thomas Endres arbeitet in der Rolle eines Managing Partners als IT-Consultant für TNG Technology Consulting in München. Mit dem TNG-Innovation-Hacking-Team entwickelt er veschiedene Prototypen – darunter verschiedene KI-Prototypen und AR/VR-Showcases. Als Intel Software Innovator und Black Belt präsentiert er weltweit neue Technologien wie KI, AR/VR und Robotik. Dafür erhielt er unter anderem einen JavaOne Rockstar-Award und mehrere Best Speaker Awards.
Jonas Mayer ist Senior Consultant bei TNG Technology Consulting. Als Kopf des Innovation-Hacking-Teams liegt sein Fokus auf der Entwicklung von Prototypen und Showcases, die innovative Technologien in Soft- und Hardware erlebbar machen. So arbeitete er seit 2018 an verschiedensten Projekten, wie zum Beispiel Echtzeit-Deepfakes, einer LLM Shitposting-KI oder autonom fliegenden Minidrohnen. Vor seiner Zeit bei TNG studierte Jonas Informatik: Games Engineering an der TU München. Mehr Informationen auf innovation-hacking.com.
Sven Rohr ist Associate Partner bei TNG und unterstützt verschiedene Machine-Learning-Teams sowohl intern als auch bei seinen Kunden. Aktuell sammelt er praktische Erfahrung beim Betreiben von TNGs GPU-Cluster und dem Trainieren eigener Sprachmodelle.