Praxiserfahrung mit produktivem Self-Hosting von KI-Clustern
Volle Kontrolle über die eigene KI: Das geht nur mit Self-Hosting der Modelle. Der Betrieb leistungsfähiger KI-Anwendungen auf eigener Hardware bringt aber einzigartige Herausforderungen mit sich – insbesondere der Wunsch nach Kosteneffizienz erfordert unterschiedliche Optimierungen.In diesem Vortrag teilen wir mehrjährige Erfahrung aus dem Betrieb eines produktiven KI-Clusters bei TNG: Wie wir Open-Source-Technologien als Basis genutzt, Inference-Engines getuned und durch eigenes Request-Handling Lastspitzen bewältigt haben.
Speaker
Benjamin Merkel ist Senior Consultant bei TNG Technology Consulting und zuständig für den reibungslosen Betrieb von AI Services auf TNGs eigenem GPU-Cluster. Schwerpunktmäßig beschäftigt er sich mit der Entwicklung moderner Sprachmodelle und der Optimierung ihrer Performance.
Lukas Rammelmüller ist Senior Consultant bei TNG Technology Consulting. Der promovierte Physiker ist Experte für Kubernetes-Cluster-Administration sowohl in der Cloud als auch auf Bare Metal. Bei TNG ist er mitverantwortlich für den Betrieb des internen GPU-Clusters sowie Ansprechpartner für diverse KI-Dienste.