Building AI Infrastructure for the Enterprise: From Development to Customer Solutions
Der Vortrag untersucht die sich entwickelnde Landschaft der KI-Infrastruktur - was es braucht, um skalierbare, sichere Plattformen sowohl für die interne Entwicklung als auch für kundenorientierte Anwendungen aufzubauen.Anhand unterschiedlicher Praxisprojekte zeigt er Herausforderungen und Lösungsstrategien für die Bereitstellung von KI-Diensten. Erste Modelltests können so z.B. mit llama.cpp oder LM Studio erfolgen, für den skalierbaren Betrieb eignen sich hingegen eher Lösungen wie vLLM oder SGLang
Speaker
Dominik Walser ist ein Infrastrukturspezialist mit ausgeprägtem Sicherheitshintergrund, der derzeit als Infrastructure Engineer für das KI- und Data Science-Team bei mgm arbeitet. Er konzentriert sich auf die Entwicklung einer stabilen Infrastruktur für moderne KI-Workloads und Implementierungen im Unternehmensmaßstab und kann dabei auf praktische Erfahrungen aus über zwei Jahren im Unternehmen zurückgreifen