Geeignete Sprachmodelle und Infrastruktur auswählen

Large-Language-Modelle sind nur dann ein Wettbewerbsvorteil, wenn Modell und Betriebsform zur Anwendung passen. Im Vortrag skizziere ich einen stringenten Entscheidungsprozess:

1. Anforderungen erfassen
   Qualitätsziele, Latenz, Kosten, Datenschutz/DSGVO.
   
2. Modelle vergleichen
   objektiv anhand etablierter Benchmarks und schnellem „Smoke-Testing“ im eigenen Kontext.
   
3. Betriebsoptionen bewerten
   Public-API (OpenAI, Anthropic), EU-Cloud (Mistral-API, Azure EU), Self-Hosting.
   
4. Risiken mitigieren
   Prompt-Injection, Datenabfluss, Guardrails & Monitoring.
   
5. Kosten unter Kontrolle halten
   Cost-Modeling, Throughput-Optimierung, Rightsizing.
   

Take-aways: eine Entscheidungs-Checkliste und Best-Practices für den sicheren, wirtschaftlichen Betrieb von LLMs in der Produktion.