LLMs lokal auf dem Arbeitsplatzrechner nutzen: Möglichkeiten und Anforderungen

Der Vortrag beleuchtet, wie LLMs auf verschiedenen Prozessorplattformen wie NVIDIA GPUs, Intel-Chips, Qualcomm-Prozessoren und Apple Silicon effizient eingesetzt werden können.

Es werden populäre Tools wie Copilot+, Open WebUI, ComfyUI und Ollama vorgestellt, ergänzt durch eine Diskussion der Speicher- und Compute-Anforderungen offener Modelle wie Llama, Gemma, Granite. Außerdem geht es um Frameworks wie transformers, llama.cpp, die Quantisierung von Modellen sowie die Auswirkungen auf Leistung und Präzision.

Der Vortrag bietet praxisnahe Einblicke in die lokale Nutzung von KI-Frameworks und deren Potenzial für Entwickler und Anwender.

Lernziele

• Überblick über die Möglichkeiten der lokalen Nutzung offener Sprachmodelle
  
• Überblick über Tools und Frameworks
  
• Quantisierungstechniken und ihre Auswirkungen
  
• Mögliche Feintuningstrategien wie LoRA und QLoRA