RAGtime – Wie sich effiziente RAG-Systeme bauen lassen

LLMs verfügen nur über das Wissen, das sie beim Training erhalten haben. Es fehlen somit aktuellere Informationen oder spezialisierte, nicht öffentlich verfügbare beziehungsweise beim Training unberücksichtigte Informationen.

Der Vortrag zeigt, wie sich ein LLM durch Retrieval Augmented Generation (RAG) mit entsprechendem Wissen anreichern lässt.

Neben den Grundlagen kommen verschiedene technische Alternativen für RAG zur Sprache. Ein konkretes Beispiel veranschaulich die notwendigen Arbeitsschritte, um systematisch ein eigenes und effizientes RAG-System aufzubauen. Dort finden sich Themen wie Tokens, Attention Masks, Pre-und Post-processing, Embeddings, Embedding Modelle, Chunking, Vektordatenbanken, kontextualisierte Prompts, deren Selektion und Kombination über die Effizienz des resultierenden Systems entscheiden. Am Schluss erfahren Teilnehmer über RAG-Alternativen wie etwa Finetuning und wann man sie (nicht) einsetzen sollte.

Vorkenntnisse

Grundkenntnisse über LLMs und Python.
RAG-Vorkenntnisse sind nicht notwendig.

Lernziele

• Kennenlernen des Einsatzes von Retrieval Augmented Generation und dessen Stärken
  
• die Fallstricke durch falsche Wahl von Algorithmen, Dokumenten oder Komponenten.