RAGtime – Wie sich effiziente RAG-Systeme bauen lassen

LLMs verfügen nur über das Wissen, das sie beim Training erhalten haben. Es fehlen somit aktuellere Informationen oder spezialisierte, nicht öffentlich verfügbare beziehungsweise beim Training unberücksichtigte Informationen.

Der Vortrag zeigt, wie sich ein LLM durch Retrieval Augmented Generation (RAG) mit entsprechendem Wissen anreichern lässt.

Neben den Grundlagen kommen verschiedene technische Alternativen für RAG zur Sprache. Ein konkretes Beispiel veranschaulich die notwendigen Arbeitsschritte, um systematisch ein eigenes und effizientes RAG-System aufzubauen. Dort finden sich Themen wie Tokens, Attention Masks, Pre-und Post-processing, Embeddings, Embedding Modelle, Chunking, Vektordatenbanken, kontextualisierte Prompts, deren Selektion und Kombination über die Effizienz des resultierenden Systems entscheiden. Am Schluss erfahren Teilnehmer über RAG-Alternativen wie etwa Finetuning und wann man sie (nicht) einsetzen sollte.

Vorkenntnisse

Grundkenntnisse über LLMs und Python. RAG-Vorkenntnisse sind nicht notwendig.

Lernziele

Sie lernen den Einsatz von Retrieval Augmented Generation sowie dessen Stärken kennen, ebenso wie die Fallstricke durch falsche Wahl von Algorithmen, Dokumenten oder Komponenten.