KI-Revolution im Unternehmen: Wie RAG unsere Informationslandschaft verändert

Ende Mai 2024 begannen wir bei Kuehne+Nagel mit der Entwicklung einer unternehmensweiten Plattform für Retrieval Augmented Generation (RAG). Diese ermöglicht es Teams, einen dedizierten Arbeitsbereich zu erstellen, ihn mit relevanten Dokumentenquellen wie Confluence zu verbinden und Fragen zu diesen Dokumenten zu stellen. Dies ist besonders wertvoll für Teams, die mit vielen verschiedenen Prozessen und Systemen interagieren müssen und normalerweise viel Zeit mit der Suche nach Informationen verbringen.

In den Monaten zuvor hatten wir einige RAG-Projekte für einzelne Teams durchgeführt und erkannt, dass es tausende solcher Anwendungsfälle in der Organisation gibt.

In diesem Vortrag erläutern wir das Systemdesign, wichtige Entscheidungen zur Unterstützung der meisten Anwendungsfälle und Gründe gegen die Verwendung von Microsoft Copilot. Wir diskutieren technische und organisatorische Herausforderungen, einschließlich veralteter Dokumentationen und der Festlegung realistischer Benutzererwartungen für ein LLM-basiertes System. Zudem teilen wir entscheidende Lektionen, um das Projekt erfolgreich zu machen und tausenden Mitarbeitern die Nutzung generativer KI zu ermöglichen.

Vorkenntnisse

Grundlegendes Verständnis von LLMs und Erfahrung mit Python ist hilfreich.

Lernziele

• Grundlegendes Verständnis, wie RAG-Systeme funktionieren, sowie Anwendungsbeispiele
  
• Typische Herausforderungen und Lösungsansätze bei Dokumentenverarbeitung, Retrieval und dem Einsatz von LLM-Frameworks
  
• Organisatorische Herausforderung bei der Nutzung von RAG-Systemen in Unternehmen