Leitplanken für einen Chatbot: Praxiserfahrungen mit NeMo Guardrails
Die Integration von LLM-basierten Chatbots in stark regulierten Bereichen wie dem Finanzsektor stellt Unternehmen vor besondere Herausforderungen, da Halluzinationen und mangelnde Kontrolle über das Verhalten schnell zu unerwünschten Ausgaben führen können.Dieser Erfahrungsbericht beleuchtet den praktischen Einsatz des Open-Source-Frameworks NeMo Guardrails zur Entwicklung eines regelkonformen Finanz-Chatbots.
Es wird gezeigt, wie regulatorische Anforderungen in technische Leitplanken übersetzt werden können. Dabei werden sowohl die Möglichkeiten als auch die Grenzen des Frameworks aufgezeigt und Lösungsansätze für typische Herausforderungen vorgestellt.
Vorkenntnisse
Grundlegende Kenntnisse zu Large Language Models.
Lernziele
- Grundprinzipien von NeMo Guardrails.
- Effektives Übersetzen der regulatorische Anforderungen in technische Guardrails
- Systematisches Testen der Wirksamkeit
Speaker
Axinja Ambach arbeitet seit 2017 bei andrena objects und ist eine erfahrene Full-Stack-Entwicklerin. Aktuell liegt ihr Schwerpunkt auf der Entwicklung von KI-gestützten Softwareprodukten. Sie beschäftigt sich dabei intensiv mit den rasanten Entwicklungen im Bereich der generativen KI, sowie deren Auswirkungen und Potenziale für den Alltag von SoftwareentwicklerInnen.
Lukas Klinger ist studierter Informatiker und seit 2024 als Softwareentwickler bei andrena objects tätig. In seinem aktuellen Projekt entwickelt er einen Finanz-Chatbot, wobei unter anderem das Framework NeMo Guardrails eingesetzt wird, um regulatorische Anforderungen umzusetzen.