Vielen Dank an alle Beteiligten für eine erfolgreiche M3 2024 in Köln! Im Herbst geht es weiter mit M3-Online-Events!

Lessons Learned aus einem NLP-Projekt mit der Landeshauptstadt München

Wer findet die Intranet-Suche der eigenen Organisation so richtig gut? Uns hat bis jetzt keine wirklich überzeugt. Daher haben wir in unserem angewandten Forschungsprojekt XNEXT untersucht, wie weit wir kommen, wenn wir die neusten verfügbaren Technologien (Transformer, Dense Passage Retrieval, Extractive Question Answering, Semantic Parsing, uvm) zu einem Wissensassistenten kombinieren.

Dieser Wissensassistent soll Fragen zu den Dienstleistungen der Landeshauptstadt München beantworten und relevante Informationsquellen heraussuchen. In unserem Projekt konnten wir viele Erkenntnisse über die Brauchbarkeit der einzelnen Technologien in einem domänenspezifischen Kontext gewinnen. Wie wir unser Projekt technisch aufgebaut, welche Lessons Learned wir daraus gezogen und welche Ideen wir für die Zukunft haben, möchten wir gerne mit euch teilen. Spoiler: Domänenspezifische Trainingsdaten bringen richtig viel!

Vorkenntnisse

Wir steigen bis zu einem gewissen Grad in die Themen Natural Language Processing, Tokenization, Transformer, Language Models, Dense Passage Retrieval, Extractive Question Answering und Semantic Parsing ein. Es schadet daher nicht, schon einmal etwas von neuronalen Netzen, Supervised Learning, Semi-Supervised Learning, Transformer, Attention und Sprachmodellen gehört zu haben.

Lernziele

Ein paar Modelle von huggingface runterladen und los geht’s? So einfach war es in unserem Projekt definitiv nicht. Wie wir vorgegangen sind, welche Stolpersteine wir gefunden und wie wir diese überwunden haben, zeigen wir in unserem Vortrag.

Im Idealfall profitieren die Zuhörenden von unseren Erfahrungen und sind dann für ihre eigenen zukünftigen NLP-Projekte besser gewappnet und können manche Herausforderungen im Vorfeld besser einkalkulieren. Außerdem geben wir Einblicke in unsere technischen Lösungsansätze.

Speaker

 

Clemens  Gutknecht
Clemens Gutknecht ist ein „Deep-Learning-Native“. Nachdem er sich zunächst intensiv mit Computer Vision befasst hatte, zogen ihn schließlich die Möglichkeiten der neuen Transformer-Architektur im Bereich Natural Language Processing in ihren Bann. Diese Leidenschaft passte perfekt zum Forschungsprojekt XNEXT bei BettercallPaul.

Leon Marius Schröder
Leon Marius Schröder ist Projektmitarbeiter im Institute for Applied Artificial Intelligence (IAAI) an der Hochschule der Medien Stuttgart. Er befasst sich seit etwa elf Jahren mit künstlichen neuronalen Netzen und war bereits in vielen Forschungsprojekten tätig.

Leon Lukas
Leon Lukas arbeitet als IT-Ingenieur im InnovationLab von it@M, dem IT-Eigenbetrieb der Landeshauptstadt München. Dieses kümmert sich um die prototypische Umsetzung innovativer IT-Projekte für die Bürger und Verwaltung der Landeshauptstadt. Leons Fachbereich ist die Entwicklung und der Einsatz von KI-Systemen.

M3-Newsletter

Ihr möchtet über die Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden