Wie ML die Datenintegration verändert: Vorteile und innovative Anwendungen

Für die Nutzbarkeit von Daten in Unternehmen ist deren Qualität das herausragende Kriterium. Nur bei hoher Datenqualität kann ein Vertrauen der Anwender in Operations und BI hergestellt werden. Durch die zunehmende Heterogenität der Daten stoßen traditionelle Ansätze hier schnell an ihre Grenzen.

Wir geben einen Einblick in die Potenziale des Machine Learning in der Datenintegration, wie dieses die Data Governance verbessern kann und uns ein tieferes Verständnis und die Kontrolle über unsere Daten ermöglicht.

Anhand eines Beispiels zeigen wir, wie die Dublettenerkennung durch ML unterstützt werden kann. Dabei vergleichen wir traditionelle Modelle mit Transformer-basierten neuronalen Netzen.

Vorkenntnisse

Grundkenntnisse in Machine Learning, Datenintegration und ETL/ELT.

Lernziele

• Grundlagen der Datenqualität inkl. eines kurzen Überblicks zu Messkriterien
  
• Potenzielle Anwendung von Machine Learning im Prozess der Datenintegration und Datenbereinigung
  
• Machine-Learning-Modelle für die Duplikaterkennung sowie deren Performance
  
• Machine Learning zur Unterstützung der Data Governance