Skalierbare ELT-Pipelines mit Argo Workflows und dbt

In diesem Vortrag erfahren Sie, wie skalierbare ELT-Pipelines durch die Kombination von Argo Workflows und dbt realisiert werden können.

Zunächst verschaffe ich Ihnen einen Überblick über ELT-Prozesse und die Notwendigkeit ihrer Skalierung im Kontext wachsender Datenmengen. Anschließend untersuchen wir das Zusammenspiel zwischen Argo Workflows und dbt, um Datenjobs effizient zu orchestrieren und zu skalieren. Die einzelnen Themen des Talks sind:

• Überblick über ELT (Extract, Load, Transform)
  
• Bedeutung von Skalierbarkeit in Datenpipelines
  
• Einführung in Argo Workflows
  
• Einführung in dbt (data build tool)
  
• Argo Workflows für das Orchestrieren von dbt-Jobs
  

Gewinnen Sie wertvolle Erkenntnisse, die es Ihnen ermöglichen, Ihre Datenprozesse widerstandsfähig zu gestalten und die Effizienz Ihrer Dateninfrastruktur zu erhöhen.

Vorkenntnisse

• Grundverständnis von Datenmanagement und Datenpipeline-Konzepten
  
• Grundlegende Kenntnisse von Container-Technologien wie Docker
  
• Erste Erfahrungen mit Kubernetes (optional)
  
• Bekanntschaft mit den Grundlagen von ELT-Prozessen
  

Lernziele

• Verstehen der Kernkomponenten und des Nutzens skalierbarer ELT-Pipelines
  
• Erkennen der Rolle und des Potenzials von Argo Workflows zur Datenorchestrierung
  
• Erwerb von Wissen über die Funktionsweise und Anwendung von dbt (data build tool) in modernen Datenpipelines
  
• Lernen, wie man Argo Workflows und dbt effektiv für das Management und die Skalierung von Datenjobs einsetzt