Vielen Dank an alle Beteiligten für eine erfolgreiche M3 2024 in Köln! Im Herbst geht es weiter mit M3-Online-Events!

Skalierbare ELT-Pipelines mit Argo Workflows und dbt

In diesem Vortrag erfahren Sie, wie skalierbare ELT-Pipelines durch die Kombination von Argo Workflows und dbt realisiert werden können.

Zunächst verschaffe ich Ihnen einen Überblick über ELT-Prozesse und die Notwendigkeit ihrer Skalierung im Kontext wachsender Datenmengen. Anschließend untersuchen wir das Zusammenspiel zwischen Argo Workflows und dbt, um Datenjobs effizient zu orchestrieren und zu skalieren. Die einzelnen Themen des Talks sind:

  • Überblick über ELT (Extract, Load, Transform)
  • Bedeutung von Skalierbarkeit in Datenpipelines
  • Einführung in Argo Workflows
  • Einführung in dbt (data build tool)
  • Argo Workflows für das Orchestrieren von dbt-Jobs
Gewinnen Sie wertvolle Erkenntnisse, die es Ihnen ermöglichen, Ihre Datenprozesse widerstandsfähig zu gestalten und die Effizienz Ihrer Dateninfrastruktur zu erhöhen.

Vorkenntnisse

  • Grundverständnis von Datenmanagement und Datenpipeline-Konzepten
  • Grundlegende Kenntnisse von Container-Technologien wie Docker
  • Erste Erfahrungen mit Kubernetes (optional)
  • Bekanntschaft mit den Grundlagen von ELT-Prozessen

Lernziele

  • Verstehen der Kernkomponenten und des Nutzens skalierbarer ELT-Pipelines
  • Erkennen der Rolle und des Potenzials von Argo Workflows zur Datenorchestrierung
  • Erwerb von Wissen über die Funktionsweise und Anwendung von dbt (data build tool) in modernen Datenpipelines
  • Lernen, wie man Argo Workflows und dbt effektiv für das Management und die Skalierung von Datenjobs einsetzt

Speaker

 

Hauke Brammer
Hauke Brammer arbeitet als Senior Software Engineer bei der DeepUp GmbH und hat umfangreiche Erfahrungen in den Bereichen ML, Microservices und Cloud-native Applications gesammelt. Seine Leidenschaft ist es, das Beste aus dem Software Engineering in die Welt des Machine Learning zu bringen. In den vergangenen Jahren hat er auf zahlreichen Konferenzen über MLOps und Kotlin gesprochen.

M3-Newsletter

Ihr möchtet über die Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden