Data Engineer (m/w/d)

in unserer Unternehmenszentrale in Hagen

Als Data Engineer bist du verantwortlich für den Aufbau, die Weiterentwicklung und den zuverlässigen Betrieb moderner Datenplattformen und Datenpipelines. Du stellst sicher, dass Daten aus unterschiedlichen Quellen effizient integriert, verarbeitet, gespeichert und für Analytics, Reporting, Machine Learning und operative Anwendungen bereitgestellt werden.

Dabei arbeitest du eng mit Data Analysts, Data Scientists, Software Engineers, IT sowie den Fachbereichen zusammen.

Deine Aufgaben

• Entwicklung und Betrieb skalierbarer ETL-/ELT-Datenpipelines
• Anbindung und Integration von Daten aus unterschiedlichen Quellen wie Datenbanken, APIs, Files und Cloud-Systemen
• Aufbau und Weiterentwicklung von Data Warehouses, Data Lakes und Lakehouse-Architekturen
• Transformation, Bereinigung und Validierung großer Datenmengen
• Sicherstellung von Datenqualität, Datenkonsistenz und Datenverfügbarkeit
• Entwicklung und Optimierung von Datenmodellen für Reporting und Analytics
• Automatisierung von Datenprozessen und Workflows
• Überwachung und Optimierung bestehender Datenpipelines hinsichtlich Performance, Stabilität und Kosten
• Implementierung von Monitoring-, Logging- und Alerting-Lösungen
• Umsetzung von Anforderungen an Datenschutz, Sicherheit und Governance
• Dokumentation von Datenflüssen, Schnittstellen und technischen Lösungen
• Zusammenarbeit mit Data Analysts und Data Scientists bei der Bereitstellung geeigneter Daten
• Unterstützung bei der Entwicklung einer modernen und skalierbaren Data Platform

Technische Anforderungen:

Must-have

• Berufserfahrung im Bereich Data Engineering, Software Engineering oder Data Platform Engineering
• Sehr gute Kenntnisse in SQL
• Gute Programmierkenntnisse, vorzugsweise in Python
• Erfahrung mit relationalen Datenbanken und Datenmodellierung
• Erfahrung mit ETL-/ELT-Prozessen und Datenpipelines
• Verständnis für Data-Warehouse- und Data-Lake-Konzepte
• Erfahrung mit Git und modernen Entwicklungsprozessen
• Grundlegendes Verständnis von Cloud-Technologien

Nice-to-have

• Erfahrung mit AWS, Microsoft Azure oder Google Cloud
• Kenntnisse in Databricks, Snowflake oder Microsoft Fabric
• Erfahrung mit Apache Spark
• Kenntnisse in Orchestrierungstools wie Apache Airflow
• Erfahrung mit Docker und Kubernetes
• Kenntnisse in Infrastructure as Code, z. B. Terraform
• Erfahrung mit CI/CD und DevOps
• Kenntnisse in Streaming-Technologien wie Kafka
• Erfahrung mit Data Governance, Data Catalogs und Data Quality Tools
• Erfahrung im Aufbau von Lakehouse-Architekturen

Persönliche Anforderungen:

• Analytisches und strukturiertes Denkvermögen
• Hohe Eigenverantwortung und lösungsorientierte Arbeitsweise
• Interesse an modernen Daten- und Cloud-Technologien
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
• Teamfähigkeit und Freude an interdisziplinärer Zusammenarbeit
• Qualitätsbewusstsein und ein hoher Anspruch an zuverlässige Daten
• Bereitschaft, bestehende Prozesse kontinuierlich zu verbessern

Typischer Tech-Stack

Programmiersprachen:
Python, SQL

Cloud:
Azure / AWS / Google Cloud

Data Platform:
Databricks / Snowflake / Microsoft Fabric

Datenbanken:
PostgreSQL / SQL Server / Oracle

Data Engineering:
Apache Spark / Airflow / dbt

DevOps:
Git / Docker / CI/CD / Terraform

Monitoring:
Azure Monitor / Grafana / Prometheus

Erfolgskennzahlen der Position

Der Erfolg in der Position zeigt sich insbesondere durch:

• stabile und zuverlässige Datenpipelines
• hohe Datenqualität und Datenverfügbarkeit
• kurze Verarbeitungs- und Bereitstellungszeiten
• skalierbare und kosteneffiziente Datenarchitekturen
• hoher Automatisierungsgrad
• nachvollziehbare und dokumentierte Datenflüsse
• Zufriedenheit der internen Data- und Business-Teams

Ausbildung

Abgeschlossenes Studium oder vergleichbare Qualifikation in beispielsweise:

• Informatik
• Wirtschaftsinformatik
• Data Science
• Mathematik
• Statistik
• Elektrotechnik
• oder einem vergleichbaren technischen bzw. analytischen Fachgebiet

Auch Quereinsteiger mit entsprechender praktischer Erfahrung und nachweisbaren technischen Kompetenzen sind willkommen.