Data Engineer (Kubernetes/AWS) (m/w/d)

Ihre Aufgaben

• Implementierung von Datenverarbeitungen
• Umsetzung abgegrenzter Datenpipelines und ETL-/ELT-Verarbeitungen auf Azure Databricks mit Python, SQL und PySpark auf Grundlage der vorgegebenen Architektur- und Entwicklungsstandards
• Umsetzung von Container- und KI-Komponenten
• Entwicklung und Anpassung containerisierter Daten- und KI-Komponenten auf DBMC/DBCS einschließlich der Umsetzung definierter Kubernetes-basierter Datenverarbeitungs-, Trainings- und Inference-Workloads
• Umsetzung von On-Prem-Workloads
• Entwicklung und Anpassung abgegrenzter Kubernetes-/k3s-basierter Komponenten auf der On-Prem-KI-Infrastruktur sowie Umsetzung definierter GPU-/CPU-basierter Trainings- und Inference-Workloads
• Migration bestehender Komponenten
• Technische Migration abgegrenzter Skripte, Datenverarbeitungen, Pipelines und Containerkomponenten auf die vorgegebene Zielplattform einschließlich Daten-, Funktions- und Schnittstellenvalidierung
• Deployment und Automatisierung Umsetzung und Anpassung bestehender automatisierter Deployment- und Infrastrukturprozesse unter Nutzung von GitLab CI/CD, Terraform, Databricks Asset Bundles, Docker, Ansible und GitOps-/FluxCD-Verfahren
• Tests und Qualitätssicherung Erstellung und Durchführung automatisierter Unit-, Integrations- und technischer Funktionstests sowie Dokumentation der Test- und Validierungsergebnisse
• Monitoring und Fehlerbehebung
• Umsetzung definierter Monitoring-, Logging- und Alerting-Anforderungen sowie Analyse und Behebung technischer Fehler in Datenpipelines, Container-, Kubernetes- und Deployment-Komponenten
• Dokumentation und standardkonforme Umsetzung
• Technische Dokumentation der entwickelten und migrierten Komponenten sowie Umsetzung der Leistungen innerhalb der vorgegebenen Architektur-, Unity-Catalog-, Security-, Governance- und Betriebsstandards