Senior Data Architect (Kubernetes/Python/Databricks) (m/w/d)

Ihre Aufgaben

• Weiterentwicklung der Plattformarchitektur
• Analyse und Weiterentwicklung der Ziel- und Referenzarchitektur der hybriden Daten- und KI-Plattform unter Berücksichtigung von Microsoft Azure, Azure Databricks, DBMC/DBCS sowie der On-Prem-KI-Infrastruktur.
• Architektur und Weiterentwicklung von Azure Databricks
• Konzeption und Weiterentwicklung von Workspace-, Umgebungs-, Compute-, Netzwerk-, Identitäts- und Berechtigungsstrukturen sowie Unity Catalog und weiterer zentraler Databricks-Plattformfunktionen.
• Architektur der bestehenden KI-Plattform und On-Prem-Infrastruktur
• Konzeption und Weiterentwicklung containerisierter Daten- und KI-Plattformkomponenten auf DBMC/DBCS sowie Kubernetes-/k3s-basierter GPU- und CPU-Workloads auf der On-Prem-KI-Infrastruktur einschließlich der erforderlichen Schnittstellen und Integrationen.
• Migration und Modernisierung bestehender Lösungen
• Analyse bestehender Daten-, ETL-/ELT-, Machine-Learning- und KI-Lösungen sowie Entwicklung geeigneter Ziel- und Übergangsarchitekturen für deren Modernisierung, Integration oder Migration auf die strategischen Plattformkomponenten.
• MLOps und KI-Plattformfähigkeiten
• Konzeption standardisierter Architekturen für Training, Experiment Tracking, Modellversionierung, Deployment, Model Serving, Inference und Monitoring über Cloud-, Container- und On-Prem-Ressourcen.
• Automatisierung und standardisierte Bereitstellung
• Konzeption wiederverwendbarer Infrastructure-as-Code-, CI/CD- und GitOps-Verfahren, insbesondere unter Nutzung von Terraform, Databricks Asset Bundles, GitLab CI/CD, Ansible und FluxCD.
• Governance, Security und Betriebsfähigkeit
• Entwicklung technischer Standards und Guardrails unter Berücksichtigung von IT-Sicherheit, Datenschutz, Berechtigungen, Governance, Observability, Skalierbarkeit, Verfügbarkeit, Betriebsfähigkeit und Kosten.
• Technologieberatung und technische Entscheidungsgrundlagen
• Bewertung neuer Plattformtechnologien und -funktionen sowie Erarbeitung und Dokumentation von Lösungsvarianten, Architekturentscheidungen, Referenzarchitekturen und technischen Empfehlungen für die Weiterentwicklung der Daten- und KI-Plattform.