DevOps + MLOps Engineer | NVIDIA GPUs Infrastruktur | Kubernetes | Kong | max. 95€ all in (m/w/d)

Ihre Aufgaben

• Aufbau und Optimierung einer skalierbaren NVIDIA GPU-Infrastruktur inklusive CUDA- und CuDNN-Konfiguration sowie Multi-GPU Scheduling für parallele KI-Workloads.
• Implementierung und Verwaltung eines API-Managers (z. B. Kong) zur zentralen Steuerung und Absicherung von Microservice-Schnittstellen.
• Einrichtung eines Model Serving Frameworks (z. B. Triton Inference Server) zur performanten Bereitstellung und Versionierung von KI-Modellen.
• Containerisierung und Orchestrierung von KI-Services mit Kubernetes, inklusive Deployment-Strategien, Skalierung und Cluster-Monitoring.
• Integration eines Service Mesh (z. B. Istio) zur Umsetzung von Traffic Management, Service Discovery und Zero-Trust-Kommunikation.
• Implementierung von API-Security-Mechanismen wie Rate-Limiting, Authentifizierung, Autorisierung und Audit Logging.
• Aufbau eines Model-Monitoring-Systems mit Grafana und Prometheus zur Überwachung von Modellleistung und Systemmetriken.
• Einführung einer Workflow-Orchestrierungslösung (z. B. MLFlow) zur Verwaltung von Trainings-, Validierungs- und Deployment-Pipelines.
• Administration von Betriebskomponenten wie Keycloak (Identity & Access Management) und cert-manager (TLS-Zertifikatsverwaltung) zur Sicherstellung des produktiven Betriebs.