Data Engineer Senior für DB Regio Bus Data Lake (m/w/d)
- Frankfurt am Main & Remote
- Start: 19.08.2024
- vor 1 Monat
- Job Typ:
- Projekt
- Dauer:
- Bis Ende des Jahres
- Arbeitsumfang:
- Teilzeit - 30
- Sprachen:
- Deutsch
ID: 169843
Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.
Für unseren Kunden suchen wir aktuell eine/n Data Engineer Senior für DB Regio Bus Data Lake (m/w/d) - Frankfurt am Main & Remote.
Ihre Aufgaben
- Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung;
- Entwicklung von Datenmodellen für die Speicherung von Daten;
- Integration von Daten aus verschiedenen Quellen;
- Optimierung von Datenbanken und Datenverarbeitungsprozessen;
- Automatisierung von Datenprozessen;
- Entwicklung von Lösungen zur Skalierung der Data Lake Infrastruktur;
- Integration von Daten in Anwendungen.
- Testing, Fehlerbehebung im laufenden Betrieb und Testbetrieb von Data Lake
- Innovationsimpulse und Tester hinsichtlich neuer Technologien und Tools
- Technische Dokumentation in Confluence und Jira Projekten
Interessiert?
Sven Schäfer
Tel.: +49-21-120053120
Fax.: +49-211-54591990
Email: s.schaefer@westhouse-group.com
Stellenanzeige teilen
Ihre Qualifikationen
- Sehr gute Erfahrung im Bereich der Datenbanken, insbesondere in der Entwicklung verschiedener Backend- und Betriebssysteme PostgreSQL, MSSQL, MySQL, Oracle (7 Jahre) Betriebssysteme: Linux, Windows (7 Jahre)
- Sehr gute Erfahrung mit Scala, Java, Python, Shell, SQL (5 Jahre)
- Sehr gute Erfahrung mit Gitlab und GIT (5 Jahre)
- Sehr gute Erfahrungen mit AWS-Cloud sowie Big Data Technologien AWS managed und serverless Services: AWS S3, Glue, Athena, Quicksight, EC2, RDS, EMR, RDS PostgreSQL, Lambda (7 Jahre) Big Data: Apache Spark, Apache Airflow (7 Jahre)
- Sehr gute Erfahrung mit React, Springboot, SOAP/REST (5 Jahre)
- Mind. 5 Jahre nachgewiesene federführende Funktion bei Einführung von neuen Verfahren und Tools zur Erhöhung der Produktivität und Qualität im Betrieb der Datenverarbeitung
- Mind. 5 Jahre nachgewiesene Erfahrung von ad-hoc Softwareentwicklung auf Plattform bzw. innerhalb anerkannter Frameworks: Gitlab, XML, HTML, JSON, SOAP, REST
- Mind. 5 Jahre nachgewiesene Erfah-rung mit agilen Methoden wie SCRUM, SaFe, DevOps, agile Frameworks
- Mind. 3 Jahre nachgewiesene Erfahrung mit IVU Traffic Technologies (IVU.suite), RBL und ITCS Systemen (rechnergestützte Betriebsleitsysteme), Fahrgastzählsysteme, Erlösmanagement-Systemen
- Zertifizierungen in Software Engineering, Data Engineering und Big Data durch anerkannte Zertifizierungstellen wie AWS, iSAQB, Cloudera oder vergleichbare