Data Engineer (w/m/d) - Opensource DWH und Data Lake

Wir suchen für einen Kunden mit Standorten in ganz Deutschland hybrid oder remote:

Data Engineer (w/m/d)

Technologien im Einsatz:

Sprachen: Python, SQL, Ansible
Datenverarbeitung: Apache Hadoop, Apache Spark
Data Streaming: Apache Kafka, Apache Beam, Confluent, Keycloak
Cloud: Cloudera, AWS Redshift, Azure Data Factory, GCP BigQuery, Snowflake
Orchestrierung: Kubernetes, Docker
Datenbanken: Couchbase, MariaDB

Anforderungen:
- Erfahrung im Aufbau von Data Lakes und DWH Lösungen
- Erfahrung mit Opensource Lösungen, insb. Apache Technologien und Linux
- bestenfalls Erfahrung mit Cloudera, Snowflake oder Public Cloud DWH Services
- verhandlungssichere Deutschkenntnisse

Worum es geht:

Das Unternehmen ist ein mittelständisches IT Dienstleistungsunternehmen, welches sich über die letzten 25 Jahre über ganz Deutschland ausgebreitet hat und aktuell alle großen IT Bereiche abdeckt, von der Cloud Transformation über die Softwareentwicklung bis hin zu Big Data und IoT, sowohl für die Privatwirtschaft als auch für den öffentlichen Sektor.

Als Data Engineer sind Sie für den ganzheitlichen Datenverarbeitungsprozess verantwortlich, vom Input an der Datenquelle bis zum Output durch Visualisierungs- und ML-Tools. Sie entwickeln sichere Streamingpipelines, z.B. durch IoT Devices oder Loggingtools, setzen den Data Lake bzw. das DWH auf, je nach Datentyp und sorgen durch ETL Pipelines für homogene Datensets. Dies alles mit Fokus auf Opensource und in Zusammenarbeit mit den Teams Operations, ML und BI.

So für Kunden v.a. in der Industrie, aber auch in anderen Branchen wie im Gesundheitswesen. Zum Beispiel in einem Projekt für ein großes deutsches Gesundheitsinstitut, für das das Team eine Datenspeicherungs und -analyselösung für konsolidierte Forschungsdaten aufgesetzt hatte. Dafür nutzte das Team die Cloudera Plattform, sowie Apachetechnologien für Data Streaming und ETL Pipelines, alles in Zusammenarbeit mit ML Engineers für die spätere Analyse.

Dafür wird Ihnen geboten:

Das Unternehmen setzt stark auf individuelle Vielfalt und die Weiterentwicklung aller Mitarbeitenden. So stellt das Unternehmen unbegrenzte Arbeitszeit und Mittel zur Verfügung für die Teilnahme an Kursen, Weiterbildungen und die entsprechende Zertifizierung in neuen Technologien. Zudem inzentiviert das Unternehmen den internen Wissensaustausch durch technologiespezifische Communities, bei denen neue Tools und mögliche Einsatzgebiete in den Projekten offen diskutiert werden.

Das Gehalt setzt sich aus einem fixen und einem variablen Gehaltsanteil zusammen, wobei der variable Anteil an den Einsatz in Projekten geknüpft ist. Die volle Ausschüttung erfolgt bereits bei 120 Projekttagen im Jahr. Teilweise kann es sein, dass Sie im Rahmen der Anforderungs-aufnahme und entlang eines Projektes auch beim Kunden eingesetzt werden. Dies ist natürlich auch mit einer entsprechenden Vergütung verbunden.

Hinzu kommt ein jährlicher Ausflug ins Phantasialand mit dem gesamten Fachbereich.

Impressum - https://www.frankgroup.com/de/impressum/