Data Engineer - Paris

Ingénieur Data Big Data



Frank Recrutement Group, cabinet de niche en recrutement depuis 2006, spécialisé dans les métiers du digital et de l'IT, recherche activement un Data Engineer. Ce dernier rejoindra l'équipe de la DATA Intelligence de notre client afin d'exploiter et d'analyser l'ensemble des données clients.



Ce dernier est doté d'une forte expertise métier par industrie, qui se traduit en solutions intégrées et innovantes : Data, IA, Blockchain , IOT, Cloud…lui permettant ainsi d'accompagner ses clients dans la définition et la mise en œuvre de leur transformation digitale, de bout en bout.





Description du poste:

En tant qu'Ingénieur Data Big Data, votre rôle principal consistera à implémenter et mettre en place des traitements de données dans leur intégralité, en utilisant des technologies Big Data telles que Hadoop et Spark. Vous travaillerez sur des pipelines de données, de la collecte initiale à la restitution finale, en passant par la modélisation, le nettoyage, la transformation, le contrôle qualité et la détection d'anomalies. Vous serez également responsable de l'industrialisation et du déploiement des pipelines de traitement sur des environnements On-Premise et dans le Cloud (AWS, Azure). Vous participerez à la gouvernance des données en mettant en place des processus de Master Data Management (MDM) tels que le rapprochement de données, le dédoublonnage, la normalisation, l'historisation et le calcul d'indicateurs et d'agrégats. Votre rôle inclura également la planification et l'ordonnancement des traitements dans les environnements de production, ainsi que la participation à l'évolution de la stack technique et au choix des outils.

Responsabilités:

1 Implémentation de traitements de données: Concevoir, développer et mettre en place des pipelines de traitement de données, en prenant en charge toutes les étapes, de la collecte à la restitution finale.
2 Gouvernance des données et MDM: Veiller à la qualité des données en mettant en place des processus de Master Data Management (MDM), tels que le rapprochement de données, le dédoublonnage, la normalisation, l'historisation, le calcul d'indicateurs et d'agrégats.
3 Industrialisation et déploiement dans le Cloud: Déployer les pipelines de traitement dans des environnements Cloud tels que AWS et Azure, en assurant la sécurité des données et la disponibilité des ressources nécessaires.
4 Évolution de la stack technique: Participer à l'évolution de la stack technique en évaluant et en choisissant les outils et les frameworks appropriés, en fonction des besoins du projet.
5 Veille technologique: Rester informé des dernières avancées technologiques dans le domaine du Big Data, en particulier en ce qui concerne Hadoop, Spark et les technologies Cloud (AWS, Azure).
6 Collaboration avec l'équipe DevOps: Travailler en collaboration avec l'équipe DevOps pour mettre en place les outils Big Data nécessaires et assurer la sécurité des données tout au long du processus.
7 Optimisation des traitements: Optimiser les traitements de données existants en identifiant les goulots d'étranglement et en proposant des améliorations, notamment par le biais de revues de code.

Environnement technique:

* Technologies et langages : SQL/T-SQL, Hadoop, Spark, Scala, Python (PySpark), Hue, Zeppelin, Suite MS BI (SQL Server, SSIS, SSRS), PowerShell, Shell Unix, AWS (S3, Glue), Docker/Kubernetes, Frameworks internes, Power BI, Tableau Software.
* Organisation et agilité : Gitlab, Scrum/Jira.

Profil recherché:

* Expérience professionnelle d'au moins 2 ans dans le domaine des données (data).
* Expérience de travail sur des environnements Big Data avec Hadoop et Spark.
* Capacité à travailler sur des environnements algorithmiques complexes.
* Autonomie, rigueur et force de proposition.
* Bon relationnel et aptitude à travailler en équipe.
* Passion pour les données (data).
* Diplômé(e) d'une école d'informatique.
* Compréhension fonctionnelle des besoins métier.
* Connaissances Cloud (AWS, Azure) appréciées.