Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD).
Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production.
Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation.
Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake.
Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.
Environnement technique
Langages & Big Data : Python, pySpark, SQL (PostgreSQL)
Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027)
Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD
BI & Gestion de projet : PowerBI, Jira, Confluence
Compétences complémentaires & Savoir-être
Maîtrise des outils de l'écosystème : Bonne connaissance d'un outil d'ordonnancement (Airflow), de SQL (PostgreSQL) et des chaînes d'intégration/déploiement continu (GitLab-CI).
Les « plus » appréciés : Une expérience sur des référentiels d'adresses ou le traitement de données géospatiales (Apache Sedona, GeoPandas).
Soft skills : Autonome, rigoureux(se) et proactif(ve), vous avez le sens de l'industrialisation et savez communiquer avec pédagogie auprès d'interlocuteurs variés (Data Scientists, métiers, DevOps).
Impératifs (Prérequis obligatoires)
Expérience significative en Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes).
Maîtrise Spark en production (Databricks / Hadoop) : Une expérience concrète et significative des traitements Spark en production sur Databricks (fortement privilégié) et/ou sur un cluster Hadoop.
Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents).
Informations pratiques :
Localisation : Lyon
Démarrage : ASAP
TJM : 440