Le produit TOPASE NLS (dont le PPO est en charge) est une initiative majeure visant à prévoir l'approvisionnement amont et valoriser les propositions de commandes fournisseurs des entrepôts. Sa réussite est essentielle pour définir au plus juste les besoins avec les meilleurs prix possibles, contribuant ainsi à notre avantage concurrentiel et à l'optimisation de nos opérations.
Le ou la Data Engineer sera intégré(e à l'équipe produit TOPASE NLS et aura pour principales missions de :
● Conception, Développement et Optimisation de Pipelines de Données sur GCP :
○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations.
○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables.
○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données.
○ Optimiser les performances des pipelines et la consommation des ressources GCP.
● Modélisation et Gestion des Données :
○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier.
○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition.
○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données.
● Run Opérationnel, Maintenance et Support N2/N3 :
○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur).
○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système.
○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle.
○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes.
○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.
○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.
● Monitoring, Logging et Alerting des Données :
○ Mettre en place et maintenir des solutions de supervision spécifiques aux flux de données, à la qualité des données, aux performances des traitements et à l'utilisation des ressources GCP (Stackdriver, Grafana, Looker Studio).