Développeur DataLake Talend Databricks

Job Description

Contexte : Dans le cadre du renforcement de l équipe Data, la mission vise à sécuriser la livraison des projets stratégiques et la mise en place de la nouvelle plateforme Databricks. Le consultant intégrera l équipe IT Data en charge des spécifications, de la conception et de la réalisation des modules nécessaires à la mise en production dans le datalake), ainsi que des premiers cas d usage Databricks. L équipe travaille en mode agile, au plus près des métiers 3D et Business Development et en coordination avec les autres équipes IT. La mission se déroule dans un contexte anglophone : la maîtrise de l anglais est obligatoire. Résultat attendu: • Concevoir et implémenter des pipelines d ingestion et de transformation de données (batch et temps réel), robustes et scalables. • Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs. • Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles. • Automatiser les transformations, la documentation et les tests de données avec dbt. • Configurer les pipelines d acheminement des données, y compris les flux CDC. • Mettre en place les bonnes pratiques de qualité de données, de monitoring, d alerting et de logging. • Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets. • Réaliser les développements et les tests associés, et accompagner les mises en production.