Senior Data Engineer (H/F)
Job Description
Dans le cadre du renforcement des équipes Data, nous recherchons des profils capables de concevoir, industrialiser et optimiser des plateformes de données (batch & temps réel) au sein d’environnements distribués basés sur Cloudera.
Vos missions :
Développement & Industrialisation
Développer des pipelines de traitement en PySpark.
Mettre en place des flux temps réel via Kafka (topics, partitions, schémas, offsets).
Modéliser et optimiser les schémas Cassandra (tables, clés, clustering, réplication).
Intégrer et transformer des données provenant de multiples sources (APIs, BDD, streams, fichiers).
Qualité, Performance & Fiabilité
Déployer des mécanismes de Data Quality (contrôles, monitoring, alerting).
Optimiser les traitements Spark (partitioning, tuning, formats de données).
Assurer la supervision et la résolution des incidents en production.
CI/CD & Gouvernance
Industrialiser les développements via des chaînes CI/CD (tests automatisés, déploiements).
Documenter les flux, modèles et bonnes pratiques.
Contribuer à la gouvernance des données : catalogue, traçabilité, sécurité.
4 ans d’expérience dans des environnements distribués et des architectures Big Data
Spark / PySpark : batch & streaming.
Python : scripts, librairies data, tests automatisés.
Kafka : conception de flux, producers/consumers, partitions.
Cassandra : modélisation orientée requêtes, optimisation, administration.
Solide maîtrise de SQL + connaissances NoSQL.
Connaissance d’un outil d’orchestration : Airflow, Luigi, Prefect…
Bonne compréhension des environnements distribués (Cloudera, Hadoop).
Compétences en Git, CI/CD (GitLab CI…).
Pratiques DevOps / MLOps appréciées.
Pourquoi nous rejoindre ?
Rejoindre Devoteam, c’est :
Évoluer sur des projets stratégiques autour de la donnée
Bénéficier d’un accompagnement personnalisé pour le développement de vos compétences et certifications
Travailler dans un environnement stimulant, collaboratif et bienveillant