Skills

Communication Python SQL Data Engineering dbt (data build tool) PostgreSQL GitHub GitLab CI/CD Docker Linux git Azure AWS Agile Pandas GCP Snowflake Spark PySpark

Job Specifications

Nous recherchons un Data Engineer passionné par la donnée et les technologies modernes de traitement et d’orchestration. Le candidat interviendra au sein d’une équipe Data en charge de la conception, du développement et de la maintenance des pipelines de données, afin d’assurer la fiabilité, la performance et la qualité des traitements.

Missions principales

Concevoir, développer et maintenir des pipelines de données performants et évolutifs.
Collecter, transformer et charger les données depuis différentes sources (ETL/ELT).
Orchestrer les workflows à l’aide d’Airflow.
Mettre en place et maintenir des modèles de données avec DBT.
Optimiser les performances des traitements Spark et des requêtes SQL.
Garantir la qualité, la sécurité et la traçabilité des données.
Collaborer avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins de reporting et d’analyse.
Participer à l’industrialisation et à l’automatisation des processus de traitement.
Versionner et documenter le code sous Git.

Compétences techniques requises

Langage de programmation : Python (maîtrise des librairies orientées Data : Pandas, PySpark, etc.)
Traitement distribué : Spark (PySpark, SparkSQL)
Orchestration : Airflow
Modélisation & transformation : DBT (Data Build Tool)
Bases de données : SQL avancé (PostgreSQL, Snowflake, BigQuery, ou équivalent)
Versioning : Git / GitLab / GitHub
Environnements : Linux, Docker, CI/CD (un plus)
Connaissances en cloud (AWS, GCP ou Azure) appréciées

Profil recherché

Formation supérieure en informatique, data engineering ou équivalent (Bac +4/5).
Expérience de 2 à 5 ans minimum sur un poste similaire.
Bonnes pratiques de clean code, tests unitaires et documentation.
Esprit d’équipe, rigueur et sens du détail.
Bonne communication et capacité à travailler dans un environnement Agile

About the Company

As a leading player in information systems enhanced by strategic data integration, for over 30 years now Consort Group has been helping companies protect and enhance the value of that critical asset so they can harness their full potential and turn it into a significant competitive edge. Our goal: to offer to our clients an approach combining agility and flexibility, power and efficiency; one that serves their business and lies at the heart of their strategy. Know more