Skills
Communication
Python
Java
Go
Scala
SQL
NoSQL
Big Data
MySQL
MongoDB
Cassandra
PostgreSQL
GitHub
GitLab
CI/CD
DevOps
Docker
Kubernetes
Monitoring
Jenkins
Architecture
Machine Learning
Azure
AWS
Agile
GCP
Snowflake
Hadoop
Spark
Gitlab CI
Databricks
Kafka
Terraform
GitLab CI/CD
Infrastructure as Code
GitHub Actions
Job Specifications
Dans le cadre du développement de nos activités dans le domaine de la Data et du Big Data, nous recherchons un Data Engineer expérimenté pour accompagner nos clients dans leurs projets de transformation data.
Vous jouerez un rôle central dans la conception, le développement et la maintenance des infrastructures de données stratégiques.
Véritable architecte de la donnée, vous serez garant de la qualité, de la sécurité et de la disponibilité des données au sein des organisations de nos clients.
Responsabilités principales:
- Architecture et infrastructure de données
- Concevoir et développer des architectures de données robustes, scalables et performantes (Data Warehouses, Data Lakes)
- Définir et implémenter les standards techniques et les bonnes pratiques d'architecture data
- Mettre en place et maintenir les infrastructures cloud (AWS, GCP, Azure) pour le traitement des données
Pipelines de données et ETL/ELT
- Développer et optimiser des pipelines de données (ETL/ELT) fiables et performants
- Automatiser les processus d'ingestion, de transformation et de mise à disposition des données
- Gérer et orchestrer les workflows avec des outils modernes (Airflow, DBT, Prefect, Dagster)
Qualité et gouvernance des données
- Garantir la qualité, la conformité et la sécurité des données traitées
- Mettre en place des mécanismes de monitoring et d'alerting pour assurer la fiabilité des pipelines
- Documenter les architectures, les flux de données et les processus mis en place
- Collaboration et accompagnement
- Collaborer étroitement avec les Data Analysts, Data Scientists et équipes métier pour comprendre leurs besoins
- Accompagner les équipes sur les bonnes pratiques d'utilisation des données
- Participer aux choix technologiques et à l'évolution de la stack data
Optimisation et performance
- Optimiser les performances des requêtes et des traitements de données
- Gérer l'évolutivité des infrastructures pour répondre aux besoins croissants en volume de données
- Mettre en place des stratégies de partitionnement, d'indexation et d'optimisation des coûts cloud
Profil recherché
- Compétences techniques requises
- Expérience : Minimum 3 à 5 ans en tant que Data Engineer avec une expérience confirmée sur des projets Big Data
- Langages de programmation : Maîtrise de Python (indispensable), SQL avancé, et idéalement Scala, Java ou Go
- Cloud public : Expertise sur au moins un cloud provider (AWS, GCP ou Azure) avec connaissance des services data (S3, BigQuery, Redshift, Databricks, Snowflake)
- Technologies Big Data : Expérience avec Hadoop, Spark, Kafka, ou équivalents
- Orchestration : Maîtrise d'Apache Airflow, Prefect, Dagster ou équivalent
- Bases de données : Expertise en bases SQL (PostgreSQL, MySQL) et NoSQL (MongoDB, Cassandra, Elasticsearch)
Infrastructure as Code : Connaissance de Terraform, CloudFormation ou équivalent
- CI/CD et DevOps : Expérience avec Docker, Kubernetes, GitLab CI/CD, GitHub Actions ou Jenkins
Compétences appréciées
- Connaissance des outils de transformation moderne (DBT, Great Expectations)
- Expérience avec des solutions de streaming en temps réel (Kafka, Kinesis, Pub/Sub)
- Familiarité avec les concepts de Data Mesh et Modern Data Stack
- Connaissance des enjeux de sécurité des données et de conformité (RGPD)
- Expérience en MLOps et déploiement de modèles de Machine Learning
Qualités personnelles
- Esprit d'analyse et capacité à résoudre des problèmes techniques complexes
- Rigueur et souci du détail dans la conception et le développement
- Excellentes compétences en communication pour échanger avec des interlocuteurs techniques et métier
- Capacité à travailler en autonomie et en équipe dans un environnement agile
- Curiosité technique et veille constante sur les nouvelles technologies data
- Anglais professionnel (lecture de documentation technique, échanges avec les
About the Company
UPPLI promoteur de l'intelligence Digital. La mobilité est souvent assimilée uniquement à un simple média, cela revient à croire qu'elle se limiterait au simple fait d’utiliser une application pour accéder à une information. Pour Uppli, la mobilité est un process complet qui doit prendre en compte l'environnement mobile mais aussi l’UX, le design et le déplacement du mobinaute. L'omniprésence de la mobilité dans notre quotidien trouve également un écho dans nos activités professionnelles. En effet, tous les métiers, toutes l...
Know more