Job Specifications
Probayes a pour vocation de proposer à ses clients les solutions d’Intelligence Artificielle et de Machine Learning les plus performantes possibles.
Nous accompagnons un client disposant d’une plateforme Databricks déployée sur Microsoft Azure, dédiée au développement et à l’industrialisation de projets Data et Intelligence Artificielle.
Dans ce contexte, nous recherchons un Lead Data Engineer Databricks capable de transformer les POCs en solutions industrialisées au sein de Databricks, en appliquant les bonnes pratiques du client (MLOps, gouvernance, CI/CD, etc.). Le poste couvre l’ensemble du cycle projet, de la phase de cadrage à la mise en production, en collaboration étroite avec nos équipes internes et celles du client.
Votre mission sera d’accompagner les architectes et les développeurs pour :
Concevoir et déployer des architectures Data et IA sur Azure Databricks, en intégrant les bonnes pratiques de gestion du cycle de vie, de MLOps, de CI/CD et de monitoring,
Assurer le rôle d’interlocuteur technique principal auprès du client tout au long du projet,
Contribuer activement à la mise en œuvre et à l’industrialisation des solutions Data/IA,
Encadrer, accompagner et faire monter en compétence les équipes de développement internes et côté client,
Contribuer à standardiser les bonnes pratiques d’industrialisation des projets Databricks (data pipelines, modèles ML, jobs automatisés, gouvernance, qualité des données),
Garantir la sécurité, la performance et la scalabilité des solutions déployées,
Participer à la veille technologique et au partage des connaissances au sein des équipes,
Contribuer au recrutement de profils spécialisés sur Databricks.
Profil recherché
Qualifications :
Ingénieur en informatique ou équivalent (Bac+5 minimum)
Expérience professionnelle de 5 ans minimum dans un environnement Data Platfor
Compétences requises :
Expérience confirmée en industrialisation de projets Data en production
Maîtrise de Databricks : Delta Lake, Unity Catalog, MLflow, gestion des jobs et des clusters
Expérience sur au moins un Cloud provider (de préférence Azure)
Maîtrise des langages Python, PySpark et SQL
Solide compréhension des architectures data modernes : Lakehouse, ELT/ETL, streaming, API
Bonne connaissance des outils d’intégration et de déploiement continu (CI/CD) : Git, GitLab CI, ou équivalents
Compétences appréciées :
Pratique du langage Scala
Connaissance des bonnes pratiques d’industrialisation IA (training, serving, monitoring, MLOps)
Familiarité avec des outils de visualisation et de data catalog tels que Power BI, Tableau, ou équivalents
Qualités requises :
Vous êtes autonome, curieux(se), proactif(ve) et rigoureux(se)
Vous aimez travailler en équipe
Vous avez une bonne communication orale et écrite
Vous avez de bonnes capacités de communication avec les clients
About the Company
Since 2003, Probayes, the AI expert, has been working to improve your performance.
Referents on the whole value chain, we collaborate with all sectors.
We are multi-specialists, ready to serve you and your strategic challenges.
We shape with you your customized solution.
Thanks to our mastery of AI :
- Machine Learning and Deep Learning : prediction, Interpretability, clustering, recommendation
- Operational Research & Combinatorial Optimization : logistics & planning, industrial process, distribution networks, decision Mak...
Know more