Job Specifications
Le poste :
Yousign recherche, à partir de janvier 2026, un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.
Durant ce stage de 6 mois, tu participeras à la mise en œuvre d’un processus d’évaluation robuste et industrialisé pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira :
la définition des critères de qualité,
la constitution de jeux de tests,
l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.
L’objectif est d’améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.
Missions principales :
Benchmark & étude : Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
Conception : Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
Développement : Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.
Profil recherché :
Étudiant(e) en dernier année au sein d'une école d'ingénieur en France, en recherche d’un stage de fin d’études.
Compétences techniques (Hard skills) :
Must-have :
Bases solides en développement (Python ou TypeScript) et en métriques.
Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
Anglais courant (documentation technique, outils).
Nice-to-have :
Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
Pratique du CI/CD, des tableaux de bord et de l’alerting.
Qualités personnelles (Soft skills) :
Curiosité et veille technologique – Intérêt pour l’innovation en IA.
Pédagogie – Capacité à vulgariser et à former.
Adaptabilité – Environnement en évolution rapide.
Esprit d’initiative – Proactivité dans l’identification d’opportunités.
Ce que trouveras chez Yousign :
Une scale-up dynamique qui place les personnes avant tout
Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
Le meilleur de la culture et des méthodes de travail
Un environnement de travail bienveillant et stimulant
Des évènements d’équipes réguliers
La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
Télétravail occasionnel (rythme à adapter avec ton équipe)
Equal Opportunity at Yousign
Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer. Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.
Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable !
About the Company
Yousign is Europe’s trusted e-signature solution, helping companies streamline, secure, and accelerate their agreement processes.
Proudly certified as a B Corp, we’re committed to delivering solutions that are not only reliable and compliant but also focused on making a positive impact on people and the planet.
Today, over 20,000 companies—from fast-growing startups to established enterprises across Europe—choose Yousign for its accessible web app and powerful API, designed to simplify document signing and integrate seam...
Know more