Job Specifications
Objectif du stage :
Développer, tester et intégrer un système LLM interne (Large Language Model) qu’on puisse spécialiser par projet CLEARSY, en vue d'une généralisation à l’échelle de l’entreprise.
Contexte :
CLEARSY, spécialiste des systèmes critiques et de sûreté, a initié une démarche proactive d’exploration et d’intégration des technologies d’IA générative via son infrastructure interne : le CLEARSY AI Server.
Des expérimentations ont été menées autour des grands modèles de langage (LLM) pour automatiser certaines tâches techniques, comme le commenting de code, et pour proposer un chatbot local et sécurisé à usage interne.
Dans la continuité de cette dynamique, CLEARSY cherche à disposer d’agent IA locaux spécialisés par projet. Dans cette optique, la technologie RAG (Retreival-Augmented Generation) a été testée, avec des résultats mitigés. On s’intéresse désormais à la possibilité de compléter l’apprentissage d’un LLM (fine tuning) avec la documentation d’un projet, pour obtenir la spécialisation voulue. L’objectif est donc d’expérimenter un tel complément d’apprentissage, tout en conservant la capacité du chatbot à citer ses sources, vérifier les performances obtenues et de veiller à la reproductibilité de l’apprentissage pour de futurs projets.
Contenu et structuration du stage :
Le stage s’inscrit comme un projet d’exploration, de conception et de mise en œuvre complet, structuré en plusieurs phases :
Analyse et cadrage du besoin :
Identification des besoins du projet et analyse des données disponible
Définition des contraintes (sûreté, local, performance, scalabilité, interfaces).
Veille et benchmark technique :
Etude des processus d’apprentissage mis en œuvre dans les LLM, avec en particulier les techniques pour qu’ils puissent citer leurs sources.
Tests de performances avec différentes stratégies de fine-tuning (Continual fine-tuning, Adapter-tuning / LoRA, …)
Développement de la solution retenue :
Mise en place de la chaîne IA choisie sur le CLEARSY AI Server
Sur la base documentaire technique d’un projet CLEARSY existant
Validation et documentation :
Évaluation des performances : avec la participation des équipes du projet test choisi, évaluation de l’utilité des réponses sur des requêtes nécessitant une connaissance et compréhension du projet test.
Rédaction d’un guide d’utilisation et d’un retour d’expérience. Le guide d’utilisation devra en particulier détailler comment faire une telle spécialisation, ou comment l’étendre avec de nouveaux documents.
Livrables attendus :
Prototype fonctionnel de chaîne IA intégrée sur serveur CLEARSY
Scripts, librairies et infrastructure logicielle associée
Benchmark comparatif des solutions testées
Rapport technique complet et documentation d’intégration
Profil recherché
Compétences recherchées :
IA, NLP, LLM fine-tuning
Programmation Python avancée
Librairies Python : HuggingFace, Transformers, LangChain, PEFT, TRL, …
Connaissances en architecture logicielle, API, développement orienté objet
Capacité à mener une veille technologique
Autonomie, esprit d’initiative, rigueur scientifique
About the Company
CLEARSY specializes in designing safety critical systems.
From design to commissioning, we develop SIL1 to SIL4 certified systems. Our expertise includes data validation, system verification and safety demonstration. Also we promote the formal B method that has the potential to disrupt safety critical system development.
CLEARSY proposes solutions to increase passenger flow and safety of the busiest commuter lines, improve train operation safety, reduce costs incurred by safety system development and verify safety critical...
Know more