Formation Fine-tuning de LLM

Description

Cette formation Fine-tuning de LLM vous permettra d'adapter un modèle open source à vos données métier, et surtout de démontrer que le modèle obtenu fait mieux que le modèle d'origine.

Pendant 2 jours, vous apprendrez à :

• constituer un jeu de données métier exploitable à partir de vos documents, tickets ou FAQ,
• adapter un modèle open source hébergeable chez vous, avec un budget GPU maîtrisé,
• mesurer objectivement le gain obtenu et servir le modèle dans une application existante.

Public

Cette formation s'adresse aux data scientists, ML engineers et développeur·euse·s expérimenté·e·s qui doivent adapter un modèle de langage à un domaine métier et justifier ce choix par des mesures. Elle ne s'adresse pas aux personnes qui découvrent les LLM.

Les objectifs

• Arbitrer entre prompting, RAG et fine-tuning selon le cas d'usage
• Constituer et nettoyer un jeu de données d'entraînement métier
• Mettre en œuvre une adaptation efficace avec LoRA, QLoRA et PEFT
• Construire un protocole d'évaluation comparant modèle de base et modèle adapté
• Aligner un modèle sur un critère métier de qualité, de ton ou de conformité
• Servir un modèle adapté et l'intégrer à une application existante

Pré-requis

• Pratiquer Python au quotidien
• Disposer de bases en apprentissage automatique et en deep learning
• Des notions de PyTorch sont un plus
• Avoir suivi la formation LLM : RAG et agents IA ou avoir déjà travaillé avec des modèles de langage
• Ordinateur portable à apporter

Le programme de la formation Fine-tuning de LLM

Jour 1 — Adapter un modèle open source à un besoin métier

• Décider de fine-tuner
  • Prompting, RAG ou fine-tuning : arbitrage par cas d'usage
  • Ce que le fine-tuning apporte et ce qu'il n'apporte pas : style et format contre connaissance factuelle
  • Limites des méthodes classiques : coût, surapprentissage, difficulté de mise à jour
  • Choisir un modèle open source adapté à la tâche et à l'hébergement visé
• Techniques d'adaptation efficaces
  • LoRA, QLoRA, PEFT : principes et choix de stratégie
  • Quantization et réduction du coût GPU
  • Arbitrage entre qualité, temps d'entraînement et budget
• Constituer un dataset métier
  • Sources exploitables : FAQ, tickets, documents internes
  • Format, volume, qualité : ce qui suffit réellement pour une adaptation
  • Nettoyage, déduplication et découpage entraînement / validation / test
  • Pièges classiques : fuite de données, déséquilibre, exemples contradictoires
• Entraîner un premier modèle adapté
  • Fine-tuning supervisé avec SFTTrainer
  • Hyperparamètres clés et lecture des courbes d'entraînement
  • Détection du surapprentissage et itérations courtes

Mises en pratique :

• Prise en main de l'environnement d'entraînement fourni
• Constitution d'un dataset exploitable à partir de documents métier
• Adaptation d'un LLM open source avec LoRA et lecture des résultats d'entraînement

Jour 2 — Évaluer, aligner et servir le modèle

• Évaluer les performances
  • Métriques automatiques : perplexité, BLEU, ROUGE, F1-score — et leurs limites
  • Évaluation par LLM juge : protocole, biais et précautions
  • Jeu de tests métier : construire un référentiel qui reflète vos usages réels
  • Comparaison modèle de base / modèle adapté et vérification des régressions sur les capacités générales
• Aligner sur un critère métier
  • Principes du RLHF et variantes modernes (RLAIF, optimisation par préférences)
  • Définir un signal de récompense : qualité, ton, conformité
  • Optimisation de génération avec TRL
• Industrialiser le modèle adapté
  • Versioning de modèles et traçabilité des expérimentations
  • Servir un modèle fine-tuné : formats, quantization pour l'inférence, coût d'hébergement
  • Raccordement à une application existante
  • Maintien dans le temps : dérive des données, réentraînement, tests de non-régression

Mises en pratique :

• Construction d'un protocole d'évaluation métier et mesure du gain réel
• Amélioration de la qualité des réponses via TRL sur un critère défini
• Déploiement du modèle adapté et intégration dans un assistant

Télécharger le programme

Formateur

Daouda DIOP

Daouda est docteur-ingénieur en optique et vision par ordinateur. Il a forgé son expertise dans la fibre optique, l'astronomie aérospatiale et le développement d'algorithmes de computer vision pour véhicules autonomes.

Sa maîtrise de C++, Matlab, Python et des technologies comme Hadoop, Spark, SQL et Power BI, acquise notamment lors de sa thèse dont une partie concerne le synchrotron, fait de lui un formateur d’exception.

Que ce soit à l'université ou en milieu professionnel, Daouda forme des data engineers et des data analysts, adaptant ses cours à son public avec des projets concrets. Il sait capter l’attention en mêlant théorie et pratique, permettant aux stagiaires d’appliquer Spark sur des cas réels, comme l’analyse de données événementielles sur un datalake Azure.

Suivez une formation avec Daouda pour transformer vos compétences en data !

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 1906 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 270 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 14 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux