Formation Fine-tuning de LLM

Description

Cette formation Fine-tuning de LLM vous permettra d'adapter un modèle open source à vos données métier, et surtout de démontrer que le modèle obtenu fait mieux que le modèle d'origine.

Pendant 2 jours, vous apprendrez à :

• constituer un jeu de données métier exploitable à partir de vos documents, tickets ou FAQ,
• adapter un modèle open source hébergeable chez vous, avec un budget GPU maîtrisé,
• mesurer objectivement le gain obtenu et servir le modèle dans une application existante.

Public

Cette formation s'adresse aux data scientists, ML engineers et développeur·euse·s expérimenté·e·s qui doivent adapter un modèle de langage à un domaine métier et justifier ce choix par des mesures. Elle ne s'adresse pas aux personnes qui découvrent les LLM.

Les objectifs

• Arbitrer entre prompting, RAG et fine-tuning selon le cas d'usage
• Constituer et nettoyer un jeu de données d'entraînement métier
• Mettre en œuvre une adaptation efficace avec LoRA, QLoRA et PEFT
• Construire un protocole d'évaluation comparant modèle de base et modèle adapté
• Aligner un modèle sur un critère métier de qualité, de ton ou de conformité
• Servir un modèle adapté et l'intégrer à une application existante

Pré-requis

• Pratiquer Python au quotidien
• Disposer de bases en apprentissage automatique et en deep learning
• Des notions de PyTorch sont un plus
• Avoir suivi la formation LLM : RAG et agents IA ou avoir déjà travaillé avec des modèles de langage
• Ordinateur portable à apporter

Le programme de la formation Fine-tuning de LLM

Jour 1 — Adapter un modèle open source à un besoin métier

• Décider de fine-tuner
  • Prompting, RAG ou fine-tuning : arbitrage par cas d'usage
  • Ce que le fine-tuning apporte et ce qu'il n'apporte pas : style et format contre connaissance factuelle
  • Limites des méthodes classiques : coût, surapprentissage, difficulté de mise à jour
  • Choisir un modèle open source adapté à la tâche et à l'hébergement visé
• Techniques d'adaptation efficaces
  • LoRA, QLoRA, PEFT : principes et choix de stratégie
  • Quantization et réduction du coût GPU
  • Arbitrage entre qualité, temps d'entraînement et budget
• Constituer un dataset métier
  • Sources exploitables : FAQ, tickets, documents internes
  • Format, volume, qualité : ce qui suffit réellement pour une adaptation
  • Nettoyage, déduplication et découpage entraînement / validation / test
  • Pièges classiques : fuite de données, déséquilibre, exemples contradictoires
• Entraîner un premier modèle adapté
  • Fine-tuning supervisé avec SFTTrainer
  • Hyperparamètres clés et lecture des courbes d'entraînement
  • Détection du surapprentissage et itérations courtes

Mises en pratique :

• Construction d'une échelle de baselines de référence : prédiction aléatoire, constante, estimation humaine
• Benchmark de modèles de machine learning classiques sur la même tâche
• Interrogation de plusieurs LLM frontier en zero-shot, pour objectiver le niveau atteignable sans entraînement
• Synthèse comparative et décision chiffrée sur la pertinence d'un fine-tuning
• Chargement d'un même modèle en 16, 8 puis 4 bits et mesure de l'empreinte mémoire GPU
• Dimensionnement des matrices LoRA : comparaison d'une configuration légère et d'une configuration ambitieuse
• Curation d'un jeu de données produits à grande échelle : nettoyage, filtrage qualité, déduplication
• Rééquilibrage par échantillonnage pondéré, découpage des jeux et publication du dataset sur le Hub
• Évaluation du modèle de base sur le jeu de test, pour fixer un point de référence chiffré
• Fine-tuning supervisé avec SFTTrainer et adaptateur LoRA/QLoRA, suivi des courbes de perte

Jour 2 — Évaluer, aligner et servir le modèle

• Évaluer les performances
  • Métriques automatiques : perplexité, BLEU, ROUGE, F1-score — et leurs limites
  • Évaluation par LLM juge : protocole, biais et précautions
  • Jeu de tests métier : construire un référentiel qui reflète vos usages réels
  • Comparaison modèle de base / modèle adapté et vérification des régressions sur les capacités générales
• Aligner sur un critère métier
  • Principes du RLHF et variantes modernes (RLAIF, optimisation par préférences)
  • Définir un signal de récompense : qualité, ton, conformité
  • Optimisation de génération avec TRL
• Industrialiser le modèle adapté
  • Versioning de modèles et traçabilité des expérimentations
  • Servir un modèle fine-tuné : formats, quantization pour l'inférence, coût d'hébergement
  • Raccordement à une application existante
  • Maintien dans le temps : dérive des données, réentraînement, tests de non-régression

Mises en pratique :

• Rechargement du modèle de base avec l'adaptateur entraîné et premier comparatif chiffré avant / après
• Construction d'un protocole d'évaluation métier reproductible et mesure du gain réel
• Mise en place d'une évaluation par LLM juge et confrontation aux métriques automatiques
• Vérification des régressions du modèle adapté sur ses capacités générales
• Définition d'un signal de récompense sur un critère métier
• Amélioration de la qualité des réponses via TRL sur le critère défini
• Versioning de l'adaptateur et traçabilité des expérimentations successives
• Déploiement du modèle adapté et intégration dans un assistant

Bonus/Options

En fonction du temps disponible et du niveau des apprenants le module suivant peut être aussi étudié :

• Standardisation et réécriture automatisée des documents métier par un LLM via un traitement par lots — un cas d'usage transposable aux tickets, comptes rendus ou contrats

Télécharger le programme

Formations associées

• 

  LLM avancé

  3 jours
• 

  Mistral AI

  3 jours
• 

  LLM : RAG et agents IA

  3 jours
• 

  Agents IA

  3 jours
• 

  RAG avancé : retrieval et Qdrant

  2 jours
• 

  PyTorch

  2 jours

Formateur

Daouda DIOP

Daouda est docteur-ingénieur en optique et vision par ordinateur. Il a forgé son expertise dans la fibre optique, l'astronomie aérospatiale et le développement d'algorithmes de computer vision pour véhicules autonomes.

Sa maîtrise de C++, Matlab, Python et des technologies comme Hadoop, Spark, SQL et Power BI, acquise notamment lors de sa thèse dont une partie concerne le synchrotron, fait de lui un formateur d’exception.

Que ce soit à l'université ou en milieu professionnel, Daouda forme des data engineers et des data analysts, adaptant ses cours à son public avec des projets concrets. Il sait capter l’attention en mêlant théorie et pratique, permettant aux stagiaires d’appliquer Spark sur des cas réels, comme l’analyse de données événementielles sur un datalake Azure.

Suivez une formation avec Daouda pour transformer vos compétences en data !

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de satisfaction de 4,6/5 depuis 2012 (sur 1994 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 291 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 14 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux