Formation LLM avancé

Description

Cette formation LLM avancé vous permettra de maîtriser les techniques avancées pour personnaliser, optimiser et déployer LLM dans des contextes professionnels.

Pendant 3 jours, vous apprendrez à :

• Comprendre et personnaliser l’architecture Transformer
• Maîtriser le fine-tuning et préparer des données sans biais
• Déployer un LLM sur le cloud ou on-premise avec monitoring
• Optimiser les performances via quantization et pruning
• Évaluer les LLM avec des métriques et des benchmarks
• Intégrer des approches multimodales et gérer les enjeux éthiques

Public

Cette formation LLM s’adresse aux développeur·se·s, data scientists et ingénieur·se·s machine learning souhaitant adapter, déployer et optimiser des modèles de langage dans leurs projets.

Les objectifs

• Comprendre les principes fondamentaux de l’architecture Transformer
• Adapter un LLM avec différentes stratégies de fine-tuning (full, LoRA, PEFT)
• Déployer un modèle en production et assurer sa scalabilité
• Réduire les coûts et optimiser les performances via quantization/pruning
• Évaluer la qualité et la pertinence métier d’un LLM
• Détecter et atténuer les biais et risques éthiques en production

Pré-requis

• Solides connaissances en machine learning et en traitement du langage naturel (NLP), incluant une compréhension des architectures de Transformers
• Expérience pratique avec les grands modèles de langage (ex. : BERT, GPT, LLaMA) et leurs applications
• Maîtrise de Python (pandas, numpy, scikit-learn) et de frameworks comme PyTorch ou TensorFlow
• Ordinateur portable à apporter

Le programme de la formation LLM avancé

Jour 1 – Personnaliser un LLM : fondamentaux et fine-tuning

• Rappels sur l’architecture Transformer
  • Tokenisation et embeddings : introduction à BPE et SentencePiece
  • Mécanisme d’attention et positional encoding : concepts clés
  • Impact du contexte : gestion des longs contextes (RoPE)
• Capacités et limites des LLM
  • Biais, hallucinations et mitigation via prompt engineering
  • Coût computationnel et contraintes hardware
  • Introduction à la confidentialité et au RGPD
• Introduction au fine-tuning
  • Types : full fine-tuning, instruction tuning, PEFT (LoRA)
  • Préparation des données : nettoyage et détection de biais
  • Framework : focus sur HuggingFace Transformers et PyTorch
• HuggingFace Hub
  • Trouver et comparer des modèles fine-tunés sur HuggingFace
  • Jeux de données disponibles pour l’entraînement et l’évaluation

Mises en pratique :
- Charger un modèle fine-tuné depuis HuggingFace et le tester sur un corpus de test
- Implémenter un pipeline simple avec RAG pour la recherche documentaire
- Nettoyage de données : identifier les biais dans un dataset fourni, avec feedback groupe

Jour 2 – Déployer et optimiser un LLM

• Déploiement des LLM
  • Cloud vs on-premise : avantages et contraintes ; focus sur AWS SageMaker et HuggingFace Inference API
  • Scalabilité et monitoring de base en production
• Optimisation des LLM
  • Quantization et pruning : concepts et bénéfices via HuggingFace Optimum
  • Réduction de la latence et de la consommation énergétique
• Introduction à la multimodalité
  • LLM multimodaux : introduction à CLIP (texte-image)
  • Applications : analyse de contenu multimodal
• Aspects éthiques
  • Gestion des biais en production : outils comme Fairlearn
  • Confidentialité : notions de base sur le differential privacy

Mises en pratique :
- Déployer un modèle via HuggingFace Inference API et mesurer la latence
- Appliquer la quantization sur un modèle et comparer les performances
- Analyser un cas d’usage multimodal simple (texte + image)
- Exercice éthique : identifier les biais dans un cas d’usage, avec discussion

Jour 3 – Évaluer et appliquer : performances et cas d’usage

• Évaluer les performances d’un LLM
  • Métriques courantes : BLEU, ROUGE, limites et évaluation humaine
  • Benchmarks : GLUE, MMLU ; interprétation des résultats
  • Évaluation métier : exactitude et cohérence
• Cas d’usage et tendances
  • Applications : chatbots, traduction, extraction d’information
  • Tendances : agents LLM et chain-of-thought
• Suivi en production
  • Méthodes simples de monitoring (user feedback, A/B testing)

Mises en pratique :
- Comparer un modèle de base et un modèle fine-tuné sur un jeu de test (Q/A, résumé)
- Construire une grille d’évaluation simple pour un cas d’usage choisi
- Développer un mini-projet avec un agent LLM simple
- Exercice final : estimer les ressources pour un déploiement et proposer un plan de monitoring

Télécharger le programme

Formations associées

• 

  API avec Kong Gateway

  2 jours

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 1730 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 188 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 13 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux