Dans cette formation autour des LLM (Large Language Models), vous apprendrez à maîtriser les modèles génératifs en développant une application RAG.

Vous découvrirez et implémenterez une application RAG (Retrieval Augmented Generation) vous permettant de personnaliser des LLM avec votre documentation (wiki/doc interne, fichiers texte, PDF, bases de données…). Votre LLM, disposera ainsi d’un contexte élargi, et sera donc en mesure de fournir des réponses personnalisées en s’appuyant sur votre base d’information personnalisée et sa logique et ses données d’entraînement.

Lors de cette formation sur les LLM, vous découvrirez les concepts fondamentaux des LLM, les enjeux du moment et la scène technologique actuelle, les différentes approches pour customiser un LLM (prompt engineering, fine-tuning, RAG), comment mettre des données à disposition d’un LLM via les vector embeddings, et vous mettrez en pratique ces notions dans un cas concret : mettre en place un chatbot spécialisé avec la documentation de la célèbre librairie de data science Hugging Face.

Cette formation s'adresse aux développeur·se·s, data scientists, data engineers, ML engineers.

Les objectifs

• Comprendre les concepts fondamentaux des LLM
• Communiquer efficacement avec un chatbot via le prompt engineering
• Maîtriser les différentes personnalisations de modèles (prompt-engineering, fine-tuning, RAG)
• Maîtriser l’outillage autour des LLM avec LLamaIndex et LangChain
• Formater des données et les rendre disponible à un modèle génératif via des embeddings et une base de donnée vectorielle avec LanceDB
• Développer une application RAG de bout en bout

Pré-requis

• Niveau intermédiaire en Python.
• Notions de base en machine learning.
• Ordinateur portable à apporter

Le programme de la formation LLM

Jour 1 : Découverte des LLMs et chatbots

• Comprendre les concepts fondamentaux d’un LLM : l’architecture transformers
• Découvrir le panorama technique actuel :
  • Modèles propriétaires (ChatGPT, Gemini), open-source (Mistral, Llama3)
  • Les librairies d’outillage (Langchain, LLamaIndex, APIs)
• Prompt engineering : améliorer les réponses des chatbots en construisant des prompts efficaces
• Découvrir le principe du RAG (Retrieval Augmented Generation)

Mises en pratique :
- Ingénierie de prompts pour fournir du contexte au chatbot
- Écrire un programme “hello world” avec LLamaIndex

Jour 2 : Implémenter un RAG

• Découvrir l’architecture d’une application RAG et les briques nécessaires (LlamaIndex, LanceDB, API GPT-4):
  • Récupérer des données à ingérer depuis un site web
  • Formater les données de façon adaptée
  • Transformer les données dans un format compréhensible et utilisable pour un LLM
  • Choisir une API LLM, locale et distante
• Les différents modes de déploiement
  • Déploiement sur le cloud
  • Déploiement on-premise

Mises en pratique :
- Indexer, vectoriser le texte de la documentation Hugging Face et le stocker dans une base de donnée vectorielle : LanceDB
- Retrouver des documents issus de la documentation Hugging Face via du langage naturel
- Créer une pipeline RAG avec LlamaIndex

Jour 3 : Réaliser le fine-tuning de son LLM

• Découvrir le re-ranking
• Introduction au fine-tuning
• Découvrir l’écosystème Hugging Face
• Combinaison du fine-tuning et du RAG
• Évaluer les performances de son application RAG
  • Métrique MMLU
  • LMSYS benchmark

Mises en pratique :
- Améliorer la recherche de documents de notre LLM grâce au re-ranking
- Déployer notre application LLM en production

Le(s) formateur(s)

Cyril LAY

Cyril Lay, est un formateur spécialisé dans les technologies liées à l'intelligence artificielle et au machine learning.

Il travaille avec Spark depuis 8 ans.

Grâce à Spark, il a notamment pu mettre en œuvre des pipelines de données permettant de traiter jusqu’à 50 To par jour afin de proposer des enchères en temps réel sur des emplacements de publicité en ligne.

Concernant les LLM, il exploite cette technologie depuis 2021.

Il a développé de nombreux outils s'appuyant sur des LLM dont voici quelques exemples :
- développer des RAG sur des outils de Geomapping
- construire des assistants conversationnels (Chatbot) basés sur la documentation de Hugging Face et Metaflow

Par ailleurs, Cyril rédige régulièrement des articles de blog techniques au sujet des LLMs et de l’implémentation de RAG.

L’expérience professionnelle et les compétences personnelles de Cyril vous permettront de mettre facilement en relation les notions étudiées avec votre domaine d’application afin que vous puissiez transposer vos nouvelles compétences dans votre entreprise.

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 111 formations au catalogue, 1517 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation