Le but principal de cette formation est de mieux comprendre les algorithmes de Machine Learning afin de ne plus les utiliser comme des "boites noires". Nous verrons que bien les connaître et les manipuler permet d'améliorer drastiquement les scores de prédiction.

La majorité des problèmes de Machine Learning se formulent comme des problèmes d'optimisation. Dès lors, il devient nécessaire d'être familier avec l'ensemble des méthodes d'optimisation si l'on veut maîtriser finement les différents algorithmes prédictifs.

Dans cette formation Machine Learning : Optimisez vos algorithmes, nous présenterons en détail plusieurs méthodes d'optimisation. Nous nous focaliserons principalement sur l'algorithme de descente de gradient ainsi que ses dérivées (e.g. le gradient stochastique) qui permettent de résoudre efficacement des problèmes de régression ou de classification.

Cette formation s'adresse aux Data Scientists :
1. Voulant maîtriser les algorithmes d'optimisation en ML afin de mieux ajuster les hyper-paramètres de leurs méthodes et ainsi améliorer leurs prédictions,
2. Voulant aller au delà de ce que propose des librairies comme scikit-learn pour s'adapter/mieux répondre à une problématique spécifique.

Par exemple, en modifiant la pénalisation de la fonction objectif, en changeant la fonction de coût ou en traitant de manière automatique les valeurs aberrantes ou manquantes.

À la fin de cette formation, le code source et les slides seront mis à la disposition des stagiaires.

Les objectifs

• Maîtriser les fondamentaux en algèbre linéaire et en analyse différentielle (convexité, dérivation),
• Mieux connaître et utiliser les algorithmes d'optimisation pour le Machine Learning,
• Ajuster les différent hyper-paramètres de manière optimale et ainsi améliorer ses prédictions,
• Répondre à une problématique concrète qui nécessiterait une modification de la pénalisation ou de la fonction de coût

Pré-requis

• Connaissance de base en Maths,
• Connaissances de base en Python
• Connaissances de base de la librairie scikit-learn,
• Savoir utiliser jupyter,
• Ordinateur portable à apporter

Le programme de la formation Machine Learning : Optimisez vos algorithmes

Jour 1 : Les fondamentaux pour l'optimisation

Jour introductif aux fondamentaux en optimisation et Machine Learning.
Le but de cette journée est tout d'abord de maîtriser l'ensemble des outils mathématiques nécessaire à l'optimisation en Machine Learning.

Elle est également consacrée à une vue d'ensemble de différentes méthodes d'optimisation ainsi qu'à l'importance du coût et des hyper-paramètres dans un modèle de Machine Learning.

• Motivations : Tous les problèmes de régression et de classification sont des problèmes d'optimisation
• Les fondamentaux : Algèbre linéaire, convexité et dérivation
• Overview
  • Méthodes classiques en optimisation convexe
  • Influence de la fonction de coût et des hyper-paramètres sur la prédiction

Mises en pratique :
- Produit matriciel, calcul de norme, manipulation de vecteur
- Reconnaître si une fonction est convexe
- Visualisation de différentes fonctions de coût

Jour 2 : Les algorithmes classiques : Bien les connaître et savoir quand les utiliser

Cette journée nous permettra d'introduire les algorithmes d'optimisation les plus important en Machine Learning.

Ces algorithmes sont à la base de l'apprentissage et doivent être maîtrisé pour mieux les calibrer (learning rate, early stopping, ...).
On verra également comment adapter la fonction de coût et les régularisations à une tâche spécifique. On utilisera les fondamentaux du jour 1 pour résoudre ces nouveaux problèmes d'optimisation.

• Trois algorithmes de descente : Batch, stochastic et proximal gradient descent
• Comprendre dans quelle situation privilégier tel ou tel algorithme de descente
• Calibration des hyper-paramètres pour la résolution des problèmes de régression (linéaire) et classification
• Quand et pourquoi modifier la fonction de coût d'un problème de Machine Learning
• Adapter la régularisation à son problème en régression linéaire

Mises en pratique :
- Coder l'ensemble des algorithmes pour la régression linéaire simple, ridge et lasso
- Faire varier le nombre et la taille des données, le pas de la descente, etc
- Faire une comparaison des vitesses de convergence des trois algorithmes

Jour 3 : Applications et approfondissement sur des cas réels

Cette troisième et dernière journée sera consacrée à la mise en pratique de nos connaissances sur des cas réels.

Elle nous permettra de consolider nos connaissances et de gagner en intuition. Ce sera également l'occasion de découvrir des notions plus avancées comme la dérivation automatique, qui simplifieront le code.

Mise en pratique sur un cas concret

Sur une application adaptée à vos problèmes ou une régression et classification sur des problèmes nécessitant des modifications du coût et des pénalisations (ex: données manquantes, aberrantes ou déséquilibrées, dictionary learning, inpainting, segmentation, ...).

Approfondissement

• Momentum, learning rate scheduler, local optima
• Dérivation automatique
• Validation croisée pour choisir les paramètres
• Budget learning, méthode du point intérieur, méthode du simplexe

Le(s) formateur(s)

Pierre HUMBERT

Après une thèse en mathématiques, Pierre est aujourd’hui chercheur à l'INRIA en Machine Learning.
En parallèle de son activité de recherche, il contribue à des projets plus appliqués notamment grâce à plusieurs partenariats dans le domaine médical.

C'est son envie de transmettre qui l'a naturellement poussé à devenir formateur en Machine Learning.

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 103 formations au catalogue, 1460 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation