Lors de cette formation Spark avec python, vous apprendrez à traiter d'énormes volumes de données, de l’ordre de centaines de Go et plus, là où les outils classiques (Excel, Pandas, python) montrent leurs limites. Vous serez en mesure de nettoyer, transformer, et agréger ces données pour les rendre utiles à des fins de business intelligence.

Vous découvrirez les concepts fondamentaux de Spark :
- exploiter les dataframes,
- gérer le parallélisme,
- traiter les données en batch et en temps réel,
- exploiter les meilleures pratiques et les anti-patterns dans un paradigme big data,
- déployer de telles applications sur le cloud.

Vous apprendrez notamment à utiliser ces connaissances dans un contexte de machine learning.

Tout au long de la formation, vous mettrez en pratique les notions étudiées dans des cas concrets :
- lecture et analyse de données batch depuis un cloud,
- data analyse sur des gros volumes,
- traitement de données en temps réel.

Les objectifs

• Comprendre les concepts fondamentaux de Spark et du calcul distribué
• Manipuler et analyser des dataframes
• Effectuer de l’analyse temps réel avec Spark Streaming
• Effectuer du machine learning avec Spark MLlib
• Déployer une application Spark

Pré-requis

• niveau intermédiaire en Python
• Ordinateur portable à apporter

Le programme de la formation Spark Python

Jour 1 : Découverte de Spark, premières opérations

• Comprendre dans quels cas utiliser et ne pas utiliser Spark
• Appréhender le fonctionnement global de Spark et du calcul distribué
• Découvrir le principe de lazy evaluation
• Utiliser les transformations de base : map, flatmap, filter, groupby, join
• Connaître les actions de base : save, collect, count, show
• Lire, transformer et sauvegarder des dataframes en mode batch

Mises en pratique :
- Configurer un environnement de développement big data
- Analyser des données de transport aérien avec les fonctions de base Spark

Jour 2 : Spark streaming

• Découvrir les cas d’application de traitements temps réel
• Transposer les principes des opération batch au traitement de données en temps réel (streaming)
• Transformer des données avec une latence faible (~1 seconde)
• Gérer les cas spécifiques aux cas d’usage en temps réel :
  • Late data
  • Triggers
  • Agrégation par fenêtre

Mises en pratique :
- Créer un flux de données streaming
- Traiter des données IoT (internet of things) d’un capteur d’ouverture/fermeture de porte, et des données financières d’achat et vente d’action en temps réel
- Sauvegarder des données dans AWS

Jour 3 : Optimisation, déploiement et Spark ML

• Optimisation, déploiement et Spark ML
• Optimiser des jobs Spark grâce à des bonnes pratiques
• Économiser des coûts de ressources en évitant les anti-patterns
• Comprendre l’utilité de Spark dans l’intelligence artificielle
• Utiliser les fonctions machine learning de Spark (Spark MLlib) :
  • Estimator
  • Transformer
  • Pipeline
• Les différentes approches pour déployer une application Spark

Mises en pratique :
- Développer une pipeline de machine learning pour prédire la survie des passagers du Titanic
- Prédire le churn de clients d’une entreprise
- Déployer une application Spark sur AWS

Le(s) formateur(s)

Cyril LAY

Cyril Lay, est un formateur spécialisé dans les technologies liées à l'intelligence artificielle et au machine learning.

Il travaille avec Spark depuis 8 ans.

Grâce à Spark, il a notamment pu mettre en œuvre des pipelines de données permettant de traiter jusqu’à 50 To par jour afin de proposer des enchères en temps réel sur des emplacements de publicité en ligne.

Concernant les LLM, il exploite cette technologie depuis 2021.

Il a développé de nombreux outils s'appuyant sur des LLM dont voici quelques exemples :
- développer des RAG sur des outils de Geomapping
- construire des assistants conversationnels (Chatbot) basés sur la documentation de Hugging Face et Metaflow

Par ailleurs, Cyril rédige régulièrement des articles de blog techniques au sujet des LLMs et de l’implémentation de RAG.

L’expérience professionnelle et les compétences personnelles de Cyril vous permettront de mettre facilement en relation les notions étudiées avec votre domaine d’application afin que vous puissiez transposer vos nouvelles compétences dans votre entreprise.

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 111 formations au catalogue, 1517 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation