Apache Spark est un framework permettant de traiter d'énormes volumes de données, de l’ordre de centaines de Go par jour. Quand les outils classiques sont limités par de tels volumes, Spark permet d’opérer à grande échelle grâce au calcul distribué, pour transformer la donnée en donnée utile, souvent à des fins de business intelligence.

Cette formation s’adresse aux développeur·euse·s ayant un niveau intermédiaire en programmation et souhaitant découvrir ou approfondir le domaine big data.

Lors de cette formation, vous découvrirez les concepts fondamentaux de Spark, comment exploiter les dataframes, gérer le parallélisme, traiter les données en batch et en temps réel de façon optimisée, déployer vos applications sur le cloud, comment Spark s’applique au machine learning.

Tout au long de la formation, vous mettrez en pratique les notions étudiées dans des cas concrets : lecture et analyse de données batch depuis un cloud, data analyse sur des gros volumes, traitement de données en temps réel.

Votre formateur, Cyril Lay, est un ingénieur curieux et passionné qui met en relation les notions étudiées avec son expérience professionnelle dans le domaine, permettant aux apprenant·e·s de transposer leurs nouvelles compétences dans leur entreprise.

Les objectifs

• Comprendre les concepts fondamentaux de Spark et du calcul distribué
• Manipuler et analyser des dataframes
• Effectuer de l’analyse temps réel avec Spark Streaming
• Effectuer du machine learning avec Spark MLlib
• Déployer une application Spark

Pré-requis

• niveau intermédiaire en Python
• Ordinateur portable à apporter

Le programme de la formation Spark Python

Jour 1 : Découverte de Spark, premières opérations

• Comprendre quand utiliser Spark
• Utiliser les transformations et actions de base
• Lire, transformer et sauvegarder des dataframes en mode batch

Mises en pratique :
- Configurer en environnement de développement big data
- Analyser des données batch avec les fonctions de base Spark

Jour 2 : Spark streaming

• Comprendre le traitement de données en temps réel
• Transformer des données avec une latence ultra faible
• Gérer les cas spécifiques au temps réel : late data, triggers, agrégation par fenêtre

Mises en pratique :
- Créer un flux de données streaming
- Analyser des données avec Spark Streaming
- Filtrer et agréger des données en temps réel

Jour 3 : Déploiement et Spark ML

• Comprendre l’utilité de Spark dans l’intelligence artificielle
• Utiliser les fonctions machine learning de Spark (Spark MLlib)
• Déployer une application sur le cloud

Mises en pratique :
- Développer une pipeline de machine learning
- Déployer une application Spark sur AWS

Le(s) formateur(s)

Cyril LAY

Cyril Lay est Machine Learning Engineer en freelance depuis 5 ans.

Il a commencé dans l’IT et la data avec son diplôme d’école d’ingénieur en data science. Sa carrière a débuté avec le big data dans des start-ups/scale-ups à Londres et à Los Angeles. Il y a appris à gérer des pipeline de machine learning à très haut volume de données.

Cyril adore transmettre ses connaissances des sujets qui le passionne, c'est pourquoi, en parallèle de son activité de consultant freelance, il dispense de nombreuses formations : c’est très épanouissant et challengeant.

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 103 formations au catalogue, 1466 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation