Formation Big data

Description

Cette formation au Big Data vous permettra d'acquérir une maîtrise des concepts fondamentaux, des méthodologies, et des technologies utilisées dans les projets Big Data.

Pendant 3 jours, vous apprendrez à :

• mettre en place une infrastructure adaptée
• exécuter des ETL
• utiliser des frameworks de calcul distribué pour analyser des données en mode batch ou temps réel

Au cours de cette formation Big Data, vous manipulerez des outils comme Hadoop, Spark, et Hive. Vous serez capable de comprendre les architectures modernes telles que les Data Lakes et d'utiliser Kafka pour le traitement temps réel.

Public

Cette formation s’adresse aux développeur·se·s, data Scientists, analystes de données et administrateur·rice·s système souhaitant acquérir des compétences sur les outils et frameworks Big Data pour traiter des données volumineuses.

Les objectifs

• Identifier les enjeux et bénéfices du Big Data pour les organisations
• Installer et configurer une infrastructure Big Data distribuée
• Réaliser des ETL sur des données volumineuses et complexes
• Manipuler des frameworks de calcul distribué comme Hadoop et Spark
• Comprendre et appliquer les principes d'architecture Big Data, incluant Lambda, Kappa et Data Lakes

Pré-requis

• Connaissance des bases en programmation
• Familiarité avec les concepts de base des bases de données
• Une expérience préalable en administration système est un plus
• Ordinateur portable à apporter

Le programme de la formation Big data

Jour 1 Enjeux et technologies du Big Data

• La réalité économique et l’histoire du Big Data
  • Les enjeux du Big Data
  • Les 3 V du Big Data
  • Les chiffres clés
• Les concepts fondamentaux du Big Data
  • Diviser (et distribuer) pour régner
  • Le paradigme Map Reduce
• Le Framework Hadoop
  • Architecture et composants
    • Hadoop MapReduce
    • HDFS
    • YARN
• Les principales distributions Hadoop du marché
  • Cloudera
  • MapR
  • Hortonworks
  • AWS
• EMR: Le cluster Big Data d’AWS
• L’écosystème Hadoop
  • HUE
  • Oozie

Mises en pratique :
- Multiplication d’une matrice par un vecteur et jointure de tables (BDD) en MapReduce
- Installation d'une plateforme Big Data Hadoop et réalisation d’un WordCount en Map Reduce

Jour 2 : NoSQL et architecture Big Data

• Le NoSQL
  • Les familles NoSQL
• Le théorème de CAP
• Architectures Big Data
  • La Stack ELK
  • Les différents types d’architecture
    • Lambda
    • Data Lake
    • Kappa
  • Présentation d’un cas pratique d’architecture Lambda
• Temps réel : Introduction à Kafka

Mises en pratique :
- Implémentation d’une architecture Kafka - Spark Streaming

Jour 3 : Analyse Avancée avec Spark et Hive

• Spark
  • Introduction à la Data Science
  • Qu’est-ce que Spark ?
  • Les modules de Spark
  • Les grands concepts
    • RDD (Resilient Distributed Dataset)
    • DataFrame
    • DAG (Directed Acyclic Graph)
  • Spark UI
• Manipuler et analyser des données (semi)structurées avec Hive
  • Créer des bases de données structurées dans Hive
  • Manipuler des données en SQL avec Hive
  • Guide des bonnes pratiques en Hive

Mises en pratique :
- Réalisation d’un ETL en Hive à partir de données stockées dans HDFS
- Réalisation d’un ETL et d’un modèle de Machine Learning en Spark (API python)

Télécharger le programme

Formations associées

• 

  Spark Python

  3 jours
• 

  Kafka

  3 jours
• 

  ETL & Data Warehouse

  3 jours
• 

  Claude Code

  2 jours
• 

  Airflow

  3 jours
• 

  BigQuery avancé

  2 jours

Formateur

Quentin VILLOTTA

Quentin Villotta est un professionnel de la data et de l’humanitaire, alliant expertise technique et engagement social.

Après huit ans d’expérience en tant que Data Engineer et Data Scientist dans le conseil auprès de grands groupes français, il se tourne en 2020 vers l’humanitaire ainsi que l’enseignement et la formation.

Depuis, il met ses compétences au service d’ONG pour renforcer l’efficacité des réponses aux crises grâce à l’analyse et à la gestion des données.

En parallèle, il enseigne et forme au Big Data, intervenant auprès d’étudiants en master et de professionnels afin de les accompagner dans leur montée en compétences dans les métiers de la data.

Grâce à une approche pédagogique centrée sur l’humain, favorisant l’interaction et l’équilibre entre concepts théoriques et applications pratiques, Quentin vous accompagnera efficacement dans votre montée en compétences.

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de satisfaction de 4,6/5 depuis 2012 (sur 1968 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 277 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 14 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux