Formation BigQuery avancé

Description

Cette formation BigQuery avancé vous permettra de maîtriser les fonctionnalités avancées de Google BigQuery pour optimiser vos analyses de données massives.

Pendant 2 jours, vous apprendrez à :

• utiliser des techniques avancées (traitement des arrays, fonctions analytiques, transformations via pivot ou merge),
• découvrir les secrets du fonctionnement interne de BigQuery,
• optimiser les performances (partitionnement, clustering, vues matérialisées) et à
• optimiser les coûts BigQuery (méthodes et choix de stockage, gestion des slots et des requêtes à la demande)

Que ce soit pour optimiser les performances de vos requêtes ou pour réduire vos coûts de stockage et de calculs, cette formation vous amènera à exceller dans l’écosystème BigQuery.

Public

Cette formation s’adresse aux développeur·euse·s et data analysts souhaitant approfondir leurs compétences en BigQuery, gestion des performances et optimisation des coûts.

Les objectifs

• Maîtriser le SQL avancé dans BigQuery (arrays, JSON, PIVOT, MERGE)
• Exploiter les fonctions analytiques et optimiser les performances des requêtes
• Comprendre le fonctionnement interne de BigQuery (Colossus, Dremel, Borg)
• Optimiser les tables via partitionnement, clustering et vues matérialisées
• Réduire les coûts de stockage et de requêtage avec des stratégies adaptées
• Découvrir les fonctions avancées de BigQuery (BigQuery ML, gouvernance et IA générative)

Pré-requis

• Connaissances de base en SQL
• Expérience préalable avec BigQuery
• Ordinateur portable à apporter

Le programme de la formation BigQuery avancé

Jour 1 : Maîtrise technique et performance avec BigQuery

• SQL avancé dans BigQuery
  • Manipulations avancées
    • Traitement des dates et des heures
    • Manipulation des chaînes de caractères
    • Gestion des arrays
    • Traitement des types STRUCT et JSON
  • Fonctions analytiques et transformations
    • Fonctions analytiques et usage de QUALIFY
    • Rotations avec PIVOT
    • Mises à jour incrémentales avec MERGE
    • Techniques de sampling
• Organisation des données et structuration des requêtes
  • Fonctions
    • Fonctions SQL
    • Fonctions de tables
    • User-Defined Functions (UDF)
  • Gestion des mises à jour
    • Transactions
    • Sessions
  • Gouvernance des données
    • Labels
    • Intégration avec Dataplex Catalog
• Sous le capot de BigQuery
  • Stockage distribué avec Colossus
  • Exécution des requêtes avec Dremel
  • Orchestration et gestion des ressources avec Borg
• Optimisation des performances
  • Pour une meilleure compréhension des requêtes
    • Lecture des statistiques et des plans de requêtes
    • Identification des problèmes de performance
  • Optimisation des requêtes
    • Optimisation/éviction des jointures
    • Approximations avec HyperLogLog
  • Optimisation des tables
    • Techniques de partitionnement
    • Techniques de clustering
    • Pré-agrégations grâce aux vues matérialisées et au smart tuning
    • Choix des formats de fichiers les plus adaptés
  • Mentions honorables
    • Utilisation du cache
    • Calculs en RAM avec BI Engine

Mises en pratique :
- Analyse avancée de données avec SQL
- Étude de cas: optimisation de tables et de requêtes

Jour 2 : Optimisation des coûts et innovation dans BigQuery

• Optimisation des coûts
  • Optimisation des coûts de stockage
    • Stockage logique vs stockage physique
    • Imbrication des données
    • Politiques de rétention
    • Suivi du stockage et identification d’opportunités
  • Optimisation des coûts de requêtage
    • On-demand vs réservations de slots
    • Stratégies en on-demand
    • Stratégies en réservations de slots
    • Suivi des coûts de requêtes et identification d’opportunités
  • Maîtrise des coûts
    • Exportation et analyse des données de facturation
    • Mise en place de budgets et d’alertes
• Perspectives
  • Autres formes de requêtes
    • Requêtes fédérées
    • Procédures stockées
    • Pipe syntax
  • Gouvernance et sécurité
    • Gestion des autorisations et audits
    • Qualité des données via des scans réguliers
  • Intelligence artificielle
    • BigQuery ML
    • Embeddings et IA générative

Mises en pratique :
- Étude de cas: optimisation des coûts d’un projet BigQuery
- Exploitation de l’IA dans BigQuery

Télécharger le programme

Formations associées

• 

  Google Analytics (GA4)

  2 jours

Formateur

Sofien BEN AYED

Sofien est un formateur chez Humancoders, spécialisé en BigQuery.

C'est un ingénieur logiciel spécialisé en Python, en conception d'API et en traitement de données, il cumule 5 ans d’expérience dans l'industrie du crawl et du SEO.

Chez ses clients, il conçoit des systèmes innovants pour stocker, traiter et exposer les données tout en optimisant les coûts et les performances. Il intervient également comme analyste de données pour aider ses clients à mieux comprendre et améliorer leurs processus.

Sofien est également mentor et évaluateur chez OpenClassrooms et enseignant en école d'informatique et de commerce, il adapte ses formations aux besoins des apprenants, qu'ils soient débutants ou expérimentés. Pédagogue, il rend les concepts accessibles, met en lumière les enjeux derrière chaque notion et partage son savoir avec enthousiasme.

Suivre une formation avec Sofien, c’est progresser avec clarté et efficacité !

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 1719 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 184 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 13 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux