Formation BigQuery avancé

Description

Cette formation BigQuery avancé vous permettra de maîtriser les fonctionnalités avancées de Google BigQuery pour optimiser vos analyses de données massives.

Pendant 2 jours, vous apprendrez à :

• utiliser des techniques avancées (traitement des arrays, fonctions analytiques, transformations via pivot ou merge),
• découvrir les secrets du fonctionnement interne de BigQuery,
• optimiser les performances (partitionnement, clustering, vues matérialisées) et à
• optimiser les coûts BigQuery (méthodes et choix de stockage, gestion des slots et des requêtes à la demande)

Que ce soit pour optimiser les performances de vos requêtes ou pour réduire vos coûts de stockage et de calculs, cette formation vous amènera à exceller dans l’écosystème BigQuery.

Public

Cette formation s’adresse aux développeur·euse·s et data analysts souhaitant approfondir leurs compétences en BigQuery, gestion des performances et optimisation des coûts.

Les objectifs

• Maîtriser le SQL avancé dans BigQuery (arrays, JSON, PIVOT, MERGE)
• Exploiter les fonctions analytiques et optimiser les performances des requêtes
• Comprendre le fonctionnement interne de BigQuery (Colossus, Dremel, Borg)
• Optimiser les tables via partitionnement, clustering et vues matérialisées
• Réduire les coûts de stockage et de requêtage avec des stratégies adaptées
• Découvrir les fonctions avancées de BigQuery (BigQuery ML, gouvernance et IA générative)

Pré-requis

• Connaissances de base en SQL
• Expérience préalable avec BigQuery
• Ordinateur portable à apporter

Le programme de la formation BigQuery avancé

Jour 1 : Maîtrise technique et performance avec BigQuery

• SQL avancé dans BigQuery
  • Manipulations avancées
    • Traitement des dates et des heures
    • Manipulation des chaînes de caractères
    • Gestion des arrays
    • Traitement des types STRUCT et JSON
  • Fonctions analytiques et transformations
    • Fonctions analytiques et usage de QUALIFY
    • Rotations avec PIVOT
    • Mises à jour incrémentales avec MERGE
    • Techniques de sampling
• Organisation des données et structuration des requêtes
  • Fonctions
    • Fonctions SQL
    • Fonctions de tables
    • User-Defined Functions (UDF)
  • Gestion des mises à jour
    • Transactions
    • Sessions
  • Gouvernance des données
    • Labels
    • Intégration avec Dataplex Catalog
• Sous le capot de BigQuery
  • Stockage distribué avec Colossus
  • Exécution des requêtes avec Dremel
  • Orchestration et gestion des ressources avec Borg
• Optimisation des performances
  • Pour une meilleure compréhension des requêtes
    • Lecture des statistiques et des plans de requêtes
    • Identification des problèmes de performance
  • Optimisation des requêtes
    • Optimisation/éviction des jointures
    • Approximations avec HyperLogLog
  • Optimisation des tables
    • Techniques de partitionnement
    • Techniques de clustering
    • Pré-agrégations grâce aux vues matérialisées et au smart tuning
    • Choix des formats de fichiers les plus adaptés
  • Mentions honorables
    • Utilisation du cache
    • Calculs en RAM avec BI Engine

Mises en pratique :

• Analyse avancée de données avec SQL
• Étude de cas: optimisation de tables et de requêtes

Jour 2 : Optimisation des coûts et innovation dans BigQuery

• Optimisation des coûts
  • Optimisation des coûts de stockage
    • Stockage logique vs stockage physique
    • Imbrication des données
    • Politiques de rétention
    • Suivi du stockage et identification d’opportunités
  • Optimisation des coûts de requêtage
    • On-demand vs réservations de slots
    • Stratégies en on-demand
    • Stratégies en réservations de slots
    • Suivi des coûts de requêtes et identification d’opportunités
  • Maîtrise des coûts
    • Exportation et analyse des données de facturation
    • Mise en place de budgets et d’alertes
• Perspectives
  • Autres formes de requêtes
    • Requêtes fédérées
    • Procédures stockées
    • Pipe syntax
  • Gouvernance et sécurité
    • Gestion des autorisations et audits
    • Qualité des données via des scans réguliers
  • Intelligence artificielle
    • BigQuery ML
    • Embeddings et IA générative

Mises en pratique :

• Étude de cas: optimisation des coûts d’un projet BigQuery
• Exploitation de l’IA dans BigQuery

Télécharger le programme

Formations associées

• 

  BigQuery

  2 jours
• 

  Google Analytics (GA4)

  2 jours

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 1784 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 206 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 13 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux