L'objectif de cette formation est d'apprendre la configurer Apache Kafka, puis de développer des applications avec, et enfin de l'exploiter en production.

Cette formation Apache Kafka s'adresse à développeur·se·s, architectes ou encore à des profils ops débutant avec Apache Kafka.

Elle apportera les réponses suivantes :
- aux architectes : les concepts, les cas d'utilisation, l'écosystème,
- aux développeurs et développeuses : l'écriture d'une application pour envoyer et recevoir des messages,
- aux administrateurs (ops) : l'exploitation, l'optimisation, la sécurisation.

Dans le cadre du projet fil rouge, nous installerons un cluster Kafka et développerons une application en Java ou Python.

A l'issue de la formation Apache Kafka, les stagiaires seront capables de déployer Kafka et de l'utiliser dans le cadre dans leurs projets.

Les supports de cours au format PDF ainsi qu'une machine virtuelle contenant les exercices et leurs solutions sont fournis.

Covid-19 : Nous nous adaptons dans ces moments difficiles. Nous avons mis en place des outils permettant l'organisation de formations à distance.

Les objectifs

• Installer et configurer un cluster Kafka
• Développer une application utilisant Kafka
• Maîtriser les concepts de topic, partition, réplication, rétention et compaction

Pré-requis

• Maîtriser de la ligne de commande Linux
• Avoir une expérience dans un langage de programmation parmi Java ou Python
• Ordinateur portable supportant la virtualisation: 8Go de mémoire, 15Go de disque libre, VT-X activé, Virtualbox 6 opérationnel
• Ordinateur portable à apporter

Le programme de la formation Apache Kafka

Jour 1 : Des concepts au code

Introduction

• Les broker de messages
• Les spécificités de Kafka
• Les cas d'utilisation : big/fast data, event streaming...
• Le vocabulaire et les concepts de base

Clustering

• Kafka et Zookeeper
• Scalabilité et tolérance aux pannes avec un cluster
• Partitionnement et réplication

Producer

• Connecter une application à Kafka
• Envoyer un message
• Batching
• Acquittement de l'envoi

Consumer

• S'abonner à un topic
• Notion de Consumer Group
• Recevoir des messages
• Acquitter la réception : le commit d'offset
• Surveiller le Consumer Lag
• Rejouer des messages

Mises en pratique :
- Installer et démarrer Kafka
- Envoyer et recevoir des messages depuis la ligne de commande
- Configurer un cluster Kafka
- Configurer un topic : partitions et réplication
- Envoyer des messages depuis une application Java/Python
- Recevoir des messages dans une application Java Python

Jour 2 : du code à la production

Exploitation et monitoring

• Gérer la suppression des messages
• La compaction
• Scaler et mettre à jour un cluster
• Surveiller visuellement un cluster

Performances et robustesse

• Faible latence et haut débit de messages
• Tuning système et applicatif
• Durabilité et garanties de livraison
• Transactions

Sécurité

• Chiffrement des communications
• Authentification des applications
• Autorisations et ACL

Ecosystème

• Kafka Connect
• Kafka Stream
• Kafka Mirror
• Schema Registry
• Confluent platform

Mises en pratique :
- Configurer la rétention
- Configurer la compaction
- Utiliser une IHM pour monitorer Kafka
- Faire un tir de performances

Le(s) formateur(s)

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 77 formations au catalogue, 926 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation