Apache Kafka | Centraliser les flux de données en temps réel Mixte : présentiel / à distance

Cette formation vous apprendra à déployer, à opérer et à monitorer un cluster Kafka en utilisant les meilleures pratiques de l'industrie, développées par les plus grands experts d'Apache Kafka.

Formation pouvant être prise en charge à 100% dans le cadre des Actions Collectives.

Pour en bénéficier, contactez-nous à hello.institute@docaposte.fr et complétez votre inscription sur campusAtlas. 

• Apprendre le fonctionnement de Kafka et de la plate-forme Confluent ainsi que leurs principaux sous-systèmes.
• Apprendre comment mettre en place, administrer et configurer un cluster.
• Acquérir les bonnes pratiques de distribution de messages
• Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
• Appréhender les différentes APIs de Kafka.
• Mettre en œuvre KSQL
• Travailler en sécurité avec Kafka

Apache Kafka : plateforme de streaming de données open source

• Complexité des systèmes
• L'avènement du traitement en temps réel
• Data streaming

 

Concepts de base de Kafka

• Kafka et ses généralités
• Producers
• Brokers
• Consumers
• Zookeeper
• Les différents systèmes traditionnels de brokers des messages

 

Bonnes pratiques pour la cohérence et éviter la perte de données

• Les concepts de réplication
• Cohérence de publication des messages
• Arrêt et panne d'un broker
• Rôle du Broker Controller
• Les fichiers de logs (de données) de Kafka
• Gestion des Offsets

 

Haute disponibilité (HA)

• L'architecture Kafka de référence
• Kafka Connect
• SchemaRegistry
• RESTProxy
• Multi-Data-centers

 

Gestion d'un cluster Kafka

• Installer et exécuter Kafka
• Surveillance et suivi d'un cluster
• Opérations de cluster de base
• Stockage et compression des journaux
• Elasticité d'un cluster

 

Optimisation des performances de Kafka

• Performance des Producers
• Performance des Brokers
• Panne d'un Broker et Délai de Recovery
• Répartition de la charge de consommation
• Test de performance des consommateurs

 

Sécuriser un cluster Kafka / Zookeeper

• Cryptage du réseau et authentification via SSL
• Authentification via SASL
• Chiffrer les données sur le disque
• Sécurisation de ZooKeeper, SchemaRegistry et RESTProxy
• Migration vers un cluster sécurisé

 

Kafka connect

• Motivation pour Kafka Connect
• Types de connecteurs
• Déployer Kafka Connect
• Mode de déploiement (autonome/distribué)
• Configurer le connecteur
• Envisager de mettre en œuvre
• Les différences avec d'autres systèmes

• Développeurs et équipes opérationnelles qui sont amenés à déployer, administrer et configurer un cluster Kafka.

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

 

• Formation en présentiel
• En groupe (inter-entreprises ou intra-entreprise)
• En individuel (monitorat)
• En journée ou en cours du soir (sur demande spécifique)
• Formation en distanciel
• Distanciel synchrone
• Distanciel asynchrone

• Bonne connaissance de Linux/Unix, et avoir des notions de base sur les réseaux TCP/IP.
• Des connaissances en Spring ou Node.js sont recommandées.
• Une connaissance de la machine virtuelle Java (JVM) est utile.
• Aucune connaissance préalable de Kafka n'est nécessaire

• ·       Apports des connaissances communes.
• ·       Mises en situation sur le thème de la formation et des cas concrets.
• ·       Méthodologie d'apprentissage attractive, interactive et participative.
• ·       Equilibre théorie / pratique : 60 % / 40 %.
• ·       Supports de cours fournis au format papier et/ou numérique.
• ·       Ressources documentaires en ligne et références mises à disposition par le formateur.
• ·       Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).

En amont de la formation

·       Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulé de la formation (profil, niveau, attentes particulières...).

·       Auto-positionnement des apprenants afin de mesurer le niveau de départ.

Tout au long de la formation

·       Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...

A la fin de la formation

·       Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.

·       Evaluation par le formateur des compétences acquises par les apprenants.

·       Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.

·       Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.

 

A la fin de la formation :

• Auto-positionnement des stagiaires afin de mesurer l'acquisition des compétences.
• Evaluation du formateur des compétences acquises par les stagiaires.
• Questionnaire de satisfaction à chaud : permet de connaître le ressenti des stagiaires à l'issue de la formation.
• Questionnaire de satisfaction à froid : permet d'évaluer les apports réels de la formation et leurs mises en application au quotidien.

Nos formations peuvent être adaptées à certaines conditions de handicap. Nous contacter pour toute information et demande spécifique.