Accueil / Kafka et Nifi, ingestion de données

Kafka et Nifi, ingestion de données

Durée : 3 jours
Tarif Inter : 1800 €
Tarif sur mesure : Nous consulter
Référence : 4IKN

  • Partagez sur
  • Téléchargez en
  • Inscrivez vous
Programme Public & Pré-requis Organisation

Présentation

Cette formation vous permettra de comprendre les fonctionnements respectifs des solutions Apache Kafka et Apache Nifi pour la manipulation de flux de données.

Ces deux plateformes offrent de grandes performances, une scalabilité horizontale et présentent toutes deux une architecture de plug-in où les fonctionnalités peuvent être étendues via des composants personnalisés.

A l’issue de cette formation vous serez en mesure d’évaluer laquelle des deux plateformes vous sera le plus utile pour le traitement de vos flux de données

Objectifs

  • Appréhender le mode de fonctionnement de l’architecture de Kafka en multiclient
  • Diriger vers un cluster Kafka des publications et des récupérations de données
  • Utiliser Kafka pour la création de Consumers et Producers personnalisés
  • Comprendre NiFi, son architecture et ses principes de flux de données
  • Utiliser des APIs Nifi, ou tierces, pour le développement d’extensions
  • Savoir développer un processeur Apache NiFi personnalisé
  • Maîtriser l’acquisition et le traitement de données en temps

Programme

  1. Introduction à Kafka

    • Histoire et systèmes complexes
    • Le business du traitement en temps réel
    • La plateforme de dataflow Kafka
    • Tour d’horizon de Kafka et de son potentiel
    • Notion de Producers
    • Notion de Brokers
    • Notion de Consumers
  2. Installation et architecture de Kafka

    • Installation et configuration avancées
    • Note sur le hardware
    • Journalisation
    • Mécanisme de réplication et fiabilité
    • Partitions : chemins de lecture et d’écriture, offsets
    • Brokers et scalabilité
    • Consumer groups
  3. Développement et implémentation

    • Quand utiliser Kafka Streams ?
    • Bases fondamentales de Kafka Streams
    • Étude de cas : exemple d’application et d’utilisation de Kafka Streams
  4. Introduction à NiFi

    • Données froides vs données chaudes
    • Big Data : technologies et outils
    • HDFS et MapReduce avec Hadoop, Spark
    • Installer et configurer NiFi
    • Architecture de NiFi
    • Aborder le développement sous Nifi
    • Mentalité et outils pour le développement d’applications
    • ETL des outils
  5. Implémentation de NiFi

    • Réflexions à propos de la conception
    • Modèles de processeur, événements et composants
    • Comment gérer les erreurs
    • Interface de contrôle
    • Tester et dépanner
    • Contribution à Apache NiFi
Formations à distance
En inter et en intra entreprise

Contactez-nous :
training@softeam.fr
+33 (0)6 07 78 24 18
Prochaines dates

Demande de renseignement