Apache Kafka | Centraliser les flux de données en temps réel Mixte : présentiel / à distance

Dernière mise à jour : 21/12/2023

Bannière visuelle de présentation de la formation

Présentation

Cette formation vous apprendra à déployer, à opérer et à monitorer un cluster Kafka en utilisant les meilleures pratiques de l'industrie, développées par les plus grands experts d'Apache Kafka.

Informations éligibilité financement Actions Collectives

Formation pouvant être prise en charge à 100% dans le cadre des Actions Collectives.

Pour en bénéficier, contactez-nous à hello.institute@docaposte.fr et complétez votre inscription sur campusAtlas. 

https://www.docaposteinstitute.com/wp-content/uploads/2023/08/Eligible-actions-co-1.png

Objectifs

  • Apprendre le fonctionnement de Kafka et de la plate-forme Confluent ainsi que leurs principaux sous-syst√®mes.
  • Apprendre comment mettre en place, administrer et configurer un cluster.
  • Acqu√©rir les bonnes pratiques de distribution de messages
  • Savoir configurer Kafka pour int√©grer les donn√©es de diff√©rents formats et de sources diff√©rentes
  • Appr√©hender les diff√©rentes APIs de Kafka.
  • Mettre en Ňďuvre KSQL
  • Travailler en s√©curit√© avec Kafka

Programme

Apache Kafka : plateforme de streaming de données open source

  • Complexit√© des syst√®mes
  • L'av√®nement du traitement en temps r√©el
  • Data streaming

 

Concepts de base de Kafka

  • Kafka et ses g√©n√©ralit√©s
  • Producers
  • Brokers
  • Consumers
  • Zookeeper
  • Les diff√©rents syst√®mes traditionnels de brokers des messages

 

Bonnes pratiques pour la cohérence et éviter la perte de données

  • Les concepts de r√©plication
  • Coh√©rence de publication des messages
  • Arr√™t et panne d'un broker
  • R√īle du Broker Controller
  • Les fichiers de logs (de donn√©es) de Kafka
  • Gestion des Offsets

 

Haute disponibilité (HA)

  • L'architecture Kafka de r√©f√©rence
  • Kafka Connect
  • SchemaRegistry
  • RESTProxy
  • Multi-Data-centers

 

Gestion d'un cluster Kafka

  • Installer et ex√©cuter Kafka
  • Surveillance et suivi d'un cluster
  • Op√©rations de cluster de base
  • Stockage et compression des journaux
  • Elasticit√© d'un cluster

 

Optimisation des performances de Kafka

  • Performance des Producers
  • Performance des Brokers
  • Panne d'un Broker et D√©lai de Recovery
  • R√©partition de la charge de consommation
  • Test de performance des consommateurs

 

Sécuriser un cluster Kafka / Zookeeper

  • Cryptage du r√©seau et authentification via SSL
  • Authentification via SASL
  • Chiffrer les donn√©es sur le disque
  • S√©curisation de ZooKeeper, SchemaRegistry et RESTProxy
  • Migration¬†vers un cluster s√©curis√©

 

Kafka connect

  • Motivation pour Kafka Connect
  • Types de connecteurs
  • D√©ployer Kafka Connect
  • Mode de d√©ploiement (autonome/distribu√©)
  • Configurer le connecteur
  • Envisager de mettre en Ňďuvre
  • Les diff√©rences¬†avec d'autres syst√®mes

Public visé

  • D√©veloppeurs et √©quipes op√©rationnelles qui sont amen√©s √† d√©ployer, administrer et configurer un cluster Kafka.

Modalités pédagogiques

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

 

  • Formation en pr√©sentiel
    • En groupe (inter-entreprises ou intra-entreprise)
    • En individuel (monitorat)
    • En journ√©e ou en cours du soir (sur demande sp√©cifique)
  • Formation en distanciel
    • Distanciel synchrone
    • Distanciel asynchrone

Prérequis

  • Bonne connaissance de Linux/Unix, et avoir des notions de base sur les r√©seaux TCP/IP.
  • Des connaissances en Spring ou Node.js sont recommand√©es.
  • Une connaissance de la machine virtuelle Java (JVM) est utile.
  • Aucune connaissance pr√©alable de Kafka n'est n√©cessaire

Moyens et supports pédagogiques

  • ¬∑¬†¬†¬†¬†¬†¬† Apports¬†des connaissances communes.
  • ¬∑¬†¬†¬†¬†¬†¬† Mises en situation sur le th√®me de la formation¬†et des cas concrets.
  • ¬∑¬†¬†¬†¬†¬†¬† M√©thodologie d'apprentissage attractive, interactive et participative.
  • ¬∑¬†¬†¬†¬†¬†¬† Equilibre th√©orie / pratique : 60 % / 40 %.
  • ¬∑¬†¬†¬†¬†¬†¬† Supports de cours fournis au format papier et/ou num√©rique.
  • ¬∑¬†¬†¬†¬†¬†¬† Ressources documentaires en ligne et r√©f√©rences mises √† disposition par le formateur.
  • ¬∑¬†¬†¬†¬†¬†¬† Pour les formations en pr√©sentiel dans les locaux mis¬†√† disposition, les apprenants¬†sont accueillis dans une salle de cours √©quip√©e d'un r√©seau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropri√©s est mis √† disposition (le cas √©ch√©ant).

Modalités d'évaluation et de suivi

En amont de la formation

·       Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulé de la formation (profil, niveau, attentes particulières...).

·       Auto-positionnement des apprenants afin de mesurer le niveau de départ.

Tout au long de la formation

¬∑¬†¬†¬†¬†¬†¬† √Čvaluation continue des acquis avec¬†des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...

A la fin de la formation

·       Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.

·       Evaluation par le formateur des compétences acquises par les apprenants.

·       Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.

·       Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.

 

A la fin de la formation :

  • Auto-positionnement des stagiaires afin de mesurer l'acquisition des comp√©tences.
  • Evaluation du formateur des comp√©tences acquises par les stagiaires.
  • Questionnaire de satisfaction √† chaud : permet de conna√ģtre le ressenti des stagiaires √† l'issue de la formation.
  • Questionnaire de satisfaction √† froid : permet d'√©valuer les apports r√©els de la formation et leurs mises en application au quotidien.

Accessibilité

Nos formations peuvent être adaptées à certaines conditions de handicap. Nous contacter pour toute information et demande spécifique.

M'inscrire à la formation

Valider la pré-inscription

Inscription possible jusqu'à 10 jours avant démarrage formation

Prochaines Sessions

  • D√©sol√©, cette formation n'est pas programm√©e pour le moment.

    Si vous êtes responsable formation, vous pouvez faire une requête pour l'organiser en INTRA dans votre entreprise.

Dans la même catégorie

Catalogue de formation propulsé par Dendreo,
Plateforme dédiée pour les OF