Apache NiFi | Automatisation et orchestration des flux de données Mixte : présentiel / à distance

À l'issue de la formation, les participants seront capables de :

• Comprendre le rôle et l'architecture d'Apache NiFi
• Concevoir et configurer des flux de données automatisés (Dataflows)
• Manipuler les processeurs, contrôleurs, filtres et routes
• Gérer les erreurs, les files d'attente, les priorités et les performances
• Sécuriser, versionner et superviser les flux
• Intégrer NiFi dans un écosystème data (Kafka, HDFS, DB, API REST, Cloud...)

• Développeurs ou ingénieurs Data
• Architectes SI ou Big Data
• Administrateurs de flux ETL / ELT
• Ingénieurs DevOps / Plateforme
• Toute personne en charge de la gestion des flux de données

• Connaissances générales en traitement de données (ETL, API, formats comme JSON, XML, CSV)
• Notions en réseau, HTTP et bases de données
• Connaissance d'un environnement Linux recommandée

Jour 1 : Introduction et prise en main de NiFi

Module 1 : Présentation d'Apache NiFi

• Origine (NSA → Apache), cas d'usage typiques
• Architecture générale (FlowFile, FlowFile Processor, Repository, etc.)
• Installation de NiFi (mode standalone)

Module 2 : Prise en main de l'interface graphique

Module 3 : Création de premiers flux simples

• Collecte de fichiers locaux (GetFile, ListFile, FetchFile)
• Transformation simple (ReplaceText, UpdateAttribute)
• Routage conditionnel (RouteOnAttribute, RouteOnContent)

Module 4 : Monitoring et files d'attente

• Construire un pipeline qui lit un fichier CSV, transforme des colonnes, et route les lignes selon une règle métier.

Jour 2 : Connecteurs, transformation et contrôle des flux

Module 5 : Connecteurs de sources et cibles

• Bases de données relationnelles (JDBC, QueryDatabaseTable)
• Web API (InvokeHTTP, REST JSON)
• Kafka, MQTT, HDFS, FTP, Email

Module 6 : Manipulation des formats de données

• JSON, XML, CSV avec ConvertRecord, EvaluateJsonPath, JoltTransformJSON
• Utilisation des Record Processors et schémas Avro
• Gestion des erreurs, rejets, timeout
• Traitement par lot, priorisation et parallélisme
• Variables, templates et paramètres de configuration
• Introduction à NiFi Registry (versionnement des flux)

TP

• Consommer une API REST, extraire des données JSON, les stocker en base de données avec logs d'erreurs

Jour 3 : Sécurité, supervision et intégration avancée

Module 7 : Supervision, alertes et audit

• Logs, provenance, tracking
• Performance des processeurs, files d'attente

Module 8 : Sécurité

• HTTPS, utilisateurs, rôles et autorisations
• Chiffrement de bout en bout, configuration sécurisée

Module 9 : Déploiement avancé

• Mode cluster / haute disponibilité
• Intégration avec Apache Kafka, Hadoop, Elasticsearch, Cloud (AWS S3, Azure Blob)
• Bonnes pratiques et patterns d'architecture

TP final

• Créer un flux complet avec collecte de fichiers via SFTP → transformation JSON → API → base de données, avec supervision et gestion des erreurs

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

• Formation en présentiel
  • En groupe (inter-entreprises ou intra-entreprise)
  • En individuel (monitorat)
  • En journée ou en cours du soir (sur demande spécifique)
• Formation en distanciel
  • Distanciel synchrone
  • Distanciel asynchrone

• Apports des connaissances communes.
• Mises en situation sur le thème de la formation et des cas concrets.
• Méthodologie d'apprentissage attractive, interactive et participative.
• Équilibre théorie / pratique : 60 % / 40 %.
• Supports de cours fournis au format papier et/ou numérique.
• Ressources documentaires en ligne et références mises à disposition par le formateur.
• Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).

En amont de la formation

• Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulement de la formation (profil, niveau, attentes particulières...)
• Auto-positionnement des apprenants afin de mesurer le niveau de départ.

Tout au long de la formation

• Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...

À la fin de la formation

• Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.
• Evaluation par le formateur des compétences acquises par les apprenants.
• Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.
• Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.

• Admission sans disposition particulière