Cette formation de 3 jours sur Apache Airflow vous permettra de maîtriser la supervision, la planification et la gestion de workflows de données complexes. À travers des sessions pratiques et théoriques, vous apprendrez à créer des workflows dynamiques et évolutifs, ainsi qu'à utiliser les fonctionnalités avancées d'Airflow. Destinée aux ingénieurs Big Data, développeurs et architectes techniques, cette formation vous donnera les compétences nécessaires pour optimiser vos pipelines de données.
Objectifs
Découvrir les fonctionnalités d'Apache Airflow
Concevoir, planifier et surveiller des workflows
Comprendre le fonctionnement interne d'Airflow
Apprendre à mettre à l'échelle Airflow pour gérer de nombreux pipelines
Connaître les meilleures pratiques et les limitations d'Airflow
Public visé
Ingénieurs Big Data
Développeurs
Tech Leads
Architectes Techniques
Prérequis
Connaissance de base en Python
Programme
Introduction
Présentation des objectifs de la formation
Configuration de l'environnement de développement (installation des outils)
Découverte d'Apache Airflow
Utilité et cas d'utilisation d'Airflow
Concurrents d'Airflow
Architecture d'Airflow
Fonctionnement des workflows
[Pratique] Exploration de l'interface utilisateur
[Pratique] Utilisation de la CLI et de l'API REST
Créer son premier Workflow
Définir un DAG (Directed Acyclic Graph)
[Pratique] Création d'un premier DAG
Types d'opérateurs
[Pratique] Ajout des principaux opérateurs dans un DAG
Dépendances entre opérateurs et composition
[Pratique] Ajouter des dépendances à un DAG
Fonctionnement du planificateur d'Airflow
Définition d'un Workflow
Exécuteurs et leurs backends
Types d'exécuteurs et backends
Avantages et inconvénients de chaque type
Concepts dynamiques d'Airflow
Minimiser les répétitions avec les Groupes de tâches
[Pratique] Simplification d'un DAG avec les Groupes de tâches
Utilisation des XCOMs pour échanger des données
Pratique] Création de tâches conditionnelles
Gestion des SLAs pour les tâches
[Pratique] Définition des SLAs
Utilisation des variables d'Airflow
[Pratique] Utilisation des variables dans un DAG
Utilisation des connexions d'Airflow
[Pratique] Utilisation des connexions dans un DAG
Jinja Templating, Macros et Variables
[Pratique] Ajout de données au run time avec les variables
[Pratique] Utiliser les templates pour personnaliser les notifications
Utilisation des Pools
Interactions avec le reste du monde via les Airflow providers
Installation et utilisation des providers
Choix des opérateurs en fonction des exécuteurs et de l'échelle
Personnalisation d'un opérateur existant
Quiz
Administration d'Airflow : Sécurité, RBAC, Métriques et Logging
Sécurisation d'Airflow
Création d'utilisateurs et authentification
Contrôle d'accès basé sur les rôles (RBAC)
Modalités pédagogiques
Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :
Formation en présentiel
En groupe (inter-entreprises ou intra-entreprise)
En individuel (monitorat)
En journée ou en cours du soir (sur demande spécifique)
Formation en distanciel
Distanciel synchrone
Distanciel asynchrone
Moyens et supports pédagogiques
Apports des connaissances communes.
Mises en situation sur le thème de la formation et des cas concrets.
Méthodologie d'apprentissage attractive, interactive et participative.
Equilibre théorie / pratique : 60 % / 40 %.
Supports de cours fournis au format papier et/ou numérique.
Ressources documentaires en ligne et références mises à disposition par le formateur.
Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).
Modalités d'évaluation et de suivi
En amont de la formation
Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulé de la formation (profil, niveau, attentes particulières...).
Auto-positionnement des apprenants afin de mesurer le niveau de départ.
Tout au long de la formation
Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...
A la fin de la formation
Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.
Evaluation par le formateur des compétences acquises par les apprenants.
Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.
Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.
Informations sur l'admission
Nous consulter.
Modalités d'admission
Admission sans disposition particulière
Accessibilité
Nos formations peuvent être adaptées à certaines conditions de handicap. Nous contacter pour toute information et demande spécifique.
Si vous êtes en situation de handicap, contactez-nous avant le début de votre formation pour que nous puissions vous orienter efficacement et vous accueillir dans les meilleures conditions.
Inscription possible jusqu'à 10 jours avant le démarrage de la formation
Prochaines Sessions
Cette formation n'est pas programmée pour le moment.
