Formation Apache Airflow Mixed: In person / distance learning

• Découvrir les fonctionnalités d'Apache Airflow
• Concevoir, planifier et surveiller des workflows
• Comprendre le fonctionnement interne d'Airflow
• Apprendre à mettre à l'échelle Airflow pour gérer de nombreux pipelines
• Connaître les meilleures pratiques et les limitations d'Airflow

• Ingénieurs Big Data
• Développeurs
• Tech Leads
• Architectes Techniques

1. Introduction

• Présentation des objectifs de la formation
• Configuration de l'environnement de développement (installation des outils)

2. Découverte d'Apache Airflow

• Utilité et cas d'utilisation d'Airflow
• Concurrents d'Airflow
• Architecture d'Airflow
• Fonctionnement des workflows
• [Pratique] Exploration de l'interface utilisateur
• [Pratique] Utilisation de la CLI et de l'API REST

3. Créer son premier Workflow

• Définir un DAG (Directed Acyclic Graph)
• [Pratique] Création d'un premier DAG
• Types d'opérateurs
• [Pratique] Ajout des principaux opérateurs dans un DAG
• Dépendances entre opérateurs et composition
• [Pratique] Ajouter des dépendances à un DAG
• Fonctionnement du planificateur d'Airflow
• Définition d'un Workflow

4. Exécuteurs et leurs backends

• Types d'exécuteurs et backends
• Avantages et inconvénients de chaque type

5. Concepts dynamiques d'Airflow

• Minimiser les répétitions avec les Groupes de tâches
• [Pratique] Simplification d'un DAG avec les Groupes de tâches
• Utilisation des XCOMs pour échanger des données
• Pratique] Création de tâches conditionnelles
• Gestion des SLAs pour les tâches
• [Pratique] Définition des SLAs
• Utilisation des variables d'Airflow
• [Pratique] Utilisation des variables dans un DAG
• Utilisation des connexions d'Airflow
• [Pratique] Utilisation des connexions dans un DAG
• Jinja Templating, Macros et Variables
• [Pratique] Ajout de données au run time avec les variables
• [Pratique] Utiliser les templates pour personnaliser les notifications
• Utilisation des Pools

6. Interactions avec le reste du monde via les Airflow providers

• Installation et utilisation des providers
• Choix des opérateurs en fonction des exécuteurs et de l'échelle
• Personnalisation d'un opérateur existant
• Quiz

7. Administration d'Airflow : Sécurité, RBAC, Métriques et Logging

• Sécurisation d'Airflow
• Création d'utilisateurs et authentification
• Contrôle d'accès basé sur les rôles (RBAC)

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

• Formation en présentiel
• En groupe (inter-entreprises ou intra-entreprise)
• En individuel (monitorat)
• En journée ou en cours du soir (sur demande spécifique)
• Formation en distanciel
• Distanciel synchrone
• Distanciel asynchrone

• Alternance d'apports théoriques et de mises en pratique contextualisées.
• Progression pédagogique structurée, de la compréhension à la mise en œuvre opérationnelle.
• Pédagogie immersive favorisant une mise en application immédiate des compétences.
• Formation interactive et participative s'appuyant sur des ateliers pratiques, études de cas et échanges collectifs (+ 60 % du temps de formation.)
• Séquences pédagogiques rythmées et évaluations formatives régulières pour renforcer l'ancrage des apprentissages.
• Supports de cours, ressources documentaires et références mis à disposition par le formateur

En amont de la formation (évaluation en ligne dans l'extranet apprenant)

• Recueil des besoins et des attentes des participants.
• Auto-positionnement permettant d'évaluer le niveau initial des apprenants.

Tout au long de la formation

• Évaluations continues réalisées par le formateur travers des questions orales, exercices, QCM, études de cas et mises en situation pratiques.
  
  

À l'issue de la formation (évaluations en ligne dans l'extranet apprenant)

• Auto-positionnement afin de mesurer l'acquisition des compétences visées.
• Validation de l'acquisition des compétences par le formateur
• Questionnaire de satisfaction « à chaud » à l'issue de la formation
• Questionnaire de satisfaction "à froid", 45 jours après la formation afin d'évaluer l'ancrage des acquis et leur mise en application en situation professionnelle.

• Admission après test