Nouveauté 2025 : Découvrez les formations sur l'Intelligence Artificielle

Apache Airflow - IT - Informatique

Formation Apache Airflow – Niveau Avancé : Maîtrisez l’Automatisation des Flux de Données

Niveau :

Satisfaction de nos apprenants en 2024 : 98%
Taux d’assiduité : 100%

Tout savoir sur votre formation :

Formez-vous selon vos disponibilités ! Vous proposez 3 dates au choix et votre formateur vous confirme la date souhaitée.

En présentiel dans votre entreprise, dans l’un de nos 54 centres de formation ou en distanciel par visioconférence.

Contexte de la formation

Vous souhaitez optimiser la gestion de vos flux de données et automatiser vos workflows avec Apache Airflow ? Vous cherchez à accroître votre expertise dans l’intégration de technologies émergentes ? Dans un monde où les données sont la clé de la prise de décision, la maîtrise d’Apache Airflow est devenue un atout indéniable.

Apache Airflow s’est imposé comme un outil essentiel pour orchestrer les flux de travail de données de manière efficace et automatisée. En effet, la maîtrise des fonctionnalités intermédiaires d’Apache Airflow permet d’optimiser son potentiel et de répondre aux besoins complexes des entreprises modernes. Cette compétence est particulièrement recherchée par les entreprises qui cherchent à réduire les erreurs humaines, améliorer l’efficacité opérationnelle et obtenir un avantage concurrentiel significatif. De plus, la capacité à intégrer Airflow avec d’autres systèmes et outils de données renforce votre position stratégique, vous permettant de jouer un rôle clé dans la transformation numérique de votre entreprise.

Alors, prêt à booster votre carrière et à vous démarquer dans le domaine de la gestion des flux de données ?

Avec Expertisme, Organisme de Formation certifié QUALIOPI, vous pourrez approfondir vos connaissances des capacités avancées d’Apache Airflow grâce à notre Formation Apache Airflow. Notre Formateur Expert Métier vous guidera à travers des cas d’utilisation concrets et des exercices pratiques qui vous aideront à gérer des workflows plus complexes. Vous découvrirez comment scaler Airflow pour gérer un grand nombre de pipelines, connaîtrez les meilleures pratiques et limitations de Airflow, et apprendrez comment intégrer Airflow avec d’autres systèmes et outils de données.

Notre formation est conçue pour être adaptable à vos besoins, que vous soyez un ingénieur Big Data, un développeur, un Tech Lead ou un architecte technique. Nous vous fournirons les compétences techniques avancées nécessaires pour exceller dans votre domaine, tout en vous préparant à relever les défis de l’avenir numérique.

Alors, êtes-vous prêt à maximiser votre potentiel et à accélérer votre carrière ? N’attendez plus et inscrivez-vous à notre Formation Apache Airflow. Avec Expertisme, vous aurez l’assurance de bénéficier d’une formation de qualité, adaptée à vos besoins et efficace pour votre carrière.

Il est temps d’agir, de prendre votre carrière en main et de vous démarquer dans votre domaine. Avec notre Formation Apache Airflow, vous aurez toutes les clés en main pour réussir. Alors, n’attendez plus et inscrivez-vous dès maintenant !

À qui s’adresse cette formation ?

Cette formation s’adresse à plusieurs profils professionnels évoluant dans le domaine du numérique et de la gestion des données. Les ingénieurs Big data seront particulièrement intéressés par cette formation Apache Airflow, leur permettant d’acquérir des compétences supplémentaires en matière de gestion des flux de travail de données. Les développeurs, quant à eux, pourront approfondir leur maîtrise des outils d’orchestration de tâches, essentiels dans la construction et le déploiement d’applications basées sur les données. Les Tech Leads et les architectes techniques, qui sont souvent en charge de la supervision des projets technologiques, pourront également trouver un grand intérêt à cette formation. Elle leur offrira des connaissances précises sur la gestion des pipelines de données, leur permettant ainsi d’optimiser la coordination des équipes et la mise en œuvre des projets.

Objectifs

  • Appréhender l’architecture et le fonctionnement d’Apache Airflow
  • Maîtriser la création, la planification et la surveillance de workflows avec Apache Airflow
  • Comprendre comment scaler Apache Airflow pour gérer un volume croissant de pipelines
  • Identifier les meilleures pratiques pour optimiser l’utilisation d’Apache Airflow
  • Reconnaître les limitations inhérentes à Apache Airflow et savoir comment les contourner
  • Mettre en œuvre des cas pratiques pour consolider les compétences acquises et valider la maîtrise de l’outil Apache Airflow.

Programme

  • 1. INTRODUCTION : DÉCOUVERTE DE APACHE AIRFLOW
    • Présentation de l’environnement de développement
    • Installation des outils nécessaires
    • Compréhension des besoins et utilités de Apache Airflow
    • Présentation de l’architecture de Apache Airflow
    • Fonctionnement et planification des workflows avec Airflow
    • Atelier Pratique :
    • Installation d’Apache Airflow
    • Exploration de l’interface utilisateur
    • Découverte de la CLI et HTTP REST API
  • 2. CODER SON PREMIER WORKFLOW AVEC AIRFLOW
    • Définition et compréhension du concept de DAG (Directed Acyclic Graph)
    • Présentation des différents types d’opérateurs
    • Compréhension des dépendances entre opérateurs et de la bitshift composition
    • Fonctionnement détaillé du planificateur de Airflow
    • Atelier Pratique : Création d’un premier DAG, Ajout des principaux opérateurs dans le DAG. Définition de l’ordre d’exécution des tâches dans le DAG
  • 3. EXÉCUTEURS ET LEURS BACKEND
    • Présentation des différents exécuteurs et backend
    • Comparaison des avantages et faiblesses de chacun
    • Atelier Pratique : Configuration d’un LocalExecutor et d’un CeleryExecutor et exécution d’un DAG
  • 4. LES CONCEPTS DYNAMIQUES DE AIRFLOW
    • Compréhension des SubDags pour minimiser les patterns répétitifs d’un DAG
    • Présentation des XCOMS
    • Mise en place de tâches conditionnelles en fonction de critères dynamiques
    • Contrôle des tâches contenues dans un DAG avec les SLAs
    • Utilisation des variables et connections Airflow
    • Compréhension du Jinja Templating, des Macros et Variables
    • Présentation des Pools
    • Atelier Pratique : Simplification d’un DAG avec les SubDags , Échange de données en utilisant les XCOMS, Création de tâches conditionnelles, Définition des SLAs pour les tâches, Utilisation des variables et connections depuis notre DAG, Ajout de données au run time avec les Macros et les templates
  • 5. LES AIRFLOW PROVIDERS POUR INTERAGIR AVEC LE RESTE DU MONDE
    • Présentation des providers existants et leur installation
    • Choix des opérateurs à utiliser en fonction des exécuteurs et du scaling voulu
    • Personnalisation d’un opérateur existant
    • Atelier Pratique : Installation d’un provider et personnalisation d’un opérateur
  • 6. ADMINISTRER AIRFLOW: SÉCURITÉ, RBAC, MÉTRIQUES ET LOGGING
    • Sécurisation d’Airflow
    • Création d’utilisateurs et mise en place de l’authentification
    • Découverte du RBAC (Role-based Access Control)
    • Gestion du système de log et sa configuration
    • Atelier Pratique : Revue des différents moyens d’authentification, Création de différents utilisateurs et rôles, Configuration des logs, Monitoring d’Airflow et métriques à surveiller
  • 7. ADMINISTRATION AVANCÉ DE AIRFLOW
    • Utilisation de la bibliothèque Crypto pour sécuriser Airflow
    • Utilisation de InfluxDB et Telegraph pour le monitoring d’Airflow

Version 4. Mise à jour le 01/01/2025
© EXPERTISME – Groupe SELECT® 2025 Tous droits réservés. Les textes présents sur cette page sont soumis aux droits d’auteur.

Pré-requis

Être muni d’un ordinateur relié à Internet, possédant une caméra, un micro et un haut-parleur pour suivre les sessions de formation en ligne
Avoir une connaissance préalable en langage Python
Il est recommandé d’avoir une compréhension de base des concepts d’algorithmique
Une expérience préalable avec un système de gestion de bases de données peut être utile, mais n’est pas obligatoire
Une familiarité avec les concepts de l’informatique en nuage et de la gestion des flux de travail serait un atout pour mieux comprendre les applications d’Apache Airflow.

Points forts de la formation

  • Votre plan pédagogique de formation sur-mesure avec l’évaluation initiale de votre niveau de connaissance du sujet abordé
  • Des cas pratiques inspirés de votre activité professionnelle, traités lors de la formation
  • Un suivi individuel pendant la formation permettant de progresser plus rapidement
  • Un support de formation de qualité créé sur-mesure en fonction de vos attentes et des objectifs fixés, permettant un transfert de compétences qui vous rende très rapidement opérationnel
  • Les dates et lieux de cette formation sont à définir selon vos disponibilités
  • Animation de la formation par un Formateur Expert Métier
  • La possibilité, pendant 12 mois, de solliciter votre Formateur Expert sur des problématiques professionnelles liées au thème de votre formation
  • Un suivi de 12 mois de la consolidation et de l’évolution de vos acquis.

Approche Pédagogique

L’approche pédagogique a été construite sur l’interactivité et la personnalisation : Présentation illustrée et animée par le Formateur Expert, partage d’expériences, études de cas, mise en situation réelle.
Tous les supports sont fournis par support papier, mail ou clé USB à chaque stagiaire.

Méthodologie pédagogique employée :
Chaque formation en présentiel ou en distanciel est animée par un Formateur Expert Métier sélectionné selon ses compétences et expériences professionnelles. Apport d’expertise du Formateur, quiz en début et fin de formation, cas pratiques, échanges d’expérience. Accès en ligne au support de formation.

Méthodes utilisées et évaluation :
Evaluation et positionnement lors de la définition du projet pédagogique avec le(s) stagiaire(s). Un QCM est donné aux stagiaires le dernier jour de la formation pour valider leurs apprentissages. Une correction collective est effectuée par le Formateur. Une évaluation de fin de stage en direct est organisée entre le Formateur et le(s) stagiaire(s) pour recueillir et prendre en compte leurs appréciations. Une attestation de fin de stage est remise aux stagiaires.

Accessibilité

Toute demande spécifique à l’accessibilité de la formation par des personnes handicapées donnera lieu à une attention particulière et le cas échéant une adaptation des moyens de la formation.
Public en situation de handicap, contactez notre référent handicap au 01 42 66 36 42.

Formateur

Nos Formateurs sont des Experts Métiers intervenants sur les prestations inhérentes sur la thématique de la formation. Ils réalisent les audits et co-construisent l’offre et le déroulé de la formation avec l’Ingénieur Pédagogique avant validation par le Responsable Pédagogique. Ils sont sélectionnés pour leurs compétences pédagogiques et leurs expériences dans la formation pour adultes.

Référence : IT-89544

Durée : 21 heures soit 3 jours

Tarif : 2930€ HT / Personne

Cette formation vous intéresse ?

Nos Experts conçoivent votre formation
individuelle sur mesure lors de la définition
de votre projet pédagogique !

Remplissez le formulaire suivant :

L’un de nos conseillers vous contactera
dans les meilleurs délais.

Partagez cette formation :

Référence : IT-89544

Durée : 21 heures soit 3 jours

Tarif : Sur Devis

Formez vos équipes !

à partir de 4 collaborateurs
Nos Experts conçoivent votre formation intra-entreprise sur mesure lors de la définition de votre plan pédagogique !

Partagez cette formation :

Témoignages
de nos apprenants

Votre parcours de formation

Étape par Étape

Formations complémentaires - Apache Airflow / IT - Informatique sur-mesure

Vous avez besoin
d’une formation ?

Vous avez
besoin
d’une
formation ?