Apache Airflow - IT - Informatique

Formation DBT : Maîtrisez le Workflow d’Apache Airflow

Niveau :

Satisfaction de nos apprenants en 2024 : 98%
Taux d’assiduité : 100%

Tout savoir sur votre formation :

Formez-vous selon vos disponibilités ! Vous proposez 3 dates au choix et votre formateur vous confirme la date souhaitée.

En présentiel dans votre entreprise, dans l’un de nos 54 centres de formation ou en distanciel par visioconférence.

Accueil / IT - Informatique / Apache Airflow / Formation DBT : Maîtrisez le Workflow d’Apache Airflow

Accueil / Nos formations digitales / Formation DBT : Maîtrisez le Workflow d’Apache Airflow

Contexte de la formation

Vous cherchez à optimiser vos compétences en gestion de flux de données avec dbt et Airflow ? Vous souhaitez maîtriser le workflow de données pour booster votre carrière dans le domaine de la data ? Découvrez comment notre formation dbt : Le workflow d’Airflow peut vous aider.

Dans le monde actuel, l’importance des données n’est plus à prouver. Elles sont la pierre angulaire de toutes les décisions stratégiques, et savoir les gérer efficacement est une compétence essentielle. Les outils de gestion de flux de données tels que dbt (data build tool) et Apache Airflow sont devenus incontournables dans l’écosystème de la gestion de données. Maîtriser ces outils vous permet de transformer les données en informations accessibles et compréhensibles, d’automatiser et d’optimiser les processus de transformation et d’orchestration des données. Cela se traduit par une augmentation de l’efficacité et de la précision des processus analytiques, ce qui peut donner un coup de pouce significatif à votre carrière.

La gestion des workflows de données est une compétence qui vous permet de vous démarquer dans le domaine de la data. Elle est très recherchée par les entreprises qui cherchent à exploiter au maximum la puissance des données pour prendre des décisions éclairées. En maîtrisant cette compétence, vous pouvez non seulement améliorer l’efficacité des processus internes de votre entreprise, mais aussi contribuer à sa réussite globale en assurant une meilleure qualité et disponibilité des données. De plus, la capacité à automatiser et optimiser les workflows de données est un avantage indéniable qui peut accélérer votre progression professionnelle.

Désirez-vous rester à la pointe de l’innovation en matière de gestion de flux de données ? C’est le moment d’agir !

Avec Expertisme, Organisme de Formation certifié QUALIOPI, nous vous proposons une formation dbt : Le workflow d’Airflow, conçue pour vous aider à maîtriser les outils de gestion de flux de données et à optimiser vos compétences en data management. Cette formation vous offre une compréhension approfondie des fonctionnalités avancées de dbt et Airflow, et vous enseigne comment ces outils peuvent être intégrés pour optimiser les workflows de données.

Notre Formateur Expert Métier vous guidera à travers une série de modules conçus pour vous aider à concevoir, implémenter et gérer des workflows de données complexes, à optimiser les ressources, à gérer les dépendances, et à assurer la scalabilité des solutions de data workflow. Vous apprendrez également à identifier et résoudre les problèmes courants dans la gestion des workflows de données, en utilisant des techniques et des outils appropriés.

La formation est adaptée à votre niveau et à vos besoins, avec des sessions interactives et des exercices pratiques pour vous permettre de mettre en application ce que vous apprenez. En choisissant Expertisme, vous bénéficiez d’une formation de qualité, adaptée à vos objectifs professionnels et centrée sur l’efficacité et l’adaptabilité.

Il est temps d’agir ! Ne manquez pas cette occasion d’améliorer vos compétences en gestion de flux de données et de vous démarquer dans votre domaine. Inscrivez-vous dès maintenant à notre formation dbt : Le workflow d’Airflow et prenez une longueur d’avance dans votre carrière. Avec Expertisme, donnez un nouvel élan à votre parcours professionnel.

À qui s’adresse cette formation ?

Cette formation s’adresse à toute personne ayant un intérêt pour la gestion des flux de travail de données, notamment les développeurs logiciels, les ingénieurs en données, et les spécialistes en automatisation. Elle est particulièrement pertinente pour les professionnels qui ont déjà une certaine expérience avec Python, Git, Docker et Docker Compose. Les participants devraient également être familiarisés avec un logiciel d’édition de code, comme Visual Studio, et avoir un compte Gmail lié à un compte Github. De plus, ceux qui ont déjà une expérience avec Omyzsh trouveront cette formation encore plus bénéfique. La formation est conçue pour être accessible à tous, mais elle est particulièrement utile pour ceux qui ont une solide base en programmation et qui cherchent à améliorer leurs compétences en gestion de flux de travail de données.

Objectifs

Comprendre et maîtriser les concepts fondamentaux du workflow d’Airflow
Configurer et utiliser efficacement l’IDE dbt dans le cadre d’un projet
Mettre en œuvre une stratégie de déploiement de production avec dbt, y compris la gestion des erreurs et des problèmes
Rédiger des tests et des documentations de qualité pour les modèles dbt en suivant les meilleures pratiques
Appliquer les bonnes pratiques dans le développement et l’optimisation du workflow d’Airflow.

Programme

1. INTRODUCTION À DBT
- Présentation de l’outil dbt
- Distinction entre ETL et ELT
- Comparaison entre dbt Core et dbt Cloud
- Rôle de dbt dans le Modern Data Stack
- Ce que dbt n’est pas
- Compréhension du Data Warehousing: Data Lakes, Data Warehouses, Data Lakehouse
2. MISE EN PLACE DE L'ENVIRONNEMENT DBT
- Création d’un environnement virtuel Python
- Installation de dbt Core et du plugin adéquat
- Connexion de dbt à un entrepôt de données
- Utilisation des fichiers de paramétrage YAML
- Bonnes pratiques pour structurer un projet : raw data, staging, etc.
3. MODÈLES : DÉVELOPPEMENT ET TESTS
- Développement de modèles basiques
- Organisation d’un data warehouse
- Configuration des modèles : schéma, matérialisation, etc.
- Introduction aux différentes commandes dbt et aux flags possibles
- Mise en place des tests et des vérifications de résultats
4. MODÈLES : CONFIGURATIONS AVANCÉES
- Utilisation des sources et vérification de leur freshness
- Ingestion de fichiers plats dans dbt : les seeds et leur utilité
- Matérialisation incrémentale : en append ou en update
- Usage des macros, hooks
- Compréhension des snapshots
5. LA DOCUMENTATION DANS DBT
- Présentation de la documentation au format dbt
- Utilisation de la commande dbt docs et ses différentes applications
- Introduction aux types de tests: format (ex: generic, singular) + qualitative (ex: structurel, relationnel)
- Exemples de tests
- Bonnes pratiques pour la documentation : utilisation de la syntaxe Jinja
- Compréhension de DBT docs et lineage
6. LES PACKAGES
- Présentation du Package Hub
- Usage de dbt_utils
- Utilisation de codegen
- Expérimentation avec re_data
7. DBT EN PRODUCTION
- Compréhension de l’intégration et du développement continus (CI/CD)
- Orchestration de dbt à l’aide d’Apache Airflow : BashOperator, KubernetesPodOperator
- Présentation des différentes manières d’exécuter les projets
- Compréhension du Jobs scheduling
- Utilisation de DBT Cloud et Airflow

Version 4. Mise à jour le 01/01/2025
© EXPERTISME – Groupe SELECT® 2025 Tous droits réservés. Les textes présents sur cette page sont soumis aux droits d’auteur.

Pré-requis

Être muni d’un ordinateur relié à Internet, possédant une caméra, un micro et un haut-parleur
Avoir une bonne maîtrise de la programmation Python
Être familier avec les concepts de bases de données et les opérations CRUD (Create, Read, Update, Delete)
Avoir une expérience préalable avec les systèmes de gestion de bases de données SQL
Une connaissance de base du langage SQL est recommandée
Être à l’aise avec l’utilisation des outils de ligne de commande
Comprendre les principes de base du Data Engineering et du Big Data
Avoir des notions sur les systèmes distribués et les architectures de microservices serait un plus.

Points forts de la formation

Votre plan pédagogique de formation sur-mesure avec l’évaluation initiale de votre niveau de connaissance du sujet abordé
Des cas pratiques inspirés de votre activité professionnelle, traités lors de la formation
Un suivi individuel pendant la formation permettant de progresser plus rapidement
Un support de formation de qualité créé sur-mesure en fonction de vos attentes et des objectifs fixés, permettant un transfert de compétences qui vous rende très rapidement opérationnel
Les dates et lieux de cette formation sont à définir selon vos disponibilités
Animation de la formation par un Formateur Expert Métier
La possibilité, pendant 12 mois, de solliciter votre Formateur Expert sur des problématiques professionnelles liées au thème de votre formation
Un suivi de 12 mois de la consolidation et de l’évolution de vos acquis.

Approche Pédagogique

Approche pédagogique

L’approche pédagogique a été construite sur l’interactivité et la personnalisation : Présentation illustrée et animée par le Formateur Expert, partage d’expériences, études de cas, mise en situation réelle.
Tous les supports sont fournis par support papier, mail ou clé USB à chaque stagiaire.

Méthodologie pédagogique employée :
Chaque formation en présentiel ou en distanciel est animée par un Formateur Expert Métier sélectionné selon ses compétences et expériences professionnelles. Apport d’expertise du Formateur, quiz en début et fin de formation, cas pratiques, échanges d’expérience. Accès en ligne au support de formation.

Méthodes utilisées et évaluation :
Evaluation et positionnement lors de la définition du projet pédagogique avec le(s) stagiaire(s). Un QCM est donné aux stagiaires le dernier jour de la formation pour valider leurs apprentissages. Une correction collective est effectuée par le Formateur. Une évaluation de fin de stage en direct est organisée entre le Formateur et le(s) stagiaire(s) pour recueillir et prendre en compte leurs appréciations. Une attestation de fin de stage est remise aux stagiaires.

Accessibilité

Toute demande spécifique à l’accessibilité de la formation par des personnes handicapées donnera lieu à une attention particulière et le cas échéant une adaptation des moyens de la formation.
Public en situation de handicap, contactez notre référent handicap au 01 42 66 36 42.

Formateur

Nos Formateurs sont des Experts Métiers intervenants sur les prestations inhérentes sur la thématique de la formation. Ils réalisent les audits et co-construisent l’offre et le déroulé de la formation avec l’Ingénieur Pédagogique avant validation par le Responsable Pédagogique. Ils sont sélectionnés pour leurs compétences pédagogiques et leurs expériences dans la formation pour adultes.

Référence : IT-95830

Durée : 14 heures soit 2 jours

Tarif : 1950€ HT / Personne

Cette formation vous intéresse ?

Nos Experts conçoivent votre formation
individuelle sur mesure lors de la définition
de votre projet pédagogique !

Remplissez le formulaire suivant :

L’un de nos conseillers vous contactera
dans les meilleurs délais.

Partagez cette formation :

Référence : IT-95830

Durée : 14 heures soit 2 jours

Tarif : Sur Devis

Formez vos équipes !

à partir de 4 collaborateurs
Nos Experts conçoivent votre formation intra-entreprise sur mesure lors de la définition de votre plan pédagogique !

Partagez cette formation :

Témoignages
de nos apprenants

« Formation complète sur le social Selling sur LinkedIn.
J’ai apprécié le support de formation très complet et documenté. Formateur extrêmement professionnel à l’écoute des problématiques et des diﬃcultés. »

« La formation m’a apporté une totale satisfaction.
J’ai reçu les informations nécessaires à la mise en pratique du référencement naturel de mon site Internet et les éléments correctifs aux pratiques précédemment utilisées.
Merci au formateur qui est un référenceur de métier. »

« La réunion organisée en amont de la formation a permis de cerner nos attentes et de cibler les besoins.
La formation aux publicités Facebook Ads était donc adaptée et a permis de voir les diﬀérents points attendus. Le formateur était à l’écoute et a répondu à l’ensemble de nos questions.
Il a également pu analyser nos contenus et performances de certaines campagnes et nous conseiller. »

« Très bonne formation à l’usage de Matomo Analytics.
Formateur à l’écoute et très pédagogue.»

« Merci pour la rapidité avec laquelle cette formation LinkedIn Ads a été organisée.
Par ailleurs, tout était clair et très bien expliqué par le formateur. »

« Formation personnalisée et individuelle, très appréciée.
La formation répondait à mes attentes : théorie et pratique.
Guillaume est pédagogue et c'était très intéressant.
J'ai appris beaucoup de choses ! Merci. »

« Merci pour l’ensemble des conseils et pour l'expertise. »

« Très bon formateur, rien à ajouter comme recommendation.
Très bonne formation, toujours à l’écoute »

« Les informations que j’ai reçues étaient très claires et adaptées, je suis tout à fait satisfaite de la formation qui m’a été prodiguée. »

« Formation claire faite sur mesure et formateur qui prend le temps de très bien expliquer. Beaucoup d'exemples fournis en Live. Bravo !»

« Mon besoin a bien été compris et la formation a répondu à toutes mes attentes, le tout dans une bonne ambiance. Un grand merci »

« Très bonne formation, axée très technique, sur les publicités Facebook et Instagram. De très bonnes solutions et astuces apprises, intéressantes à mettre en pratique pour tester. Je reviendrai sûrement vers l'équipe pour la mise en pratique continue de ces solutions »

« Formateur Très dynamique et très à l'écoute des besoins et du niveau de chacun, Merci. Je n'avais pas TikTok jusqu'à ce matin 10H et j'ai réussi à l'issue de cette formation à créer une vidéo. C'est formidable ! »

« Très bonne formation, avec un bon rythme et structuration (explication puis mise en pratique directe à chaque module) »

« Formation d’acculturation au Digital très claire, vivante, parfaitement documentée, et humainement agréable ! »

« Formation à l’initiation aux réseaux sociaux de qualité, directement adaptable dans nos missions. 2 journées très denses mais productives. Pleins d’idées et de conseils à mettre en pratique. »

« Merci à Guillaume pour cette formation en one-to-one qui était idéale pour appréhender le sujet en se focalisant sur le cas pratique qui me concerne. Guillaume a été très pédagogue, à l'écoute de mes demandes et à répondu à mes questions. Ce type de formation se prête parfaitement au distanciel.»