Apache Airflow pour Data Science: Automatisation des pipelines

Prerequisites:

• Connaissance des flux de travail et des concepts d'apprentissage automatique
• Compréhension de base d'Apache Airflow, y compris des DAGs et des opérateurs
• Maîtrise de la programmation Python

Public cible

• Scientifiques des données
• Ingénieurs en apprentissage automatique
• Développeurs IA

Overview:

Apache Airflow est une plateforme open-source pour orchestrer des workflows et automatiser des pipelines de données complexes.

Cette formation dirigée par un instructeur (en ligne ou sur site) s'adresse aux participants de niveau intermédiaire qui souhaitent automatiser et gérer des workflows d'apprentissage automatique, y compris l'entraînement, la validation et le déploiement de modèles, en utilisant Apache Airflow.

À la fin de cette formation, les participants seront capables de :

• Configurer Apache Airflow pour l'orchestration des workflows d'apprentissage automatique.
• Automatiser les tâches de prétraitement des données, d'entraînement et de validation de modèles.
• Intégrer Airflow avec des cadres et outils d'apprentissage automatique.
• Déployer des modèles d'apprentissage automatique à l'aide de pipelines automatisés.
• Surveiller et optimiser les workflows d'apprentissage automatique en production.

Format du cours

• Cours interactif avec discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire live.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Course Outline:

Introduction à Apache Airflow pour l'apprentissage automatique

• Aperçu d'Apache Airflow et de sa pertinence en data science
• Fonctionnalités clés pour l'automatisation des workflows d'apprentissage automatique
• Configuration d'Airflow pour les projets de data science

Construction de pipelines d'apprentissage automatique avec Airflow

• Conception de DAGs pour des workflows d'apprentissage complet
• Utilisation d'opérateurs pour l'ingestion, le prétraitement et l'ingénierie des caractéristiques des données
• Planification et gestion des dépendances de pipeline

Formation et validation des modèles

• Automatisation des tâches de formation de modèles avec Airflow
• Intégration d'Airflow avec des frameworks d'apprentissage automatique (par exemple, TensorFlow, PyTorch)
• Validation des modèles et stockage des métriques d'évaluation

Déploiement et surveillance des modèles

• Déploiement de modèles d'apprentissage automatique à l'aide de pipelines automatisés
• Surveillance des modèles déployés avec des tâches Airflow
• Gestion du réentraînement et des mises à jour des modèles

Personnalisation avancée et intégration

• Développement d'opérateurs personnalisés pour les tâches spécifiques à l'apprentissage automatique
• Intégration d'Airflow avec des plateformes cloud et des services d'apprentissage automatique
• Extension des workflows Airflow avec des plugins et des capteurs

Optimisation et mise à l'échelle des pipelines d'apprentissage automatique

• Amélioration des performances de workflow pour les grandes volumes de données
• Mise à l'échelle des déploiements Airflow avec Celery et Kubernetes
• Meilleures pratiques pour les workflows d'apprentissage automatique en production

Études de cas et applications pratiques

• Exemples concrets d'automatisation d'apprentissage automatique à l'aide d'Airflow
• Exercice pratique : construction d'un pipeline complet d'apprentissage automatique
• Discussion des défis et solutions dans la gestion des workflows d'apprentissage automatique

Résumé et étapes suivantes

Overview in Category:

Cette formation dirigée par un instructeur, en ligne ou sur site à <loc>, est destinée aux participants de niveau intermédiaire qui souhaitent automatiser et gérer des workflows d'apprentissage automatique, y compris l'entraînement, la validation et le déploiement de modèles, en utilisant Apache Airflow.

À la fin de cette formation, les participants seront en mesure de :

• Configurer Apache Airflow pour l'orchestration des workflows d'apprentissage automatique.
• Automatiser les tâches de prétraitement des données, d'entraînement et de validation des modèles.
• Intégrer Airflow avec des frameworks et outils d'apprentissage automatique.
• Déployer des modèles d'apprentissage automatique en utilisant des pipelines automatisés.
• Surveiller et optimiser les workflows d'apprentissage automatique en production.