Intermediate Apache Airflow: Optimizing and Scaling Workflows

• Podstawowa znajomość Apache Airflow
• Znajomość Python programowania i koncepcji orkiestracji przepływu pracy
• Doświadczenie w zarządzaniu i wdrażaniu aplikacji w środowiskach Linux

Publiczność

• Inżynierowie danych
• Specjaliści DevOps
• Programiści

Apache Airflow to platforma typu open source do orkiestracji przepływów pracy i wydajnej automatyzacji złożonych potoków danych.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla uczestników na średnim poziomie zaawansowania, którzy chcą zoptymalizować wydajność przepływu pracy, obsługiwać złożone zależności i skalować wdrożenia Apache Airflow dla większych zbiorów danych i przypadków użycia w przedsiębiorstwie.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Optymalizować przepływy pracy Apache Airflow w celu uzyskania lepszej wydajności i niezawodności.
• Zarządzać i rozwiązywać złożone zależności przepływu pracy.
• Wykorzystywać zaawansowane funkcje Airflow, w tym niestandardowych operatorów i czujniki.
• Skalowanie Apache Airflow w celu obsługi większych zbiorów danych i systemów rozproszonych.
• Wdrażanie najlepszych praktyk w zakresie monitorowania, rejestrowania i bezpieczeństwa w środowiskach Airflow.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Przegląd Apache Airflow Podstawy

• Podstawowe pojęcia: DAG, zadania i operatorzy
• Architektura i komponenty przepływu powietrza
• Podsumowanie typowych przypadków użycia i przepływów pracy

Optymalizacja wydajności przepływu pracy

• Identyfikacja wąskich gardeł w potokach Airflow
• Techniki optymalizacji na poziomie zadań
• Wykorzystanie ponawiania zadań, równoległości i współbieżności

Zarządzanie złożonymi zależnościami

• Definiowanie dynamicznych zależności w przepływach pracy
• Obsługa warunkowych i rozgałęzionych przepływów pracy
• Efektywne korzystanie z grup zadań i podrzędnych grup DAG

Zaawansowane funkcje w Apache Airflow

• Tworzenie niestandardowych operatorów i haków
• Implementowanie czujników dla zewnętrznych wyzwalaczy
• Integracja usług i wtyczek innych firm

Skalowanie wdrożeń Apache Airflow

• Podejścia do skalowania poziomego i pionowego
• Używanie executorów Celery do wykonywania rozproszonego
• Najlepsze praktyki skalowania w środowiskach chmurowych

Monitorowanie i debugowanie przepływów pracy

• Konfigurowanie rejestrowania i alertów na potrzeby monitorowania przepływów pracy
• Korzystanie z interfejsu użytkownika Airflow i interfejsu CLI do rozwiązywania problemów
• Identyfikowanie i rozwiązywanie typowych problemów we wdrożeniach Airflow

Zabezpieczanie Apache Airflow

• Uwierzytelnianie i kontrola dostępu w Airflow
• Ochrona wrażliwych danych i konfiguracji środowiska
• Wdrażanie ścieżek audytu dla przepływów pracy

Enterprise Use Case i najlepsze praktyki

• Projektowanie solidnych przepływów pracy dla środowisk produkcyjnych
• Wykorzystanie Airflow do inżynierii danych i potoków ETL
• Zapoznanie się z rzeczywistymi studiami przypadków skalowalnych wdrożeń Airflow

Podsumowanie i kolejne kroki