Advanced Apache Airflow: Custom Operators and Plugins

• Dobre zrozumienie podstaw Apache Airflow, w tym DAG, operatorów i architektury wykonania.
• Biegłość w programowaniu Python
• Doświadczenie w integracji systemów danych i orkiestracji przepływu pracy

Publiczność

• Inżynierowie danych
• Inżynierowie DevOps
• Architekci oprogramowania

Apache Airflow to potężna platforma typu open source do organizowania przepływów pracy i automatyzacji złożonych potoków danych.

To prowadzone przez instruktora szkolenie na żywo (na miejscu lub zdalnie) jest przeznaczone dla uczestników na poziomie zaawansowanym, którzy chcą tworzyć niestandardowych operatorów, czujniki i wtyczki w Apache Airflow oraz integrować je z istniejącymi systemami danych w celu zaawansowanej automatyzacji i monitorowania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Opracowywać niestandardowe operatory, haki i czujniki dostosowane do konkretnych przepływów pracy.
• Projektować i wdrażać wtyczki Airflow w celu rozszerzenia funkcjonalności.
• Integrować przepływy pracy Airflow z zewnętrznymi systemami i usługami.
• Optymalizować i monitorować przepływy pracy przy użyciu zaawansowanych narzędzi do debugowania.
• Wykorzystanie najlepszych praktyk do zarządzania wdrożeniami Airflow na dużą skalę.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Podsumowanie Apache Airflow Podstawy

• Podstawowe pojęcia: DAG, operatory i przepływ wykonania
• Architektura i komponenty przepływu powietrza
• Zrozumienie zaawansowanych przypadków użycia i przepływów pracy

Tworzenie niestandardowych operatorów

• Zrozumienie anatomii operatora Airflow
• Tworzenie niestandardowych operatorów dla określonych zadań
• Testowanie i debugowanie niestandardowych operatorów

Niestandardowe haki i czujniki

• Wdrażanie haków do integracji z systemami zewnętrznymi
• Tworzenie czujników do monitorowania zewnętrznych wyzwalaczy
• Zwiększanie interaktywności przepływu pracy za pomocą niestandardowych czujników

Tworzenie wtyczek Airflow

• Zrozumienie architektury wtyczek
• Projektowanie wtyczek rozszerzających funkcjonalność Airflow
• Najlepsze praktyki zarządzania i wdrażania wtyczek

Integracja Airflow z systemami zewnętrznymi

• Łączenie Airflow z bazami danych, interfejsami API i usługami w chmurze
• Używanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
• Zarządzanie zależnościami między Airflow i systemami zewnętrznymi

Zaawansowane debugowanie i monitorowanie

• Korzystanie z dzienników i metryk Airflow do rozwiązywania problemów
• Konfigurowanie alertów i powiadomień dotyczących problemów z przepływem pracy
• Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow

Optymalizacja wydajności i Scala bility

• Skalowanie Airflow za pomocą Celery i Kubernetes Executorów
• Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
• Strategie wysokiej dostępności i odporności na błędy

Studia przypadków i rzeczywiste zastosowania

• Odkrywanie zaawansowanych przypadków użycia w inżynierii danych i DevOps
• Studium przypadku: Niestandardowa implementacja operatora dla ETL na dużą skalę
• Najlepsze praktyki zarządzania przepływami pracy na poziomie przedsiębiorstwa

Podsumowanie i kolejne kroki