Mastering Apache Airflow for DevOps

• Doświadczenie z podstawami Apache Airflow, w tym tworzeniem DAG i zarządzaniem zadaniami
• Znajomość potoków CI/CD i praktyk DevOps
• Znajomość środowisk chmurowych i konteneryzacji (np. Docker, Kubernetes).

Odbiorcy

• Inżynierowie DevOps
• Menedżerowie infrastruktury
• Specjaliści ds. chmury

Apache Airflow to potężna platforma do orkiestracji złożonych przepływów pracy i integracji praktyk DevOps.

To prowadzone przez instruktora szkolenie na żywo (na miejscu lub zdalnie) jest przeznaczone dla zaawansowanych uczestników, którzy chcą wdrożyć Apache Airflow w środowiskach chmurowych, skonfigurować potoki CI / CD oraz wdrożyć solidne praktyki monitorowania i rejestrowania.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wdrażać Apache Airflow w środowiskach chmurowych i kontenerowych.
• Konfigurować potoki CI/CD w celu automatyzacji testowania i wdrażania DAG.
• Zintegrować narzędzia do monitorowania i rejestrowania w celu zwiększenia niezawodności systemu.
• Optymalizacja konfiguracji Airflow pod kątem wydajności i skalowalności.
• Wdrożenie najlepszych praktyk bezpieczeństwa do zarządzania przepływami pracy i środowiskami.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami.

Zaawansowane wdrażanie Apache Airflow

• Wdrażanie Apache Airflow na platformach chmurowych (AWS, Azure, GCP)
• Konteneryzacja Airflow z Docker i Kubernetes
• Konfigurowanie Airflow pod kątem wysokiej dostępności i odporności na błędy

Potoki CI/CD dla Apache Airflow

• Automatyzacja testowania i wdrażania DAG
• Integracja Airflow z narzędziami CI/CD (np. Jenkins, GitHub Actions)
• Zarządzanie wersjonowaniem i aktualizacjami przepływu pracy

Monitorowanie i rejestrowanie

• Wdrażanie solidnych praktyk rejestrowania przepływów pracy
• Korzystanie z narzędzi takich jak Prometheus i Grafana do monitorowania systemu
• Konfigurowanie mechanizmów ostrzegania dla scenariuszy awarii

Optymalizacja wydajności i skalowanie

• Dostrajanie konfiguracji Airflow w celu uzyskania optymalnej wydajności
• Skalowanie wdrożeń Airflow za pomocą executorów Celery
• Obsługa orkiestracji przepływu pracy na dużą skalę

Bezpieczeństwo i kontrola Access

• Wdrażanie kontroli dostępu opartej na rolach (RBAC) w Airflow
• Zabezpieczanie środowisk i przepływów pracy Airflow
• Najlepsze praktyki zarządzania wrażliwymi danymi w przepływach pracy

Studia przypadków i praktyczne zastosowania

• Rzeczywiste przykłady Airflow dla DevOps automatyzacji
• Ćwiczenie praktyczne: Wdrażanie Airflow z CI/CD i narzędziami do monitorowania
• Dyskusja na temat wyzwań i rozwiązań w DevOps orkiestracji przepływu pracy

Podsumowanie i kolejne kroki