Intermediate Apache Airflow: Optimizing and Scaling Workflows

• 基礎知識 Apache Airflow
• 熟悉 Python 程式設計和工作流編排概念
• 在 Linux 環境中管理和部署應用程式的經驗

觀眾

• 數據工程師
• DevOps 專業人士
• 軟體開發人員

Apache Airflow 是一個開源平臺，用於高效編排工作流程和自動化複雜的數據管道。

這種講師指導的現場培訓（在線或現場）面向希望優化工作流性能、處理複雜依賴關係以及針對更大數據集和企業用例擴展 Apache Airflow 部署的中級參與者。

在本次培訓結束時，參與者將能夠：

• 優化 Apache Airflow 工作流程以獲得更好的性能和可靠性。
• 管理複雜的工作流程依賴關係並對其進行故障排除。
• 利用高級 Airflow 功能，包括自定義操作員和感測器。
• 擴展 Apache Airflow 以處理更大的數據集和分散式系統。
• 在 Airflow 環境中實施監控、日誌記錄和安全性的最佳實踐。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在即時實驗室環境中動手實施。

課程自定義選項

• 要申請本課程的定製培訓，請聯繫我們進行安排。

回顧 Apache Airflow 基礎知識

• 核心概念：DAG、任務和運算符
• Airflow 架構和元件
• 常見使用案例和工作流程回顧

優化工作流性能

• 識別 Airflow 管道中的瓶頸
• 任務級優化技術
• 利用任務重試、並行和併發

管理複雜的依賴關係

• 在工作流程中定義動態依賴關係
• 處理條件和分支工作流
• 有效使用任務組和子 DAG

高級功能 Apache Airflow

• 創建自定義運算子和鉤子
• 實現用於外部觸發器的感測器
• 集成第三方服務和外掛程式

擴展 Apache Airflow 部署

• 水平和垂直縮放方法
• 使用 Celery Executor 進行分散式執行
• 在雲環境中擴展的最佳實踐

監控和調試工作流

• 為工作流監控配置日誌記錄和警報
• 使用 Airflow UI 和 CLI 進行故障排除
• 識別和解決 Airflow 部署中的常見問題

固定 Apache Airflow

• Airflow 中的身份驗證和訪問控制
• 保護敏感數據和環境配置
• 為工作流實施審計跟蹤

企業 Use Case 和最佳實踐

• 為生產環境設計強大的工作流程
• 利用 Airflow 進行數據工程和 ETL 管道
• 探索可擴展 Airflow 部署的真實案例研究

總結和後續步驟