Advanced Apache Airflow: Custom Operators and Plugins

• 對 Apache Airflow 基礎知識有深入的理解，包括 DAG、運算符和執行架構
• 熟練掌握 Python 程式設計
• 集成數據系統和工作流編排的經驗

觀眾

• 數據工程師
• DevOps 工程師
• 軟體架構師

Apache Airflow 是一個強大的開源平臺，用於編排工作流和自動化複雜的數據管道。

這種講師指導的現場培訓（在線或現場）針對希望在 Apache Airflow 中創建自定義運算符、感測器和外掛程式，並將其與現有數據系統集成以實現高級自動化和監控的高級參與者。

在本次培訓結束時，參與者將能夠：

• 開發針對特定工作流程量身定製的自定義運算子、鉤子和感測器。
• 設計和實施 Airflow 外掛程式以擴展功能。
• 將 Airflow 工作流與外部系統和服務整合。
• 使用高級調試工具優化和監控工作流程。
• 利用最佳實踐來管理大規模 Airflow 部署。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在即時實驗室環境中動手實施。

課程自定義選項

• 要申請本課程的定製培訓，請聯繫我們進行安排。

Apache Airflow 基本面回顧

• 核心概念：DAG、運算符和執行流程
• Airflow 架構和元件
• 了解高級使用案例和工作流程

創建自定義運算子

• 瞭解 Airflow 運算子的剖結構
• 為特定任務開發自定義運算符
• 測試和調試自定義運算符

定製挂鉤和感測器

• 為外部系統集成實現鉤子
• 創建用於監控外部觸發器的感測器
• 使用自定義感測器增強工作流交互性

開發 Airflow 外掛程式

• 瞭解外掛程式架構
• 設計外掛程式以擴展 Airflow 功能
• 管理和部署外掛程式的最佳實踐

將 Airflow 與外部系統整合

• 將 Airflow 連接到資料庫、API 和雲端服務
• 將 Airflow 用於 ETL 工作流和即時數據處理
• 管理 Airflow 和外部系統之間的依賴關係

高級調試和監控

• 使用 Airflow 日誌和指標進行故障排除
• 為工作流問題配置警報和通知
• 將外部監控工具與 Airflow 結合使用

優化性能和 Scala 能力

• 使用 Celery 和 Kubernetes Executor 擴展 Airflow
• 優化複雜工作流程中的資源利用率
• 高可用性和容錯策略

案例研究和實際應用

• 探索數據工程和 DevOps 中的高級用例
• 案例研究：大規模 ETL 的自定義運算子實現
• 管理企業級工作流的最佳實踐

總結和後續步驟