Course Code:
airflow
Duration:
21 hours
Course Outline:
Airflow培訓大綱
- 目標系統設計
- airflow簡介
- 開源工作流平台，管理複雜的管道
- 通過DAG來管理調度任務，多用作數據ETL
- 由定義DAG的Python腳本構成
- web UI主要用于監控
- 其他工作流替代品
- 其他數據etl調度替代品
- 運維配置
- 運維-單機系統設計
- 運維-集群系統設計
- 運維-告警系統設計
- 開發腳本
- 開發-減少硬編碼
- 開發-動態創建
- 開發-消息傳遞
- 開發-operator定制
- airflow簡介
- 目標系統演示
- webUI操作界面
- 運維-分布式組件演示
- 運維-高可用演示
- 運維-告警觸發演示
- 運維-日志演示
- 開發-腳本部署和觸發演示
- 開發-環境配置演示
- 開發-xcom演示
- 開發-動態dag/task演示
- 開發-operator定制演示
- 實戰演練
- 運維操作練習
- 開發腳本練習
- 目標系統問題討論
- 數據集成可選方案
- 配置文件，python代碼，拖拉拽，那種是工作流平台的最優操作方式
- 應該用專門的數據集成工具，還是工作流工具處理數據集成
- 應該用實時流式CDC，還是批量方式處理數據集成
- 集成是否等于搬運，data fabric是否是僞命題