Course Code:
airflow
Duration:
21 hours
Course Outline:
Airflow培训大纲
- 目标系统设计
- airflow简介
- 开源工作流平台,管理复杂的管道
- 通过DAG来管理调度任务,多用作数据ETL
- 由定义DAG的Python脚本构成
- web UI主要用于监控
- 其他工作流替代品
- 其他数据etl调度替代品
- 运维配置
- 运维-单机系统设计
- 运维-集群系统设计
- 运维-告警系统设计
- 开发脚本
- 开发-减少硬编码
- 开发-动态创建
- 开发-消息传递
- 开发-operator定制
- airflow简介
- 目标系统演示
- webUI操作界面
- 运维-分布式组件演示
- 运维-高可用演示
- 运维-告警触发演示
- 运维-日志演示
- 开发-脚本部署和触发演示
- 开发-环境配置演示
- 开发-xcom演示
- 开发-动态dag/task演示
- 开发-operator定制演示
- 实战演练
- 运维操作练习
- 开发脚本练习
- 目标系统问题讨论
- 数据集成可选方案
- 配置文件,python代码,拖拉拽,那种是工作流平台的最优操作方式
- 应该用专门的数据集成工具,还是工作流工具处理数据集成
- 应该用实时流式CDC,还是批量方式处理数据集成
- 集成是否等于搬运,data fabric是否是伪命题