Course Code: airflow
Duration: 21 hours
Course Outline:

Airflow培训大纲

  • 目标系统设计
    • airflow简介
      • 开源工作流平台,管理复杂的管道 
      • 通过DAG来管理调度任务,多用作数据ETL 
      • 由定义DAGPython脚本构成 
      • web UI主要用于监控 
      • 其他工作流替代品 
      • 其他数据etl调度替代品 
    • 运维配置
    • 运维-单机系统设计 
    • 运维-集群系统设计 
    • 运维-告警系统设计 
    • 开发脚本 
    • 开发-减少硬编码 
    • 开发-动态创建 
    • 开发-消息传递 
    • 开发-operator定制
  • 目标系统演示
    • webUI操作界面
    • 运维-分布式组件演示
    • 运维-高可用演示
    • 运维-告警触发演示
    • 运维-日志演示
    • 开发-脚本部署和触发演示
    • 开发-环境配置演示
    • 开发-xcom演示
    • 开发-动态dag/task演示
    • 开发-operator定制演示
  • 实战演练
    • 运维操作练习
    • 开发脚本练习
    • 目标系统问题讨论
    • 数据集成可选方案
      • 配置文件,python代码,拖拉拽,那种是工作流平台的最优操作方式
      • 应该用专门的数据集成工具,还是工作流工具处理数据集成
      • 应该用实时流式CDC,还是批量方式处理数据集成
      • 集成是否等于搬运,data fabric是否是伪命题