Intermediate Apache Airflow: Optimizing and Scaling Workflows

• 基础知识 Apache Airflow
• 熟悉 Python 程式设计和工作流编排概念
• 在 Linux 环境中管理和部署应用程式的经验

观众

• 数据工程师
• DevOps 专业人士
• 软体开发人员

Apache Airflow 是一个开源平台，用于高效编排工作流程和自动化复杂的数据管道。

这种讲师指导的现场培训（在线或现场）面向希望优化工作流性能、处理复杂依赖关系以及针对更大数据集和企业用例扩展 Apache Airflow 部署的中级参与者。

在本次培训结束时，参与者将能够：

• 优化 Apache Airflow 工作流程以获得更好的性能和可靠性。
• 管理复杂的工作流程依赖关系并对其进行故障排除。
• 利用高级 Airflow 功能，包括自定义操作员和感测器。
• 扩展 Apache Airflow 以处理更大的数据集和分散式系统。
• 在 Airflow 环境中实施监控、日志记录和安全性的最佳实践。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在即时实验室环境中动手实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们进行安排。

回顾 Apache Airflow 基础知识

• 核心概念：DAG、任务和运算符
• Airflow 架构和元件
• 常见使用案例和工作流程回顾

优化工作流性能

• 识别 Airflow 管道中的瓶颈
• 任务级优化技术
• 利用任务重试、并行和并发

管理复杂的依赖关系

• 在工作流程中定义动态依赖关系
• 处理条件和分支工作流
• 有效使用任务组和子 DAG

高级功能 Apache Airflow

• 创建自定义运算子和钩子
• 实现用于外部触发器的感测器
• 集成第三方服务和外挂程式

扩展 Apache Airflow 部署

• 水平和垂直缩放方法
• 使用 Celery Executor 进行分散式执行
• 在云环境中扩展的最佳实践

监控和调试工作流

• 为工作流监控配置日志记录和警报
• 使用 Airflow UI 和 CLI 进行故障排除
• 识别和解决 Airflow 部署中的常见问题

固定 Apache Airflow

• Airflow 中的身份验证和访问控制
• 保护敏感数据和环境配置
• 为工作流实施审计跟踪

企业 Use Case 和最佳实践

• 为生产环境设计强大的工作流程
• 利用 Airflow 进行数据工程和 ETL 管道
• 探索可扩展 Airflow 部署的真实案例研究

总结和后续步骤