Advanced Apache Airflow: Custom Operators and Plugins

• 对 Apache Airflow 基础知识有深入的理解，包括 DAG、运算符和执行架构
• 熟练掌握 Python 程式设计
• 集成数据系统和工作流编排的经验

观众

• 数据工程师
• DevOps 工程师
• 软体架构师

Apache Airflow 是一个强大的开源平台，用于编排工作流和自动化复杂的数据管道。

这种讲师指导的现场培训（在线或现场）针对希望在 Apache Airflow 中创建自定义运算符、感测器和外挂程式，并将其与现有数据系统集成以实现高级自动化和监控的高级参与者。

在本次培训结束时，参与者将能够：

• 开发针对特定工作流程量身定制的自定义运算子、钩子和感测器。
• 设计和实施 Airflow 外挂程式以扩展功能。
• 将 Airflow 工作流与外部系统和服务整合。
• 使用高级调试工具优化和监控工作流程。
• 利用最佳实践来管理大规模 Airflow 部署。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在即时实验室环境中动手实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们进行安排。

Apache Airflow 基本面回顾

• 核心概念：DAG、运算符和执行流程
• Airflow 架构和元件
• 了解高级使用案例和工作流程

创建自定义运算子

• 了解 Airflow 运算子的剖结构
• 为特定任务开发自定义运算符
• 测试和调试自定义运算符

定制挂钩和感测器

• 为外部系统集成实现钩子
• 创建用于监控外部触发器的感测器
• 使用自定义感测器增强工作流交互性

开发 Airflow 外挂程式

• 了解外挂程式架构
• 设计外挂程式以扩展 Airflow 功能
• 管理和部署外挂程式的最佳实践

将 Airflow 与外部系统整合

• 将 Airflow 连接到资料库、API 和云端服务
• 将 Airflow 用于 ETL 工作流和即时数据处理
• 管理 Airflow 和外部系统之间的依赖关系

高级调试和监控

• 使用 Airflow 日志和指标进行故障排除
• 为工作流问题配置警报和通知
• 将外部监控工具与 Airflow 结合使用

优化性能和 Scala 能力

• 使用 Celery 和 Kubernetes Executor 扩展 Airflow
• 优化复杂工作流程中的资源利用率
• 高可用性和容错策略

案例研究和实际应用

• 探索数据工程和 DevOps 中的高级用例
• 案例研究：大规模 ETL 的自定义运算子实现
• 管理企业级工作流的最佳实践

总结和后续步骤