Apache Airflow for Data Science: Automating Machine Learning Pipelines

• 熟悉机器学习工作流程和概念
• 对 Apache Airflow 有基本的了解，包括 DAG 和运算符
• 熟练掌握 Python 程式设计

观众

• 数据科学家
• 机器学习工程师
• AI 开发人员

Apache Airflow 是一个开源平台，用于编排工作流和自动化复杂的数据管道。

这种讲师指导的现场培训（在线或现场）面向希望自动化和管理机器学习工作流程的中级参与者，包括使用 Apache Airflow 进行模型训练、验证和部署。

在本次培训结束时，参与者将能够：

• 设置 Apache Airflow 用于机器学习工作流编排。
• 自动执行数据预处理、模型训练和验证任务。
• 将 Airflow 与机器学习框架和工具整合。
• 使用自动化管道部署机器学习模型。
• 监控和优化生产中的机器学习工作流程。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在即时实验室环境中动手实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们进行安排。

Machine Learning 的 Apache Airflow 简介

• Apache Airflow 概述及其与数据科学的相关性
• 自动化机器学习工作流程的主要功能
• 为数据科学项目设置 Airflow

使用 Airflow 构建 Machine Learning 管道

• 为端到端ML工作流设计DAG
• 使用运算符进行数据摄取、预处理和特征工程
• 计划和管理管道依赖关系

模型训练和验证

• 使用 Airflow 自动执行模型训练任务
• 将 Airflow 与 ML 框架集成（例如 TensorFlow、PyTorch）
• 验证模型并存储评估指标

模型部署和监控

• 使用自动化管道部署机器学习模型
• 使用 Airflow 任务监控已部署的模型
• 处理重新训练和模型更新

高级定制和整合

• 为 ML 特定任务开发自订运算元
• 将 Airflow 与云平台和 ML 服务整合
• 使用外挂程式和感测器扩展 Airflow 工作流

优化和扩展 ML 管道

• 提高大规模数据的工作流性能
• 使用 Celery 和 Kubernetes 扩展 Airflow 部署
• 生产级 ML 工作流的最佳实践

案例研究和实际应用

• 使用 Airflow 实现 ML 自动化的真实范例
• 动手练习：构建端到端ML管道
• 讨论 ML 工作流管理中的挑战和解决方案

总结和后续步骤