Course Code: airflowds
Duration: 21 hours
Prerequisites:

  • 熟悉机器学习工作流和概念
  • 对Apache Airflow的基本了解，包括DAG和操作符
  • 熟练掌握Python编程

受众

  • 数据科学家
  • 机器学习工程师
  • AI开发者

Overview:

Apache Airflow 是一个开源平台，用于编排工作流和自动化复杂的数据管道。

本课程由讲师主导，采用线上或线下培训形式，面向希望自动化和管理机器学习工作流的中级参与者，包括使用 Apache Airflow 进行模型训练、验证和部署。

在本培训结束时，参与者将能够：

  • 为机器学习工作流编排设置 Apache Airflow。
  • 自动化数据预处理、模型训练和验证任务。
  • 将 Airflow 与机器学习框架和工具集成。
  • 使用自动化管道部署机器学习模型。
  • 监控和优化生产中的机器学习工作流。

课程形式

  • 互动讲座和讨论。
  • 大量练习和实践。
  • 在实时实验室环境中进行动手实践。

课程定制选项

  • 如需为本课程定制培训，请联系我们安排。

Course Outline:

Apache Airflow机器学习入门

  • Apache Airflow概述及其在数据科学中的重要性
  • 自动化机器学习工作流的关键功能
  • 为数据科学项目设置Airflow

使用Airflow构建机器学习管道

  • 设计端到端机器学习工作流的DAGs
  • 使用操作符进行数据摄取、预处理和特征工程
  • 调度和管理管道依赖关系

模型训练与验证

  • 使用Airflow自动化模型训练任务
  • 将Airflow与机器学习框架（如TensorFlow、PyTorch）集成
  • 验证模型并存储评估指标

模型部署与监控

  • 使用自动化管道部署机器学习模型
  • 使用Airflow任务监控已部署的模型
  • 处理重新训练和模型更新

高级定制与集成

  • 开发用于机器学习任务的定制操作符
  • 将Airflow与云平台和机器学习服务集成
  • 使用插件和传感器扩展Airflow工作流

优化与扩展机器学习管道

  • 提高大规模数据的工作流性能
  • 使用Celery和Kubernetes扩展Airflow部署
  • 生产级机器学习工作流的最佳实践

案例研究与实际应用

  • 使用Airflow进行机器学习自动化的实际案例
  • 实践练习：构建端到端机器学习管道
  • 讨论机器学习工作流管理中的挑战与解决方案

总结与下一步

Overview in Category:

本次由讲师指导的培训（线上或线下）面向中级参与者，旨在帮助他们使用Apache Airflow自动化和管理机器学习工作流，包括模型训练、验证和部署。

培训结束后，参与者将能够：

  • 设置Apache Airflow以进行机器学习工作流编排。
  • 自动化数据预处理、模型训练和验证任务。
  • 将Airflow与机器学习框架和工具集成。
  • 使用自动化管道部署机器学习模型。
  • 监控和优化生产中的机器学习工作流。