Azure Data Factory：数据集成与管理

Prerequisites:

• 具备云计算概念的基础知识。
• 熟悉数据集成和ETL流程。

受众

• 数据工程师
• 数据分析师
• ETL开发人员
• IT专业人员

Overview:

Azure Data Factory（ADF）是微软Azure提供的基于云的数据集成服务。它使用户能够创建、编排和管理数据管道，以移动和转换来自各种数据源的数据。

本课程为讲师指导的培训（线上或线下），面向希望使用Azure Data Factory在云端实现可扩展且高效的数据集成解决方案的初级数据工程师。

培训结束后，参与者将能够：

• 了解Azure Data Factory（ADF）的核心概念和架构。
• 学习创建、调度和监控数据管道。
• 集成各种数据源，执行数据转换并管理数据流。
• 实施错误处理和性能优化的最佳实践。
• 为生产环境中的数据管道提供安全性和监控。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行实际操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

Course Outline:

Azure Data Factory简介

• Azure Data Factory概述
• 关键概念与架构
• ADF的用例与优势

设置ADF环境

• 创建与配置ADF实例
• 导航Azure Data Factory门户
• 了解集成运行时

使用数据集与链接服务

• 定义数据集与链接服务
• 连接不同的数据源
• 配置认证与安全连接

创建数据管道

• 管道基础与组件
• 使用活动创建简单数据管道
• 构建数据移动管道

数据流与转换活动

• 数据流简介
• 数据转换活动
• 设计与运行数据流转换

调度与触发管道

• 使用触发器调度管道运行
• 使用滚动窗口与基于事件的触发器
• 监控管道活动并理解输出日志

调试与错误处理

• 调试管道与数据流
• 实施错误处理与重试机制
• 为现有管道添加错误处理

性能优化

• 优化数据管道的最佳实践
• 理解与配置并行性与分区
• 优化管道性能

安全性与监控

• 通过访问控制与权限保护ADF
• 实施数据加密与安全数据传输
• 使用内置工具与警报监控数据管道

高级场景与集成

• 将ADF与其他Azure服务集成
• 处理复杂的数据集成场景
• 创建端到端的数据集成解决方案

总结与下一步

Overview in Category:

本课程为讲师指导的培训（线上或线下），面向希望使用Azure Data Factory在云端实现可扩展且高效的数据集成解决方案的初级数据工程师。

培训结束后，参与者将能够：

• 了解Azure Data Factory（ADF）的核心概念和架构。
• 学习创建、调度和监控数据管道。
• 集成各种数据源，执行数据转换并管理数据流。
• 实施错误处理和性能优化的最佳实践。
• 为生产环境中的数据管道提供安全性和监控。