Unified Batch and Stream Processing with Apache Beam

• Python Programming 的经验。
• 使用 Linux 命令行的经验。

观众

• 开发人员

Apache Beam 是一个开源的统一程式设计模型，用于定义和执行并行数据处理管道。它的强大之处在于它能够同时运行批处理和流式管道，执行由 Beam 支援的分散式处理后端之一执行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 对于 ETL（提取、转换和载入）任务非常有用，例如在不同的存储介质和数据源之间移动数据、将数据转换为更理想的格式以及将数据载入到新系统。

在这个由讲师指导的现场培训（现场或远端）中，参与者将学习如何在 Java 或 Python 应用程式中实施 Apache Beam SDK，该应用程式定义了一个数据处理管道，用于将大数据集分解成更小的块，以进行独立的并行处理。

在本次培训结束时，参与者将能够：

• 安装和配置 Apache Beam。
• 使用单个程式设计模型从其 Java 或 Python 应用程式执行批处理和流处理。
• 跨多个环境执行管道。

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意

• 本课程将在未来提供 Scala。请联系我们安排。

介绍

• Apache Beam 与 MapReduce、Spark Streaming、Kafka Streaming、Storm 和 Flink

安装与设定Apache Beam

Apache Beam 功能和架构概述

• 梁模型、SDK、梁管道流道
• 分散式处理后端

了解 Apache Beam Programming 模型

• 管道的执行方式

运行示例管道

• 准备 WordCount 管道
• 在本地执行 Pipeline

设计管道

• 规划结构、选择转换以及确定输入和输出方法

创建管道

• 编写驱动程式并定义管道
• 使用 Apache Beam 类
• 数据集、转换、I/O、数据编码等

执行管道

• 在本地、远端电脑和公共云上执行管道
• 选择运行器
• 特定于 Runner 的配置

测试和除错 Apache Beam

• 使用类型提示模拟静态类型
• 管理 Python 管道依赖项

处理有界和无界数据集

• 视窗化和触发器

使您的管道可重用且可维护

创建新的数据源和接收器

• Apache Beam 源 API 和接收器 API

将 Apache Beam 与其他 Big Data 系统集成

• 阿帕奇 Hadoop， Apache Spark， Apache Kafka

故障排除

总结和结论