Unified Batch and Stream Processing with Apache Beam

• Python Programming 的經驗。
• 使用 Linux 命令行的經驗。

觀眾

• 開發人員

Apache Beam 是一個開源的統一程式設計模型，用於定義和執行並行數據處理管道。它的強大之處在於它能夠同時運行批處理和流式管道，執行由 Beam 支援的分散式處理後端之一執行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 對於 ETL（提取、轉換和載入）任務非常有用，例如在不同的存儲介質和數據源之間移動數據、將數據轉換為更理想的格式以及將數據載入到新系統。

在這個由講師指導的現場培訓（現場或遠端）中，參與者將學習如何在 Java 或 Python 應用程式中實施 Apache Beam SDK，該應用程式定義了一個數據處理管道，用於將大數據集分解成更小的塊，以進行獨立的並行處理。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Apache Beam。
• 使用單個程式設計模型從其 Java 或 Python 應用程式執行批處理和流處理。
• 跨多個環境執行管道。

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意

• 本課程將在未來提供 Scala。請聯繫我們安排。

介紹

• Apache Beam 與 MapReduce、Spark Streaming、Kafka Streaming、Storm 和 Flink

安裝與設定Apache Beam

Apache Beam 功能和架構概述

• 梁模型、SDK、梁管道流道
• 分散式處理後端

瞭解 Apache Beam Programming 模型

• 管道的執行方式

運行示例管道

• 準備 WordCount 管道
• 在本地執行 Pipeline

設計管道

• 規劃結構、選擇轉換以及確定輸入和輸出方法

創建管道

• 編寫驅動程式並定義管道
• 使用 Apache Beam 類
• 數據集、轉換、I/O、數據編碼等

執行管道

• 在本地、遠端電腦和公共雲上執行管道
• 選擇運行器
• 特定於 Runner 的配置

測試和除錯 Apache Beam

• 使用類型提示模擬靜態類型
• 管理 Python 管道依賴項

處理有界和無界數據集

• 視窗化和觸發器

使您的管道可重用且可維護

創建新的數據源和接收器

• Apache Beam 源 API 和接收器 API

將 Apache Beam 與其他 Big Data 系統集成

• 阿帕奇 Hadoop， Apache Spark， Apache Kafka

故障排除

總結和結論