A Practical Introduction to Stream Processing

• Programming 任何語言的經驗
• 了解大數據概念（Hadoop等）

Stream Processing指的是“運動中的數據”的實時處理，即，在接收數據時對數據執行計算。這些數據被讀取為來自數據源的連續流，例如傳感器事件，網站用戶活動，金融交易，信用卡刷卡，點擊流等。 Stream Processing框架能夠讀取大量傳入數據並幾乎立即提供有價值的見解。

在這個以講師為主導的現場培訓（現場或遠程）中，參與者將學習如何使用現有的大數據存儲系統和相關的軟件應用程序和微服務來設置和集成不同的Stream Processing框架。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的Stream Processing框架，例如Spark Streaming和Kafka Streaming。
• 理解並選擇最合適的工作框架。
• 數據處理連續，同時，並以逐個記錄的方式進行。
• 將Stream Processing解決方案與現有數據庫，數據倉庫，數據湖等集成。
• 將最合適的流處理庫與企業應用程序和微服務集成在一起。

聽眾

• 開發商
• 軟件架構師

課程 格式

• 部分講座，部分討論，練習和繁重的實踐練習

筆記

• 要申請本課程的定制培訓，請聯繫我們安排。

介紹

• 流處理與批處理
• 以分析為中心的流處理

概述框架和 Programming 語言

• Spark Streaming （斯卡拉）
• Kafka 流式處理 （Java）
• Flink
• 風暴
• 各框架的特點和優勢比較

數據源概述

• 實時數據作為隨時間變化的一系列事件
• 歷史數據源

部署選項

• 在雲端端中（AWS等）
• 本地（私有雲等）

開始

• 設置開發環境
• 安裝和配置
• 評估您的 Data Analysis 需求

操作流式處理框架

• 將流式處理框架與大數據工具集成
• 事件 Stream Processing （ESP） 與複雜事件處理 （CEP）
• 轉換輸入數據
• 檢查輸出數據
• 將 Stream Processing 框架與現有應用程式和微服務集成

故障排除

總結和結論