A Practical Introduction to Stream Processing

• Programming 任何语言的经验
• 了解大数据概念（Hadoop等）

Stream Processing指的是“运动中的数据”的实时处理，即，在接收数据时对数据执行计算。这些数据被读取为来自数据源的连续流，例如传感器事件，网站用户活动，金融交易，信用卡刷卡，点击流等。 Stream Processing框架能够读取大量传入数据并几乎立即提供有价值的见解。

在这个以讲师为主导的现场培训（现场或远程）中，参与者将学习如何使用现有的大数据存储系统和相关的软件应用程序和微服务来设置和集成不同的Stream Processing框架。

在培训结束时，参与者将能够：

• 安装和配置不同的Stream Processing框架，例如Spark Streaming和Kafka Streaming。
• 理解并选择最合适的工作框架。
• 数据处理连续，同时，并以逐个记录的方式进行。
• 将Stream Processing解决方案与现有数据库，数据仓库，数据湖等集成。
• 将最合适的流处理库与企业应用程序和微服务集成在一起。

听众

• 开发商
• 软件架构师

课程 格式

• 部分讲座，部分讨论，练习和繁重的实践练习

笔记

• 要申请本课程的定制培训，请联系我们安排。

介绍

• 流处理与批处理
• 以分析为中心的流处理

概述框架和 Programming 语言

• Spark Streaming （斯卡拉）
• Kafka 流式处理 （Java）
• Flink
• 风暴
• 各框架的特点和优势比较

数据源概述

• 实时数据作为随时间变化的一系列事件
• 历史数据源

部署选项

• 在云中（AWS等）
• 本地（私有云等）

开始

• 设置开发环境
• 安装和配置
• 评估您的 Data Analysis 需求

操作流式处理框架

• 将流式处理框架与大数据工具集成
• 事件 Stream Processing （ESP） 与复杂事件处理 （CEP）
• 转换输入数据
• 检查输出数据
• 将 Stream Processing 框架与现有应用程序和微服务集成

故障 排除

总结和结论