Stream Processing with Kafka Streams

• 理解Apache Kafka
• Java编程经验

Kafka Streams 是一个客户端库，用于构建应用程序和微服务，其数据在 Kafka 消息系统之间传递。传统上，Apache Kafka 依赖于 Apache Spark 或 Apache Storm 来处理消息生产者和消费者之间的数据。通过在应用程序中调用 Kafka Streams API，数据可以直接在 Kafka 中进行处理，从而避免了将数据发送到单独的集群进行处理的需求。

在这场由讲师指导的线下培训中，参与者将学习如何将 Kafka Streams 集成到一组示例 Java 应用程序中，这些应用程序在 Apache Kafka 之间传递数据以进行流处理。

在培训结束时，参与者将能够：

• 了解 Kafka Streams 的功能及其相较于其他流处理框架的优势
• 直接在 Kafka 集群中处理流数据
• 编写与 Kafka 和 Kafka Streams 集成的 Java 或 Scala 应用程序或微服务
• 编写简洁的代码，将输入的 Kafka 主题转换为输出的 Kafka 主题
• 构建、打包并部署应用程序

目标受众

• 开发人员

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意事项

• 如需为本课程定制培训，请联系我们安排

简介

• Kafka 与 Spark、Flink 和 Storm 的比较

Kafka Streams 功能概述

• 有状态和无状态处理、事件时间处理、DSL、基于事件时间的窗口操作等

案例研究：使用 Kafka Streams API 进行预算预测

设置开发环境

创建 Streams 应用程序

启动 Kafka 集群

准备主题和输入数据

处理流数据的选项

• 高级 Kafka Streams DSL
• 低级 Processor

转换输入数据

检查输出数据

停止 Kafka 集群

应用程序部署选项

• 经典运维工具（Puppet、Chef 和 Salt）
• Docker
• WAR 文件

故障排除

总结与结论