Confluent Apache Kafka: Cluster Operations and Configuration

• 具备Linux系统及命令行工具的使用经验
• 熟悉分布式系统概念
• 了解基本网络和系统配置

受众

• DevOps及负责Kafka部署的SRE团队
• 使用Confluent和Zookeeper的系统管理员
• 负责可扩展系统的Kafka开发者和架构师

Confluent Apache Kafka 是一个基于 Apache Kafka 的企业级分散式事件串流平台，支援高吞吐量、容错的数据管道和实时串流应用。

这门由讲师指导的培训（线上或线下）面向中级工程师和管理员，旨在帮助他们在生产环境中部署、配置和优化 Confluent Kafka 集群。

培训结束后，参与者将能够：

• 安装、配置和操作具有多个经纪节点的 Confluent Kafka 集群。
• 使用 Zookeeper 和复制技术设计高可用性设置。
• 调整性能、监控指标并应用恢复策略。
• 确保 Kafka 的安全性、扩展性并与企业环境集成。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手实作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

模组1：Confluent Apache Kafka 架构与集群配置介绍

• Apache Kafka 和 Confluent 平台是什么？
• Kafka 经纪人、生产者、消费者与主题基础
• Kafka 在数据流与消息管道中的角色
• Confluent 扩展：REST Proxy、Schema Registry、Control Center
• Kafka 集群架构：经纪人、分区与复制

模组2：Zookeeper 法定人数配置

• Zookeeper 是什么？
• Zookeeper 在 Kafka 集群中的角色
• Zookeeper 法定人数大小
• Zookeeper 配置
• 在我们的伺服器上实现 SSH
• 实作：Zookeeper 配置（作为团队和服务）
• 使用 Zookeeper 命令列介面 (CLI)
• 实作：Zookeeper 法定人数设置
• Zookeeper 的内部文件系统
• 影响 Zookeeper 的性能因素
• 演示：Zookeeper 管理工具与 Zoonavigator

模组3：Kafka 集群配置

• Kafka 基础
• Kafka 配置
• 实作：单一经纪人上的 Kafka 配置
• 实作：执行 Kafka 命令
• 实作：Kafka 多经纪人（集群）设置
• 实作：Kafka 集群测试
• 我可以连接到我的 Kafka 集群吗？
• Advertised.listeners 配置：关键设置
• 主题配置
• 设置主题中的消息摄取与传递
• 实作：展示 Kafka 的弹性
• Kafka 性能：I/O、网络、RAM、CPU、OS
• Kafka 性能：其他因素
• 实作：如何修改经纪人配置

模组4：进阶 Kafka 配置

• Landoop Kafka Topics UI、Confluent REST Proxy、Confluent Schema Registry 配置
• 发送与接收消息（CLI、Java、Spring Framework）
• 指标与监控工具（Confluent Control Center、Elasticsearch 等）
• 日志文件与偏移量管理
• 高可用性与灾难恢复
• 通过复制确保高可用性
• 性能调优（生产者/消费者）
• 灾难恢复策略
• 故障转移控制与数据恢复
• 连接器设置
• Kafka Connect 实现
• Kafka 安全功能

总结与下一步