Apache Kylin: Real-Time OLAP on Big Data

• 了解Hadoop和大数据生态系统
• 熟悉SQL和数据仓库概念
• 具备Kafka等流数据平台的基础知识

受众

• 希望实施实时分析解决方案的大数据工程师
• 旨在利用OLAP功能处理大型数据集的数据分析师
• 对现代化基础设施感兴趣的数据仓库架构师

Apache Kylin 是一个分布式分析引擎，旨在为大数据提供OLAP（线上分析处理）功能。随著5.0版本的发布，Kylin引入了实时流式数据支持，能够在Kafka等流式数据源上实现亚秒级的查询响应。该平台提供了一个强大的SQL界面，与BI工具无缝集成，并重新设计了Web UI，以实现直观的建模和分析。

这是一个由讲师主导的培训（线上或线下），针对希望利用Apache Kylin构建实时数据仓库并对大规模数据集进行多维分析的中级大数据专业人员。

培训结束后，参与者将能够：

• 设置和配置Apache Kylin以支持实时流式数据源。
• 设计和构建用于批处理和流式数据的OLAP立方体。
• 使用Kylin的SQL界面执行亚秒级延迟的复杂查询。
• 将Kylin与BI工具集成，实现互动式数据可视化。
• 优化Kylin的性能并有效管理资源。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实践操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

Apache Kylin 简介

• OLAP 概述及其在大数据分析中的重要性
• Apache Kylin 的演进与架构
• Kylin 50 的主要功能与特性

设置 Apache Kylin

• 安装前提与环境设置
• 使用 Hadoop、Spark 和 Kafka 配置 Kylin
• 了解 Kylin 的 Web UI 和命令行工具

Kylin 中的数据建模

• 为 OLAP 立方体设计星型与雪花型模式
• 定义维度与度量
• 在 Kylin 的 Web UI 中创建与管理数据模型

构建与管理立方体

• 立方体构建过程与作业管理
• 增量构建与自动合并策略
• 监控立方体健康状况与性能

Kylin 的实时串流处理

• 整合 Kafka 作为串流数据源
• 设置实时立方体与融合模型
• 实现串流数据的低延迟分析

查询与分析

• 使用 Kylin 的查询介面执行 SQL 查询
• 将 BI 工具（例如 Tableau、Power BI）连接到 Kylin
• 执行多维度分析与下钻操作

性能优化

• 立方体设计与聚合的最佳实践
• 资源管理与可扩展性调优
• 排查常见性能问题

进阶主题

• Kylin 中的安全性与访问控制
• 使用自定义插件与集成扩展 Kylin
• 探索 Kylin 的 REST API 以实现自动化

总结与下一步