Advanced Apache Iceberg

• 熟悉核心概念、基本操作、冰山表管理

观众

• 数据工程师
• 数据架构师
• 数据分析师
• 软件开发人员

Apache Iceberg 是一种用于大规模数据集的开源表格式，它将 SQL 表的可靠性和简单性引入大数据。它旨在解决在数据湖中管理大数据的挑战，这些挑战通常涉及处理复杂的架构、大文件和不同的数据源。

这种由讲师指导的现场培训（在线或现场）面向希望优化数据处理工作流程、确保数据完整性并实施能够处理现代大数据应用程序复杂性的强大数据湖仓一体解决方案的高级数据专业人员。

在培训结束时，参与者将能够：

• 深入了解 Iceberg 的架构，包括元数据管理和文件布局。
• 配置 Iceberg 以在各种环境中实现最佳性能，并将其与多个数据处理引擎集成。
• 管理大规模 Iceberg 表，执行复杂的架构更改，并处理分区演变。
• 掌握优化大型数据集查询性能和数据扫描效率的技术。
• 实施机制以确保数据一致性、管理事务保证和处理分布式环境中的故障。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在现场实验室环境中动手实施。

课程自定义选项

• 如需申请本课程的定制培训，请联系我们进行安排。

Apache Iceberg 简介

• Apache Iceberg 概述
• 基本概念回顾

深入了解冰山架构

• 深入分析Iceberg的表格格式
• 详细的体系结构概述，包括元数据和文件布局
• 架构和分区演变的内部结构

高级安装和配置

• 配置 Iceberg 以在不同环境中实现最佳性能
• 与各种数据处理引擎集成
• 高级设置：安全、加密和访问控制
• 在分布式环境中设置 Iceberg

高级运维

• 管理大型 Iceberg 表
• 实施和管理复杂的架构更改
• 处理分区演变和隐藏分区
• 具有架构和分区更改的高级 CRUD 操作

查询优化技术

• 减少查询延迟的技术
• 分区修剪和文件修剪
• 元数据缓存和优化策略
• 实现和测试查询优化技术

大型数据集的性能调优

• 优化大规模数据集的性能
• 使用 Iceberg 的内置功能进行性能调优
• 实际场景中性能调优的案例研究
• 优化大规模数据集的性能

高级数据迁移和集成

• 从其他系统迁移复杂的数据结构
• 将 Iceberg 与实时数据流集成
• 迁移复杂数据集并集成实时数据流

可靠性和一致性

• 确保分布式环境中的数据一致性和完整性
• 实施和管理交易担保
• 处理故障和恢复机制
• 实现可靠性和一致性功能

高级功能和定制

• 自定义目录实现
• 使用自定义功能扩展 Iceberg
• 实现自定义目录并扩展 Iceberg 功能

数据 Governance and compliance

• 实施数据治理策略
• 遵守数据法规
• 管理审计跟踪和数据沿袭
• 实现治理和合规性功能

摘要和后续步骤