Apache Iceberg Fundamentals

• 熟悉表、架构、分区和数据引入等概念
• 基础知识 SQL

观众

• 数据工程师
• 数据架构师
• 数据分析师
• 软件开发人员

Apache Iceberg 是一种用于大规模数据集的开源表格式，它将 SQL 表的可靠性和简单性引入大数据。它旨在解决在数据湖中管理大数据的挑战，这些挑战通常涉及处理复杂的架构、大文件和不同的数据源。

这种以讲师为主导的现场培训（在线或现场）面向希望获得有效利用 Apache Iceberg 管理大规模数据集、确保数据完整性和优化数据处理工作流程所需的知识和技能的初级数据专业人员。

在培训结束时，参与者将能够：

• 全面了解 Apache Iceberg 的架构、功能和优势。
• 了解表格式、分区、架构演变和时间旅行功能。
• 在不同的环境中安装和配置 Apache Iceberg。
• 创建、管理和操作 Iceberg 表。
• 了解将数据从其他表格式迁移到 Iceberg 的过程。

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在现场实验室环境中动手实施。

课程自定义选项

• 如需申请本课程的定制培训，请联系我们进行安排。

Apache Iceberg 简介

• Apache Iceberg 概述
• 现代数据架构中的重要性和用例
• 主要特性和优势

核心概念

• 冰山表格式和体系结构
• 与其他表格格式的比较
• 分区和架构演变
• 时间旅行和数据版本控制

设置 Apache Iceberg

• 安装和配置
• 将 Iceberg 与各种数据处理引擎集成
• 在本地计算机上设置 Iceberg 环境

基本操作

• 创建和管理 Iceberg 表
• 写入和读取 Iceberg 表
• 基本 CRUD 操作

数据迁移和集成

• 将数据从 Hive 和其他系统迁移到 Iceberg
• 与 BI 工具集成
• 将示例数据集迁移到 Iceberg

优化性能

• 性能调优技术
• 优化查询和数据扫描
• Iceberg 中的性能优化

高级功能概述

• 分区演进和隐藏分区
• 表演变和架构更改
• 时间旅行和回滚功能
• 在 Iceberg 中实现高级功能

摘要和后续步骤