Advanced Apache Iceberg

• 熟悉核心概念、基本操作、冰山表管理

觀眾

• 數據工程師
• 數據架構師
• 數據分析師
• 軟體開發人員

Apache Iceberg 是一種用於大規模數據集的開源表格式，它將 SQL 表的可靠性和簡單性引入大數據。它旨在解決在數據湖中管理大數據的挑戰，這些挑戰通常涉及處理複雜的架構、大檔和不同的數據源。

這種由講師指導的現場培訓（在線或現場）面向希望優化數據處理工作流程、確保數據完整性並實施能夠處理現代大數據應用程式複雜性的強大數據湖倉一體解決方案的高級數據專業人員。

在培訓結束時，參與者將能夠：

• 深入瞭解 Iceberg 的架構，包括元數據管理和文件佈局。
• 配置 Iceberg 以在各種環境中實現最佳性能，並將其與多個數據處理引擎集成。
• 管理大規模 Iceberg 表，執行複雜的架構更改，並處理分區演變。
• 掌握優化大型數據集查詢性能和數據掃描效率的技術。
• 實施機制以確保數據一致性、管理事務保證和處理分散式環境中的故障。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

Apache Iceberg 簡介

• Apache Iceberg 概述
• 基本概念回顧

深入瞭解冰山架構

• 深入分析Iceberg的表格格式
• 詳細的體系結構概述，包括元數據和文件佈局
• 架構和分區演變的內部結構

高級安裝和配置

• 配置 Iceberg 以在不同環境中實現最佳性能
• 與各種數據處理引擎集成
• 高級設置：安全、加密和訪問控制
• 在分散式環境中設置 Iceberg

高級運維

• 管理大型 Iceberg 表
• 實施和管理複雜的架構更改
• 處理分區演變和隱藏分區
• 具有架構和分區更改的高級 CRUD 操作

查詢優化技術

• 減少查詢延遲的技術
• 分區修剪和檔修剪
• 元數據快取和優化策略
• 實現和測試查詢優化技術

大型數據集的性能調優

• 優化大規模數據集的性能
• 使用 Iceberg 的內置功能進行性能調優
• 實際場景中性能調優的案例研究
• 優化大規模數據集的性能

高級數據遷移和集成

• 從其他系統遷移複雜的數據結構
• 將 Iceberg 與實時數據流集成
• 遷移複雜數據集並集成實時數據流

可靠性和一致性

• 確保分散式環境中的數據一致性和完整性
• 實施和管理交易擔保
• 處理故障和恢復機制
• 實現可靠性和一致性功能

高級功能和定製

• 自訂目錄實現
• 使用自定義功能擴展 Iceberg
• 實現自定義目錄並擴展 Iceberg 功能

數據 Governance and compliance

• 實施數據治理策略
• 遵守數據法規
• 管理審計跟蹤和數據沿襲
• 實現治理和合規性功能

摘要和後續步驟