Advanced Apache Iceberg

• Znajomość podstawowych pojęć, podstawowych operacji i zarządzania tabelą Iceberg

Publiczność

• Inżynierowie danych
• Architekci danych
• Analitycy danych
• Programiści

Apache Iceberg to open-source'owy format tabel dla dużych zbiorów danych, który wprowadza niezawodność i prostotę tabel SQL do dużych zbiorów danych. Został zaprojektowany w celu rozwiązania wyzwań związanych z zarządzaniem dużymi zbiorami danych w jeziorach danych, które często wymagają obsługi złożonych schematów, dużych plików i różnych źródeł danych.

To prowadzone przez instruktora szkolenie na żywo (na miejscu lub zdalnie) jest przeznaczone dla zaawansowanych specjalistów ds. danych, którzy chcą zoptymalizować przepływy pracy przetwarzania danych, zapewnić integralność danych i wdrożyć solidne rozwiązania data lakehouse, które mogą obsługiwać złożoność nowoczesnych aplikacji big data.

Pod koniec tego szkolenia uczestnicy będą mogli

• Uzyskać dogłębne zrozumienie architektury Iceberg, w tym zarządzania metadanymi i układu plików.
• Skonfigurować Iceberg dla optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać wielkoskalowymi tabelami Iceberg, wykonywać złożone zmiany schematu i obsługiwać ewolucję partycji.
• Opanowanie technik optymalizacji wydajności zapytań i wydajności skanowania danych dla dużych zbiorów danych.
• Wdrożenie mechanizmów zapewniających spójność danych, zarządzanie gwarancjami transakcyjnymi i obsługę awarii w środowiskach rozproszonych.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratoryjnym na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Wprowadzenie do Apache Iceberg

• Przegląd aplikacji Apache Iceberg
• Przegląd podstawowych pojęć

Dogłębne zapoznanie się z architekturą Iceberg

• Dogłębna analiza formatu tabeli Iceberg
• Szczegółowy przegląd architektury, w tym metadane i układ plików
• Wewnętrzne elementy schematu i ewolucja partycji

Zaawansowana instalacja i konfiguracja

• Konfiguracja Iceberg dla optymalnej wydajności w różnych środowiskach
• Integracja z różnymi silnikami przetwarzania danych
• Zaawansowana konfiguracja: bezpieczeństwo, szyfrowanie i kontrola dostępu
• Konfiguracja Iceberg w środowisku rozproszonym

Zaawansowane operacje i konserwacja

• Zarządzanie wielkoskalowymi tabelami Iceberg
• Wdrażanie złożonych zmian schematu i zarządzanie nimi
• Obsługa ewolucji partycji i partycjonowania ukrytego
• Zaawansowane operacje CRUD ze zmianami schematu i partycji

Techniki optymalizacji zapytań

• Techniki zmniejszania opóźnień zapytań
• Przycinanie partycji i przycinanie plików
• Buforowanie metadanych i strategie optymalizacji
• Wdrażanie i testowanie technik optymalizacji zapytań

Dostrajanie wydajności dla dużych zbiorów danych

• Optymalizacja wydajności dla dużych zbiorów danych
• Korzystanie z wbudowanych funkcji Iceberg do dostrajania wydajności
• Studia przypadków dotyczące dostrajania wydajności w rzeczywistych scenariuszach
• Dostrajanie wydajności dla dużych zbiorów danych

Zaawansowana migracja i integracja danych

• Migracja złożonych struktur danych z innych systemów
• Integracja Iceberg ze strumieniami danych w czasie rzeczywistym
• Migracja złożonych zestawów danych i integracja strumieni danych w czasie rzeczywistym

Niezawodność i spójność

• Zapewnienie spójności i integralności danych w środowiskach rozproszonych
• Wdrażanie gwarancji transakcyjnych i zarządzanie nimi
• Obsługa awarii i mechanizmy odzyskiwania danych
• Wdrażanie funkcji niezawodności i spójności

Zaawansowane funkcje i dostosowywanie

• Niestandardowe implementacje katalogów
• Rozszerzanie Iceberg o niestandardowe funkcje
• Wdrażanie niestandardowego katalogu i rozszerzanie funkcjonalności Iceberg

Zarządzanie danymi i zgodność z przepisami

• Wdrażanie zasad zarządzania danymi
• Zgodność z przepisami dotyczącymi danych
• Zarządzanie ścieżkami audytu i pochodzeniem danych
• Wdrażanie funkcji zarządzania i zgodności

Podsumowanie i kolejne kroki