Apache Kylin: Real-Time OLAP on Big Data

Prerequisites:

• Zrozumienie Hadoop oraz ekosystemów big data
• Znałość pojęć związanych z SQL oraz magazynowaniem danych
• Podstawowa wiedza na temat platform do strumieniowania danych, takich jak Kafka

Grupa docelowa

• Inżynierowie big data chcący wdrażać rozwiązania analityki w czasie rzeczywistym
• Analitycy danych, którzy chcą wykorzystać możliwości OLAP na dużych zbiorach danych
• Architekci magazynów danych zainteresowani modernizacją infrastruktury

Overview:

Apache Kylin jest silnikiem analityki rozproszonej zaprojektowanym w celu zapewnienia możliwości OLAP (Online Analytical Processing) na dużych zbiorach danych. Wraz z wydaniem wersji 5.0, Kylin wprowadza wsparcie dla transmisji w czasie rzeczywistym, umożliwiając odpowiedzi na zapytania z opóźnieniem mniejszym niż sekunda na źródłach danych transmisyjnych, takich jak Kafka. Platforma oferuje potężne interfejs SQL, płynną integrację z narzędziami BI oraz zmodernizowany interfejs webowy do intuicyjnego modelowania i analizy.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest przeznaczone dla zawodowców z zakresu dużych danych na poziomie średnim, którzy chcą wykorzystać Apache Kylin do budowy magazynów danych w czasie rzeczywistym oraz wykonywania wielowymiarowej analizy na dużych zbiorach danych.

Na zakończenie tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować Apache Kylin z źródłami danych transmisji w czasie rzeczywistym.
• Projektować i budować kuby OLAP zarówno dla danych partyjnych, jak i transmisyjnych.
• Wykonuje złożone zapytania z opóźnieniem mniejszym niż sekunda za pomocą interfejsu SQL Kylin.
• Integrować Kylin z narzędziami BI dla interaktywnej wizualizacji danych.
• Optymalizować wydajność i zarządzać zasobami w Kylin.

Format kursu

• Interaktywna wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Ręczna implementacja w środowisku live-lab.

Opcje dostosowywania kursu

• Aby złożyć wniosek o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Course Outline:

Wprowadzenie do Apache Kylin

• Przegląd OLAP i jego znaczenie w analizie dużych danych
• Ewolucja Apache Kylin i jej architektury
• Główne funkcje i możliwości Kylin 50

Konfiguracja Apache Kylin

• Wymagania wstępne i konfiguracja środowiska
• Konfiguracja Kylin z Hadoop, Spark i Kafka
• Zrozumienie interfejsu webowego Kylin i narzędzi wiersza polecenia

Modelowanie danych w Kylin

• Projektowanie schematów gwiazdy i płatka śniegu dla kubów OLAP
• Definiowanie wymiarów i miar
• Tworzenie i zarządzanie modelami danych w interfejsie webowym Kylin

Budowanie i zarządzanie kubami

• Proces budowania kubów i zarządzanie zadaniami
• Budowanie inkrementalne i strategie automatycznego scalania
• Monitorowanie stanu i wydajności kubów

Streaming w czasie rzeczywistym z Kylin

• Integracja Kafka jako źródła danych strumieniowych
• Konfiguracja kubów w czasie rzeczywistym i modeli fuzji
• Osiąganie analizy o niskiej opóźnieniu z danymi strumieniowymi

Zapytania i analiza

• Wykonywanie zapytań SQL za pomocą interfejsu zapytań Kylin
• Połączenie narzędzi BI (np. Tableau, Power BI) z Kylin
• Wykonywanie wielowymiarowej analizy i szczegółowych analiz

Optymalizacja wydajności

• Najlepsze praktyki w projektowaniu kubów i agregacji
• Zarządzanie zasobami i dostrajanie do skalowalności
• Rozwiązywanie typowych problemów z wydajnością

Zagadnienia zaawansowane

• Bezpieczeństwo i kontrola dostępu w Kylin
• Rozszerzanie Kylin za pomocą wtyczek i integracji niestandardowych
• Badanie interfejsów API Kylin dla automatyzacji

Podsumowanie i kolejne kroki