Advanced Hadoop for Developers

• znajomość języka programowania Java (większość ćwiczeń programistycznych jest w języku java)
• znajomość środowiska Linux (umiejętność nawigowania w wierszu polecenia Linux, edytowania plików za pomocą vi / nano)
• podstawowa wiedza o Hadoop.

Środowisko laboratoryjne

Zero Install: Nie ma potrzeby instalowania oprogramowania hadoop na maszynach studentów! Dla studentów zostanie udostępniony działający klaster hadoop.

Studenci będą potrzebować następujących elementów

• klienta SSH (Linux i Mac mają już klienty ssh, dla systemu Windows Putty jest polecany)
• przeglądarki do dostępu do klastera. Polecamy przeglądarkę Firefox

Apache Hadoop jest jednym z najpopularniejszych frameworków do przetwarzania danych na klasterach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS, zaawansowane techniki Pig, Hive oraz HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych developerów Hadoop.

Grupa docelowa: developerzy

Czas trwania: trzy dni

Format: wykłady (50%) oraz praktyczne warsztaty (50%).

Sekcja 1: Data Management w HDFS

• Różne formaty danych (JSON / Avro / Parquet)
• Schematy kompresji
• Maskowanie danych
• Ćwiczenia praktyczne: analizowanie różnych formatów danych; włączanie kompresji

Sekcja 2: Zaawansowany Pig

• Funkcje zdefiniowane przez użytkownika
• Wprowadzenie do bibliotek Pig (ElephantBird / Data-Fu)
• Ładowanie skomplikowanych struktur danych za pomocą Pig
• Optymalizacja Pig
• Ćwiczenia praktyczne: zaawansowane skryptowanie Pig, analizowanie złożonych typów danych

Sekcja 3: Zaawansowany Hive

• Funkcje zdefiniowane przez użytkownika
• Kompresowane tabele
• Optymalizacja wydajności Hive
• Ćwiczenia praktyczne: tworzenie kompresowanych tabel, ocena formatów tabel i konfiguracji

Sekcja 4: Zaawansowany HBase

• Zaawansowane modelowanie schematów
• Kompresja
• Wprowadzanie dużych ilości danych
• Porównanie szerokich tabel i wysokich tabel
• HBase i Pig
• HBase i Hive
• Optymalizacja wydajności HBase
• Ćwiczenia praktyczne: optymalizacja HBase; dostęp do danych HBase z Pig i Hive; używanie Phoenix do modelowania danych