Apache Spark SQL

• Doświadczenie z SQL zapytaniami
• Doświadczenie w programowaniu w dowolnym języku

Publiczność

• Analitycy danych
• Naukowcy danych
• Inżynierowie danych

Spark SQL to moduł Apache Spark do pracy z ustrukturyzowanymi i nieustrukturyzowanymi danymi. Spark SQL dostarcza informacji o strukturze danych, a także o wykonywanych obliczeniach. Informacje te mogą być wykorzystywane do przeprowadzania optymalizacji. Dwa typowe zastosowania Spark SQL to: - wykonywanie zapytań SQL. - odczytywanie danych z istniejącej instalacji Hive.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak analizować różne typy zestawów danych za pomocą Spark SQL.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie Sparka SQL.
• Przeprowadzanie analizy danych przy użyciu Spark SQL.
• Zapytania do zestawów danych w różnych formatach.
• Wizualizacja danych i wyników zapytań.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Wstęp

Przegląd danych Access Podejścia (Hive, bazy danych itp.)

Przegląd funkcji i architektury platformy Spark

Instalacja i konfiguracja Sparka

Zrozumienie ramek danych w Spark

Definiowanie tabel i importowanie zbiorów danych

Odpytywanie ramek danych przy użyciu SQL

Wykonywanie agregacji, JOIN i zapytań zagnieżdżonych

Przesyłanie i Accessingowanie danych

Wykonywanie zapytań o różne typy danych

• JSON, parkiet itp.

Wysyłanie zapytań do jezior danych za pomocą SQL

Rozwiązywanie problemów

Podsumowanie i wnioski