Spark for Developers ( sparkdev | 21 hours )

WYMAGANIA WSTĘPNE

znajomość języka Java / Scala / Python (nasze laboratoria w Scala i Pythonie) podstawowa znajomość środowiska programistycznego Linux (nawigacja w wierszu poleceń / edycja plików za pomocą VI lub nano)

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

Podstawa Scala Szybkie wprowadzenie do Scala Labs: Poznanie podstaw Scala Spark Tło i historia Spark i Hadoop Koncepcje i architektura Spark Eco system Spark (core, spark sql, mlib, streaming) Labs: Instalowanie i uruchamianie Sparka Pierwsze spojrzenie na Sparka Działającego Sparka tryb lokalny Spark web UI Spark Shell Analiza zbioru danych – część 1 Inspekcja RDD Laboratoria: Eksploracja powłoki Spark RDD Koncepcje RDD Partycje RDD Operacje / transformacje Typy RDD Para klucz-wartość RDD MapReduce na RDD Buforowanie i trwałość Laboratoria: tworzenie i sprawdzanie RDD; Buforowanie RDD Programowanie Spark API Wprowadzenie do Spark API / RDD API Przesyłanie pierwszego programu do Spark Debugowanie / logowanie Właściwości konfiguracyjne Laboratoria: Programowanie w Spark API, Przesyłanie zadań Obsługa Spark SQL SQL w Spark Dataframes Definiowanie tabel i importowanie zbiorów danych Wykonywanie zapytań o dane ramki przy użyciu SQL Formatów przechowywania: JSON / Parquet Labs: Tworzenie i wysyłanie zapytań do ramek danych; ocenianie formatów danych MLlib Wprowadzenie do MLlib Algorytmy MLlib Laboratoria: Pisanie aplikacji MLib GraphX Przegląd bibliotek GraphX Laboratoria GraphX API: Przetwarzanie danych wykresów za pomocą Spark Spark Streaming Przegląd przesyłania strumieniowego Ocena platform przesyłania strumieniowego Operacje strumieniowe Operacje w przesuwanych oknach Laboratoria: Pisanie aplikacji do strumieniowego przesyłania strumieniowego Spark i Hadoop Hadoop Wprowadzenie ( HDFS / YARN) Architektura Hadoop + Spark Uruchamianie Spark na Hadoop YARN Przetwarzanie plików HDFS przy użyciu Spark Spark Wydajność i strojenie Zmienne rozgłoszeniowe Akumulatory Zarządzanie pamięcią i buforowanie Operacje Spark Wdrażanie Spark w środowisku produkcyjnym Przykładowe szablony wdrożeń Konfiguracje Monitorowanie Rozwiązywanie problemów