Apache Spark in the Cloud

Umiejętność programowania (najlepiej w języku python, scala)

Podstawy SQL

Krzywa uczenia się Apache Spark powoli rośnie na początku, wymaga dużo wysiłku, aby uzyskać pierwszy zwrot. Ten kurs ma na celu przeskoczenie pierwszej trudnej części. Po ukończeniu tego kursu uczestnicy zrozumieją podstawy Apache Spark , będą wyraźnie odróżniać RDD od DataFrame, nauczą się Pythona i Scala API, zrozumieją executory i zadania itp. Również zgodnie z najlepszymi praktykami, kurs ten silnie koncentruje się na wdrażaniu w chmurze, Databricks i AWS. Studenci zrozumieją również różnice między AWS EMR i AWS Glue, jedną z najnowszych usług Spark w AWS.  

AUDIENCJA:

Inżynier ds. danych, DevOps, Naukowiec ds. danych

Wstęp:

• Apache Spark w Hadoop Ekosystem
• Krótkie wprowadzenie do Pythona, Scala

Podstawy (teoria):

• Architektura
• RDD
• Transformacja i działania
• Etap, zadanie, zależności

Korzystanie ze środowiska Databricks pozwala zrozumieć podstawy (warsztat praktyczny):

• Ćwiczenia z wykorzystaniem RDD API
• Podstawowe funkcje akcji i transformacji
• ParaRDD
• Dołączyć
• Strategie buforowania
• Ćwiczenia z wykorzystaniem DataFrame API
• IskraSQL
• DataFrame: wybierz, filtruj, grupuj, sortuj
• UDF (funkcja zdefiniowana przez użytkownika)
• Patrząc na API DataSet
• Transmisja strumieniowa

Korzystanie ze środowiska AWS obejmuje zrozumienie wdrożenia (warsztat praktyczny):

• Podstawy kleju AWS
• Poznaj różnice między AWS EMR i AWS Glue
• Przykładowe zadania w obu środowiskach
• Zrozum zalety i wady

Dodatkowy:

• Wprowadzenie do orkiestracji Apache Airflow.