Apache Spark Fundamentals

• Doświadczenie z linią poleceń systemu Linux
• Ogólne zrozumienie przetwarzania danych
• Doświadczenie w programowaniu w języku Java, Scala, Python lub R

Publiczność

• Deweloperzy

Apache Spark to silnik analityczny przeznaczony do dystrybucji danych w klastrze w celu ich równoległego przetwarzania. Zawiera moduły do przetwarzania strumieniowego, SQL, uczenia maszynowego i przetwarzania grafów.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów, którzy chcą wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie Apache Spark.
• Zrozumienie różnicy między Apache Spark i Hadoop MapReduce oraz kiedy używać którego z nich.
• Szybkie wczytywaniei analizowanie bardzo dużych zbiorów danych.
• Integracja Apache Spark z innymi narzędziami uczenia maszynowego.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Wprowadzenie

• Apache Spark vs Hadoop MapReduce

Przegląd funkcji i architektury Apache Spark

Wybór języka Programming

Ustawienie Apache Spark

Tworzenie przykładowej aplikacji

Wybór zestawu danych

Uruchamianie Data Analysis na danych

Przetwarzanie danych strukturalnych za pomocą Spark SQL

Przetwarzanie danych strumieniowych za pomocą Spark Streaming

Integracja Apache Spark z narzędziami 3rd Part Machine Learning

Używanie Apache Spark do przetwarzania wykresów

Optymalizacja Apache Spark

Rozwiązywanie problemów

Podsumowanie i wnioski