Python, Spark, and Hadoop for Big Data

• Doświadczenie ze Sparkiem i Hadoop
• Python doświadczenie w programowaniu

Publiczność

• Naukowcy zajmujący się danymi
• Programiści

Python to skalowalny, elastyczny i szeroko stosowany język programowania do nauki o danych i uczenia maszynowego. Spark to silnik przetwarzania danych wykorzystywany do wyszukiwania, analizowania i przekształcania dużych zbiorów danych, podczas gdy Hadoop to biblioteka oprogramowania do przechowywania i przetwarzania danych na dużą skalę.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać i integrować Spark, Hadoop i Python do przetwarzania, analizowania i przekształcania dużych i złożonych zestawów danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować środowisko niezbędne do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, podstawowe komponenty i architekturę Spark i Hadoop.
• Dowiedz się, jak zintegrować Spark, Hadoop i Python w celu przetwarzania dużych zbiorów danych.
• Poznanie narzędzi w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Tworzenie systemów rekomendacji opartych na filtrowaniu kolaboracyjnym podobnych do Netflix, YouTube, Amazon, Spotify i Google.
• Użyj Apache Mahout do skalowania algorytmów uczenia maszynowego.

Format kursu

• Interaktywny wykład i dyskusja.
• Wiele ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku laboratorium na żywo.

Opcje dostosowywania kursu

• Aby poprosić o spersonalizowane szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

Wprowadzenie

• Przegląd funkcji i architektury Spark i Hadoop
• Zrozumienie dużych zbiorów danych
• Podstawy programowania Python

Pierwsze kroki

• Konfiguracja Python, Spark i Hadoop
• Zrozumienie struktur danych w Python
• Zrozumienie interfejsu API PySpark
• Zrozumienie HDFS i MapReduce

Integracja Sparka i Hadoop z Python

• Wdrażanie Spark RDD w Python
• Przetwarzanie danych przy użyciu MapReduce
• Tworzenie rozproszonych zbiorów danych w HDFS

Przetwarzanie Machine Learning za pomocą Spark MLlib

Przetwarzanie Big Data z Spark Streaming

Praca z systemami rekomendacji

Praca z Kafką, Sqoop, Kafką i Flume

Apache Mahout ze Spark i Hadoop

Rozwiązywanie problemów

Podsumowanie i kolejne kroki