Big Data Analytics with Google Colab and Apache Spark

• Podstawowa wiedza na temat pojęć nauki o danych
• Znajomość Apache Spark
• Umiejętności programowania Python

Grupa docelowa

• Naukowcy danych
• Inżynierowie danych
• Badacze pracujący z big data

Big Data Analytics with Google Colab i Apache Spark to potężne podejście do przetwarzania i analizowania ogromnych zbiorów danych z wysoką wydajnością.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do data scientistów i inżynierów danych na poziomie średnim, którzy chcą używać Google Colab i Apache Spark do przetwarzania i analizy big data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Konfigurować środowisko big data za pomocą Google Colab i Spark.
• Przetwarzać i analizować duże zbiory danych efektywnie za pomocą Apache Spark.
• Wizualizować big data w środowisku współpracy.
• Integrować Apache Spark z narzędziami opartymi na chmurze.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrażanie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby złożyć wniosek o dostosowane szkolenie dla tego kursu, skontaktuj się z nami w celu uzgodnienia.

Wprowadzenie do Google Colab i Apache Spark

• Przegląd Google Colab
• Wprowadzenie do Apache Spark
• Konfiguracja Spark w Google Colab

Przetwarzanie danych za pomocą Apache Spark

• Praca z RDD i DataFrames
• Wczytywanie i przetwarzanie dużych zbiorów danych
• Używanie Spark SQL do zapytywania strukturowanych danych

Zaawansowana analiza z użyciem Spark

• Maszynowe uczenie się z użyciem Spark MLlib
• Przeprowadzanie analizy danych w czasie rzeczywistym
• Obliczenia rozproszone z użyciem Spark

Wizualizacja i Collaboration w Google Colab

• Integracja Colab z popularnymi bibliotekami wizualizacyjnymi
• Współpracownicze przepływy pracy z notebookami Colab
• Udostępnianie i eksportowanie wyników

Optymalizacja przepływów pracy Big Data

• Dostosowywanie Spark do osiągnięcia optymalnej wydajności
• Optymalizacja zużycia pamięci i przestrzeni dyskowej
• Skalowanie przepływów pracy do dużych zbiorów danych

Big Data w Chmurze

• Integracja Google Colab z narzędziami opartymi na chmurze
• Używanie chmurowego przechowywania dla dużych danych
• Praca z Spark w rozproszonym środowisku chmurowym

Studia przypadków i najlepsze praktyki

• Przegląd realnych zastosowań dużych danych
• Studia przypadków z użyciem Apache Spark i Colab
• Najlepsze praktyki dla analizy dużych danych

Podsumowanie i kolejne kroki