SMACK Stack for Data Science

• Zrozumienie systemów przetwarzania danych

Publiczność

• Naukowcy danych

SMACK to zbiór oprogramowania platformy danych, a mianowicie Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra i Apache Kafka. Korzystając ze stosu SMACK, użytkownicy mogą tworzyć i skalować platformy przetwarzania danych.

To prowadzone przez instruktora szkolenie na żywo (online lub na miejscu) jest przeznaczone dla naukowców zajmujących się danymi, którzy chcą używać stosu SMACK do tworzenia platform przetwarzania danych dla rozwiązań Big Data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wdrożenie architektury potoku danych do przetwarzania dużych zbiorów danych.
• Rozwijanie infrastruktury klastrowej za pomocą Apache Mesos i Docker.
• Analizowanie danych za pomocą Spark i Scala.
• Zarządzanie nieustrukturyzowanymi danymi za pomocą Apache Cassandra.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Wprowadzenie

Przegląd stosu SMACK

• Czym jest Apache Spark? Funkcje Apache Spark
• Czym jest Apache Mesos? Funkcje Apache Mesos
• Czym jest Apache Akka? Funkcje Apache Akka
• Czym jest Apache Cassandra? Funkcje Apache Cassandra
• Czym jest Apache Kafka? Funkcje Apache Kafka

Scala Język

• Scala składnia i struktura
• Scala przepływ sterowania

Przygotowanie środowiska programistycznego

• Instalowanie i konfigurowanie stosu SMACK
• Instalowanie i konfigurowanie Docker

Apache Akka

• Korzystanie z aktorów

Apache Cassandra

• Tworzenie bazy danych dla operacji odczytu
• Praca z kopiami zapasowymi i odzyskiwaniem

Złącza

• Tworzenie strumienia
• Tworzenie aplikacji Akka
• Przechowywanie danych za pomocą Cassandra
• Przeglądanie konektorów

Apache Kafka

• Praca z klastrami
• Tworzenie, publikowanie i wykorzystywanie wiadomości

Apache Mesos

• Przydzielanie zasobów
• Uruchamianie klastrów
• Praca z Apache Aurora i Docker
• Uruchamianie usług i zadań
• Wdrażanie Sparka, Cassandry i Kafki na platformie Mesos

Apache Spark

• Zarządzanie przepływami danych
• Praca z RDD i ramkami danych
• Przeprowadzanie analizy danych

Rozwiązywanie problemów

• Obsługa awarii usług i błędów

Podsumowanie i wnioski