Unified Batch and Stream Processing with Apache Beam

• Doświadczenie z Python Programming.
• Doświadczenie z wierszem poleceń Linux.

Publiczność

• Programiści

Apache Beam to otwarty, zunifikowany model programowania do definiowania i wykonywania równoległych potoków przetwarzania danych. Jego moc polega na możliwości uruchamiania zarówno potoków wsadowych, jak i strumieniowych, przy czym wykonanie jest przeprowadzane przez jeden z obsługiwanych przez Beam back-endów przetwarzania rozproszonego: Apache Apex, Apache Flink, Apache Spark i Google Cloud Dataflow. Rozwiązanie Apache Beam jest przydatne w zadaniach ETL (Extract, Transform, and Load), takich jak przenoszenie danych między różnymi nośnikami pamięci i źródłami danych, przekształcanie danych w bardziej pożądany format i ładowanie danych do nowego systemu.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak zaimplementować Apache Beam SDK w aplikacji Java lub Python, która definiuje potok przetwarzania danych w celu dekompozycji dużego zbioru danych na mniejsze fragmenty w celu niezależnego, równoległego przetwarzania.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Apache Beam.
• Używać pojedynczego modelu programowania do przeprowadzania zarówno przetwarzania wsadowego, jak i strumieniowego z poziomu aplikacji Java lub Python.
• Wykonywać potoki w wielu środowiskach.

Format kursu

• Wykład częściowy, dyskusja częściowa, ćwiczenia i ciężka praktyka praktyczna

Uwaga

• Ten kurs będzie dostępny Scala w przyszłości. Prosimy o kontakt w celu ustalenia szczegółów.

Wprowadzenie

• Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm i Flink

Instalacja i konfiguracja Apache Beam

Przegląd funkcji i architektury Apache Beam

• Model Beam, zestawy SDK, narzędzia Beam Pipeline Runners
• Zaplecze przetwarzania rozproszonego

Zrozumienie modelu Apache Beam Programming

• Jak wykonywany jest potok

Uruchamianie przykładowego potoku

• Przygotowanie potoku Word
• Wykonywanie potoku lokalnie

Projektowanie potoku

• Planowanie struktury, wybieranie przekształceń oraz określanie metod wejściowych i wyjściowych

Tworzenie potoku

• Pisanie programu sterownika i definiowanie potoku
• Korzystanie z klas Apache Beam
• Zestawy danych, transformacje, wejścia/wyjścia, kodowanie danych itp.

Wykonywanie potoku

• Wykonywanie potoku lokalnie, na maszynach zdalnych i w chmurze publicznej
• Wybór programu uruchamiającego
• Konfiguracje specyficzne dla runnera

Testowanie i debugowanie Apache Beam

• Korzystanie z podpowiedzi dotyczących typów w celu emulacji statycznego wpisywania
• Zarządzanie zależnościami potoku Python

Przetwarzanie ograniczonych i nieograniczonych zestawów danych

• Okna i wyzwalacze

Tworzenie potoków wielokrotnego użytku i łatwych w utrzymaniu

Tworzenie nowych źródeł i zlewów danych

• Interfejs API źródła i zlewu Apache Beam

Integracja Apache Beam z innymi Big Data systemami

• Apache Hadoop, Apache Spark, Apache Kafka

Rozwiązywanie problemów

Podsumowanie i wnioski