A Practical Introduction to Stream Processing

• Programming doświadczenie w dowolnym języku
• Zrozumienie koncepcji Big Data (Hadoop itp.)

Stream Processing odnosi się do przetwarzania w czasie rzeczywistym "danych w ruchu", czyli wykonywania obliczeń na danych w trakcie ich odbierania. Takie dane są odczytywane jako ciągłe strumienie ze źródeł danych, takich jak zdarzenia z czujników, aktywność użytkowników witryn internetowych, transakcje finansowe, przeciągnięcia kart kredytowych, strumienie kliknięć itp. Struktury przetwarzania strumieniowego są w stanie odczytywać duże ilości przychodzących danych i niemal natychmiast dostarczać cennych informacji.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumienie i wybranie najbardziej odpowiedniego frameworka dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracjanajbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

Publiczność

• Programiści
• Architekci oprogramowania

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwagi

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Wstęp

• Przetwarzanie strumieniowe a przetwarzanie wsadowe
• Przetwarzanie strumieni zorientowane na analizę

Przegląd Ram i Programming Languages

• Spark Streaming (Scala)
• Przesyłanie strumieniowe Kafki (Java)
• Mrugnij
• Burza
• Porównanie cech i mocnych stron każdego frameworka

Przegląd źródeł danych

• Dane na żywo jako seria zdarzeń w czasie
• Źródła danych historycznych

Opcje wdrażania

• W chmurze (AWS itp.)
• Lokalnie (chmura prywatna itp.)

Pierwsze kroki

• Konfigurowanie środowiska programistycznego
• Instalacja i konfiguracja
• Ocena Twoich Data Analysis potrzeb

Obsługa platformy przesyłania strumieniowego

• Integracja struktury przesyłania strumieniowego z narzędziami Big Data.
• Zdarzenie Stream Processing (ESP) a złożone przetwarzanie zdarzeń (CEP)
• Transformacja danych wejściowych
• Sprawdzanie danych wyjściowych
• Integracja Stream Processing Framework z istniejącymi aplikacjami i Microservices

Rozwiązywanie problemów

Podsumowanie i wnioski