Building Data Pipelines with Apache Kafka

Preferowana jest podstawowa znajomość Java 8 lub Scala. Jeśli chcesz uruchamiać przykłady lokalnie, zainstaluj Docker i Docker Compose.

Apache Kafka to rozproszona platforma streamingowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używana jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.

Zaczniemy od ogólnej teorii dotyczącej potoków danych, a następnie przejdziemy do podstawowych koncepcji Kafki. Odkryjemy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.

• Podstawy kanałów danych: pobieranie, przechowywanie, przetwarzanie
• Podstawy Kafka: tematy, podziały, brokerzy, replikacja, etc.
• API dla producentów i konsumentów
• Kafka Streams jako warstwa przetwarzania
• Kafka Connect do integracji z zewnętrznymi systemami
• Najlepsze praktyki i dostrajanie Kafka