Introduction to Graph Computing

• Zrozumienie Java programowania i frameworków
• Ogólne zrozumienie Python jest pomocne, ale nie jest wymagane
• Ogólne zrozumienie koncepcji baz danych

Publiczność

• Programiści

Wiele rzeczywistych problemów można opisać za pomocą grafów. Na przykład graf sieci Web, graf sieci społecznościowej, graf sieci pociągów i graf języka. Wykresy te są zwykle bardzo duże; ich przetwarzanie wymaga specjalistycznego zestawu narzędzi i procesów - te narzędzia i procesy można określić jako Graph Computing (znane również jako Graph Analytics).

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się o ofertach technologicznych i podejściach do wdrażania przetwarzania danych wykresów. Celem jest identyfikacja obiektów świata rzeczywistego, ich cech i relacji, a następnie modelowanie tych relacji i przetwarzanie ich jako danych przy użyciu podejścia Graph Computing (znanego również jako Graph Analytics i Distributed Graph Processing). Zaczynamy od szerokiego przeglądu i zawężamy się do konkretnych narzędzi, przechodząc przez serię studiów przypadków, ćwiczeń praktycznych i wdrożeń na żywo.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Zrozumieć, w jaki sposób dane wykresu są utrwalane i przemierzane.
• Wybrać najlepszą platformę dla danego zadania (od grafowych baz danych po ramy przetwarzania wsadowego).
• Zaimplementować Hadoop, Spark, GraphX i Pregel do równoległego przetwarzania grafów na wielu maszynach.
• Postrzeganie rzeczywistych problemów związanych z dużymi zbiorami danych w kategoriach grafów, procesów i przejść.

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Wprowadzenie

• Grafowe bazy danych i biblioteki

Zrozumienie danych grafowych

• Graf jako struktura danych
• Używanie wierzchołków (kropek) i krawędzi (linii) do modelowania rzeczywistych scenariuszy

Używanie grafów Database do modelowania, przechowywania i przetwarzania danych grafowych

• Lokalne algorytmy/trawersje grafów
• neo4j, OrientDB i Titan

Ćwiczenie: Modelowanie danych graficznych za pomocą neo4j

• Modelowanie danych za pomocą tablicy

Beyond Graph Database: Graph Computing

• Zrozumienie wykresu właściwości
• Modelowanie grafowe różnych scenariuszy (graf oprogramowania, graf dyskusji, graf pojęć)

Rozwiązywanie rzeczywistych problemów za pomocą przejść

• Algorytmiczny/ukierunkowany spacer po grafie
• Określanie zależności kołowych

Studium przypadku: Ranking uczestników dyskusji

• Ranking według liczby i głębokości dyskusji
• Uwaga na temat sentymentu i analizy pojęć

Graph Computing: Lokalne zestawy narzędzi do tworzenia grafów w pamięci

• Analiza i wizualizacja grafów
• JUNG, NetworkX i iGraph

Ćwiczenie: Modelowanie danych graficznych za pomocą NetworkX

• Używanie NetworkX do modelowania złożonego systemu

Graph Computing: Przetwarzanie wsadowe ram grafowych

• Wykorzystanie Hadoop do przechowywania (HDFS) i przetwarzania (MapReduce)
• Przegląd algorytmów iteracyjnych
• Hama, Giraph i GraphLab

Graph Computing: Obliczenia graficzno-równoległe

• Ujednolicenie ETL, analizy eksploracyjnej i iteracyjnych obliczeń grafowych w ramach jednego systemu
• GraphX

Konfiguracja i instalacja

• Hadoop i Spark

Operatory GraphX

• Właściwość, struktura, łączenie, agregacja sąsiedztwa, buforowanie i usuwanie buforowania

Iterowanie za pomocą interfejsu API Pregel

• Przekazywanie argumentów do wysyłania, odbierania i obliczania

Tworzenie grafu

• Używanie wierzchołków i krawędzi w RDD lub na dysku

Projektowanie Scalable Algorytmy

• Optymalizacja GraphX

Dodatkowe algorytmy Access

• PageRank, połączone komponenty, liczenie trójkątów

Ćwiczenie: Page Rank i najlepsi użytkownicy

• Tworzenie i przetwarzanie danych grafu przy użyciu plików tekstowych jako danych wejściowych

Wdrażanie do produkcji

Uwagi końcowe