Natural Language Processing (NLP) with TensorFlow

Robocza znajomość języka Python

TensorFlow™ to biblioteka oprogramowania typu open source do obliczeń numerycznych z wykorzystaniem wykresów przepływu danych.

SyntaxNet to neuronowa platforma przetwarzania języka naturalnego dla TensorFlow.

Word2Vec jest używany do uczenia się wektorowych reprezentacji słów, zwanych "word embeddings". Word2vec jest szczególnie wydajnym obliczeniowo modelem predykcyjnym do uczenia się osadzania słów z surowego tekstu. Występuje on w dwóch wersjach: Continuous Bag-of-Words model (CBOW) i Skip-Gram model (rozdział 3.1 i 3.2 w Mikolov et al.).

Używane w tandemie, SyntaxNet i Word2Vec pozwalają użytkownikom generować wyuczone modele osadzania z danych wejściowych języka naturalnego.

Publiczność

Ten kurs jest skierowany do programistów i inżynierów, którzy zamierzają pracować z modelami SyntaxNet i Word2Vec w swoich wykresach TensorFlow.

Po ukończeniu tego kursu uczestnicy będą

• rozumieć TensorFlow’strukturę i mechanizmy wdrażania
• być w stanie przeprowadzić zadania i konfigurację instalacji / środowiska produkcyjnego / architektury
• być w stanie ocenić jakość kodu, przeprowadzić debugowanie, monitorowanie
• być w stanie wdrożyć zaawansowaną produkcję, taką jak modele szkoleniowe, osadzanie terminów, tworzenie wykresów i rejestrowanie

Pierwsze kroki

• Konfiguracja i instalacja

Podstawy TensorFlow

• Tworzenie, inicjowanie, zapisywanie i przywracanie TensorFlow zmiennych
• Podawanie, odczytywanie i wstępne ładowanie TensorFlow danych
• Jak korzystać z infrastruktury TensorFlow do trenowania modeli na dużą skalę
• Wizualizacja i ocena modeli za pomocą TensorBoard

Mechanika 101 TensorFlow

• Przygotowanie danych
  • Pobieranie
  • Dane wejściowe i symbole zastępcze
• Tworzenie wykresu
  • Wnioskowanie
  • Strata
  • Trening
• Trenowanie modelu
  • Wykres
  • Sesja
  • Pętla treningowa
• Ocena modelu
  • Tworzenie wykresu oceny
  • Dane wyjściowe analizy

Zaawansowane użycie

• Wątkowanie i kolejki
• Rozproszone TensorFlow
• Pisanie Documentation i udostępnianie modelu
• Dostosowywanie czytników danych
• Używanie GPU
• Manipulowanie plikami modelu TensorFlow

Serwowanie TensorFlow

• Wprowadzenie
• Podstawowy samouczek obsługi
• Samouczek obsługi zaawansowanej
• Samouczek obsługi modelu początkowego

Pierwsze kroki z SyntaxNet

• Parsowanie ze standardowego wejścia
• Dodawanie adnotacji do korpusu
• Konfigurowanie skryptów Python

Tworzenie potoku NLP za pomocą SyntaxNet

• Uzyskiwanie danych
• Tagowanie części mowy
• Szkolenie tagera POS SyntaxNet
• Przetwarzanie wstępne za pomocą taggera
• Analizowanie zależności: Parsowanie oparte na przejściach
• Trening parsera Krok 1: Lokalny trening wstępny
• Trening parsera Krok 2: Trening globalny

Reprezentacje wektorowe Word s

• Motywacja: Po co uczyć się osadzania słów?
• Skalowanie w górę z treningiem kontrastującym z hałasem
• Model pomijania gramów
• Tworzenie wykresu
• Trenowanie modelu
• Wizualizacja wyuczonych zagnieżdżeń
• Ocena osadzeń: Analogiczne rozumowanie
• Optymalizacja implementacji