Artificial Neural Networks, Machine Learning, Deep Thinking

Good rozumienia matematyki.

Good zrozumienia podstawowych statystyk.

Podstawowe umiejętności programowania nie są wymagane, ale zalecane.

Sztuczna sieć neuronowa to obliczeniowy model danych wykorzystywany w rozwoju Artificial Intelligence (AI) systemów zdolnych do wykonywania "inteligentnych" zadań. Neural Networks są powszechnie używane w aplikacjach Machine Learning (ML), które same w sobie są jedną z implementacji sztucznej inteligencji. Deep Learning jest podzbiorem ML.

DZIEŃ 1 - SZTUCZNE SIECI NEURONOWE

Wprowadzenie i struktura ANN.

• [Neurony logiczne i sztuczne neurony.
• Model sieci neuronowej.
• Funkcje aktywacji stosowane w sieciach neuronowych.
• Typowe klasy architektur sieciowych.

[Podstawy i mechanizmy uczenia się.

• Ponowny przegląd algebry wektorów i macierzy.
• Koncepcje przestrzeni stanów.
• Koncepcje optymalizacji.
• Uczenie z korekcją błędów.
• Uczenie się oparte na pamięci.
• Uczenie hebbowskie.
• Uczenie konkurencyjne.

Perceptrony jednowarstwowe.

• Struktura i uczenie się perceptronów.
• Klasyfikator wzorców - wprowadzenie i klasyfikatory Bayesa.
• Perceptron jako klasyfikator wzorców.
• Zbieżność perceptronów.
• Ograniczenia perceptronów.

Sieci ANN typu feedforward.

• Struktury wielowarstwowych sieci typu feedforward.
• Algorytm wstecznej propagacji.
• Propagacja wsteczna - szkolenie i zbieżność.
• Aproksymacja funkcjonalna z wykorzystaniem propagacji wstecznej.
• Kwestie praktyczne i projektowe uczenia z propagacją wsteczną.

Sieci radialnych funkcji bazowych.

• Separowalność wzorców i interpolacja.
• Teoria regularyzacji.
• Regularyzacja i sieci RBF.
• Projektowanie i uczenie sieci RBF.
• Właściwości aproksymacyjne RBF.

Konkurencyjne uczenie się i samoorganizująca się sieć ANN.

• Ogólne procedury grupowania.
• Kwantyzacja wektorów uczących (LVQ).
• Algorytmy i architektury uczenia konkurencyjnego.
• Samoorganizujące się mapy cech.
• Właściwości map cech.

Fuzzy Neural Networks.

• Systemy neuro-rozmyte.
• Podstawy zbiorów rozmytych i logiki rozmytej.
• Projektowanie łodyg rozmytych.
• Projektowanie rozmytych sieci neuronowych.

Zastosowania

• Omówionych zostanie kilka przykładów zastosowań sieci neuronowych, ich zalety i problemy.

DZIEŃ -2 UCZENIE MASZYNOWE

• Struktura uczenia PAC
  • Gwarancje dla skończonego zbioru hipotez - przypadek spójny
  • Gwarancje dla skończonego zbioru hipotez - przypadek niespójny
  • Uogólnienia
    • Scenariusze deterministyczne cv. Scenariusze stochastyczne
    • Szum błędu Bayesa
    • Błędy estymacji i przybliżenia
    • Wybór modelu
• Złożoność i VC Radmeachera - Wymiar
• Kompromis między odchyleniem a wariancją
• Regulacja
• Nadmierne dopasowanie
• Walidacja
• Maszyny wektorów nośnych
• Kriging (regresja procesu gaussowskiego)
• PCA i Kernel PCA
• Samoorganizujące się mapy (SOM)
• Przestrzeń wektorowa indukowana jądrem
  • Jądra Mercera i indukowane jądrem metryki podobieństwa
• Reinforcement Learning

DZIEŃ 3 - UCZENIE GŁĘBOKIE

Będzie to nauczane w odniesieniu do tematów omówionych w Dniu 1 i Dniu 2

• Regresja logistyczna i Softmax
• Autokodery rzadkie
• Wektoryzacja, PCA i wybielanie
• Samodzielne uczenie się
• Sieci głębokie
• Dekodery liniowe
• Konwolucja i łączenie
• Kodowanie rzadkie
• Analiza niezależnych komponentów
• Analiza korelacji kanonicznej
• Demonstracje i zastosowania