Introduction Deep Learning & Neural Networks for Engineers

Level ingénieur

類型：理論培訓，應用事先由學生決定，在烤寬麵條或Keras上，取決於教學組

教學方法：演講、交流和案例研究

人工智慧在顛覆了許多科學領域之後，已經開始徹底改變許多經濟部門（工業、醫學、通信等）。然而，它在主流媒體上的呈現往往是一種幻想，與Machine Learning或Deep Learning領域的真實情況相去甚遠。本培訓的目的是為已經掌握計算機工具（包括基本軟體程式設計）的工程師介紹 Deep Learning 及其不同的專業領域，從而介紹當今存在的主要網路架構。如果在課程中回憶起數學的基礎知識，建議學習 BAC+2 類型的數學水準，以獲得更舒適的體驗。跳過數學軸，只保持“系統”的視野是絕對可能的，但這種方法會極大地限制你對主題的理解。

該課程分為三天，第三天是可選的。

第 1 天 - Machine Learning 和 Deep Learning：理論概念

1. 引言 IA， Machine Learning & Deep Learning

- 人工智慧的歷史、基本概念和通常應用與該領域的幻想相去甚遠

- 集體智慧：聚合許多虛擬代理共用的知識

- 遺傳演算法：通過選擇進化虛擬代理群體

- Machine Learning 通常：定義。

- 任務類型：監督學習、無監督學習、強化學習

- 操作類型：分類、回歸、聚類、密度估計、降維

- 演算法示例 Machine Learning：線性回歸、樸素貝葉斯、隨機樹

- 機器學習 VS Deep Learning：Machine Learning 仍然是當今最先進的問題（Random Forests 和 XGBoosts）

2. 神經網路的基本概念（應用：多層感知器）

- 提醒數學基礎知識。

- 神經網路的定義：經典架構、先前啟動的啟動和加權函數、網路深度

- 神經網路訓練的定義：成本函數、反向傳播、隨機梯度下降、最大似然。

- 神經網路建模：根據問題類型（回歸、分類等）對輸入和輸出數據進行建模。維度的詛咒。多特徵數據和信號的區別。根據數據選擇成本函數。

- 通過神經網路逼近函數：演示和示例

- 通過神經網路近似分佈：演示和示例

- 數據增強：如何平衡數據集

- 神經網路結果的泛化。

- 神經網路的初始化和正則化：L1/L2 正則化、批量歸一化等。

- 優化和收斂演算法。

3. 常用的 ML/DL 工具

計劃進行簡單的演示，包括優點、缺點、在生態系統中的位置和用途。

- 數據管理工具：Apache Spark、Apache Hadoop

- 常用工具 Machine Learning：Numpy、Scipy、Sci-kit

- 高級 DL 框架：PyTorch、Keras、Lasagna

- 低級深度學習框架：Theano、Torch、Caffe、Tensorflow

第 2 天 - 捲積和循環網路

4. 卷積 Neural Networks （CNN）。

- CNN的介紹：基本原理和應用

- CNN的基本功能：卷積層，內核的使用，填充和步幅，特徵圖的生成，池化層。1D、2D 和 3D 擴展。

- 介紹不同的 CNN 架構，這些架構帶來了圖像分類的最新技術：LeNet、VGG Networks、Network in Network、Inception、Resnet。介紹每種架構帶來的創新及其更全面的應用（1x1 卷積或殘差連接）

- 使用注意力模型。

- 適用於常見分類機制（文字或影像）

- 用於生成的CNN：超解析度、像素到像素分割。概述增加圖像生成特徵圖的主要策略。

5.復發性Neural Networks（RNN）。

- RNN的介紹：基本原理和應用。

- RNN的工作原理：隱藏啟動，隨時間反向傳播，展開版本。

- 向GRU（門控迴圈單元）和LSTM（長短期記憶）的演變。介紹這些架構帶來的不同狀態和演變

- 收斂問題和梯度消失

- 經典架構的類型：時間序列的預測、分類等。

- RNN 編碼器解碼器架構。使用注意力模型。

- NLP應用：單詞/字元編碼，翻譯。

- 視頻應用：預測視頻序列的下一個生成幀。

第 3 天 - 代際模型和 Reinforcement Learning

6. 代際模型：變分自動編碼器（VAE）和生成對抗網路（GAN）。

- 介紹代際模型，與第 2 天看到的 CNN 相關聯

- 自動編碼器：降維和有限生成

- 變分自動編碼器：數據分佈的世代模型和近似值。潛在空間的定義和使用。重新參數化技巧。應用和觀察到的局限性

- 產生對抗網路：基礎知識。雙格架構（生成器和判別器），具有交替學習，提供成本函數。

- GAN的收斂和遇到的困難。

- 改進的收斂性：Wasserstein GAN、BeGAN。地球移動距離。

- 圖像或照片生成、文本生成、超級
解析度。

7.深Reinforcement Learning。

- 強化學習概述：在狀態定義的環境中控制智慧體和可能的操作

- 使用神經網路來近似狀態函數

- 深度 Q 學習：體驗重播，並應用於視頻遊戲的控制。

- 優化學習策略。On-policy & off-policy（策略上與策略外）。演員評論家建築。答3C。

- 應用：控制簡單的視頻遊戲或數字系統。