Introduction Deep Learning & Réseaux de neurones pour l’ingénieur

Level ingénieur

类型：理论培训，应用事先由学生决定，在烤宽面条或Keras上，取决于教学组

教学方法：演讲、交流和案例研究

人工智能在颠覆了许多科学领域之后，已经开始彻底改变许多经济部门（工业、医学、通信等）。然而，它在主流媒体上的呈现往往是一种幻想，与Machine Learning或Deep Learning领域的真实情况相去甚远。本培训的目的是为已经掌握计算机工具（包括基本软件编程）的工程师介绍 Deep Learning 及其不同的专业领域，从而介绍当今存在的主要网络架构。如果在课程中回忆起数学的基础知识，建议学习 BAC+2 类型的数学水平，以获得更舒适的体验。跳过数学轴，只保持“系统”的视野是绝对可能的，但这种方法会极大地限制你对主题的理解。

该课程分为三天，第三天是可选的。

第 1 天 - Machine Learning 和 Deep Learning：理论概念

1. 引言 IA， Machine Learning & Deep Learning

- 人工智能的历史、基本概念和通常应用与该领域的幻想相去甚远

- 集体智慧：聚合许多虚拟代理共享的知识

- 遗传算法：通过选择进化虚拟代理群体

- Machine Learning 通常：定义。

- 任务类型：监督学习、无监督学习、强化学习

- 操作类型：分类、回归、聚类、密度估计、降维

- 算法示例 Machine Learning：线性回归、朴素贝叶斯、随机树

- 机器学习 VS Deep Learning：Machine Learning 仍然是当今最先进的问题（Random Forests 和 XGBoosts）

2. 神经网络的基本概念（应用：多层感知器）

- 提醒数学基础知识。

- 神经网络的定义：经典架构、先前激活的激活和加权函数、网络深度

- 神经网络训练的定义：成本函数、反向传播、随机梯度下降、最大似然。

- 神经网络建模：根据问题类型（回归、分类等）对输入和输出数据进行建模。维度的诅咒。多特征数据和信号的区别。根据数据选择成本函数。

- 通过神经网络逼近函数：演示和示例

- 通过神经网络近似分布：演示和示例

- 数据增强：如何平衡数据集

- 神经网络结果的泛化。

- 神经网络的初始化和正则化：L1/L2 正则化、批量归一化等。

- 优化和收敛算法。

3. 常用的 ML/DL 工具

计划进行简单的演示，包括优点、缺点、在生态系统中的位置和用途。

- 数据管理工具：Apache Spark、Apache Hadoop

- 常用工具 Machine Learning：Numpy、Scipy、Sci-kit

- 高级 DL 框架：PyTorch、Keras、Lasagna

- 低级深度学习框架：Theano、Torch、Caffe、Tensorflow

第 2 天 - 卷积和循环网络

4. 卷积 Neural Networks （CNN）。

- CNN的介绍：基本原理和应用

- CNN的基本功能：卷积层，内核的使用，填充和步幅，特征图的生成，池化层。1D、2D 和 3D 扩展。

- 介绍不同的 CNN 架构，这些架构带来了图像分类的最新技术：LeNet、VGG Networks、Network in Network、Inception、Resnet。介绍每种架构带来的创新及其更全面的应用（1x1 卷积或残差连接）

- 使用注意力模型。

- 适用于常见分类方案（文本或图像）

- 用于生成的 CNN：超分辨率、像素到像素分割。概述增加图像生成特征图的主要策略。

5.复发性Neural Networks（RNN）。

- RNN的介绍：基本原理和应用。

- RNN的工作原理：隐藏激活，随时间反向传播，展开版本。

- 向GRU（门控循环单元）和LSTM（长短期记忆）的演变。介绍这些架构带来的不同状态和演变

- 收敛问题和梯度消失

- 经典架构的类型：时间序列的预测、分类等。

- RNN 编码器解码器架构。使用注意力模型。

- NLP应用：单词/字符编码，翻译。

- 视频应用：预测视频序列的下一个生成帧。

第 3 天 - 代际模型和 Reinforcement Learning

6. 代际模型：变分自动编码器（VAE）和生成对抗网络（GAN）。

- 介绍代际模型，与第 2 天看到的 CNN 相关联

- 自动编码器：降维和有限生成

- 变分自动编码器：数据分布的世代模型和近似值。潜在空间的定义和使用。重新参数化技巧。应用和观察到的局限性

- 生成对抗网络：基础知识。双格架构（生成器和判别器），具有交替学习，提供成本函数。

- GAN的收敛和遇到的困难。

- 改进的收敛性：Wasserstein GAN、BeGAN。地球移动距离。

- 图像或照片生成、文本生成、超级
分辨率。

7.深Reinforcement Learning。

- 强化学习概述：在状态定义的环境中控制智能体和可能的操作

- 使用神经网络来近似状态函数

- 深度 Q 学习：体验回放，并应用于视频游戏的控制。

- 优化学习策略。On-policy & off-policy（策略上与策略外）。演员评论家建筑。答3C。

- 应用：控制简单的视频游戏或数字系统。