AI入门笔记-卷积神经网络

发表于 2019-01-02 更新于 2020-11-25

第一周卷积神经网络

1.1 计算机视觉

简单介绍

1.2 边缘检测示例

使用对称矩阵实现图形的边缘检测
$$
\begin{bmatrix}
1&0&-1\
1&0&-1\
1&0&-1
\end{bmatrix}$$
边缘时，矩阵乘积大，否则会小

1.3 更多边缘检测内容

特异性边缘检测，如对中心部分加权

$$
\begin{bmatrix}
3&0&-3\
5&0&-5\
3&0&-3
\end{bmatrix}$$
边缘时，矩阵乘积大，否则会小

1.4 Padding

之前版本对于图像边缘处理欠佳
使用0填充图像边缘，改善处理条件

1.5 卷积步长

使用fxf(torch的kernel=f)的过滤器卷积nxn的图像，填充（padding）p，步幅（stridde）s=2.
得到输出为（向下取整）
$$ [\frac{n+2p-f}{s}+1]*[\frac{n+2p-f}{s}+1]$$

1.6 卷积为何有效

1.7 单层卷积网络

1.8 简单卷积网络示例

讲了卷积参数计算

使用logistic得到有没有，softmax得到有哪一种

图》Conv》Conv。。。。

1.9 池化层

超参数：f池化窗口大小，s步幅，padding（用得少）
f=2,s=2 :高宽缩减一半

静态属性，无学习参数

MaxPool（用得多）、AveragePool

1.10 卷积神经网络示例

图》Conv 1 > Pool 1》Conv 2 > Pool 2>（展开）》FC 3》FC 4》Softmax（输出）
层数+》channel+，高、宽-，激活数量-
Pool层无参数
Conv层参数少
FC层参数多

1.11 为什么使用卷积？

1.x 课后作业

第二周深度卷积网络：实例探究

2.1 为什么要进行实例探究？

Column A	Column B	Column C
A1	B1	C1
A2	B2	C2
A3	B3	C3
大纲
传统网络：

LeNet-5
AlexNet
VGG

残差网络(ResNet)

2.2 经典网络

LeNet-5

包含60K参数

AlexNet
Raw> Conv,MaxPool> Conv,same> Conv,same> Conv>Conv,MaxPool> Conv> FC>FC>FC>Softmax

60M参数
使用了ReLU
多GPU
局部响应归一化
VGG-16
138M参数

2.3 残差网络

很深的神经网络因梯度消失和梯度爆炸问题导致难以训练。

由残差块组成
a^{[l]——线性单元——>ReLU—a^{[l—1]——线性单元——>ReLU
$$z^{[l+1]}=W^{[l+1]}a^{[l]}+b^{[l+1]}$$
$$a^{[l+1]}=g(z^{[l+1]})$$
$$z^{[l+2]}=W^{[l+2]}a^{[l+1]}+b^{[l+2]}$$}}

$$a^{[l+2]}=g(z^{[l+2]}+a^{[l]})$$

2.4 残差网络为什么有用？

2.5 网络中的网络以及 1×1 卷积

EG:
2825192>ReLU（1x1）可以得到282832，实现改变通道数量（例子中是32个11192）

2.6 谷歌 Inception 网络简介

对单个输入使用多个卷积（1x1，3x3same，…… ，MaxPool），堆叠其结果.
达到神经网络自动选择合适卷积的目的。
使用Channe Concat堆叠多个卷积的输出

2.7 Inception 网络

2.8 使用开源的实现方案

2.9 迁移学习

使用开源方案的网络/模型，冻结参数后训练自己的神经元部分，得到合适的结果。

2.10 数据扩充

Crop-10：
原版中心+原版4角+镜像图中心+镜像图4角，共得到10图

2.11 计算机视觉现状

使用开源实现：

使用文献中的架构
尽可能使用开源实现
在自己数据集中使用预训练模型和调教好的参数
第三周目标检测
3.1 目标定位

3.2 特征点检测

3.3 目标检测

3.4 卷积的滑动窗口实现

3.5 Bounding Box 预测

3.6 交并比

3.7 非极大值抑制

3.8 Anchor Boxes

3.9 YOLO 算法

3.10 （选修）RPN 网络

第四周特殊应用：人脸识别和神经风格转换

4.1 什么是人脸识别？

4.2 One-Shot 学习

4.3 Siamese 网络

4.4 Triplet 损失

4.5 面部验证与二分类

4.6 什么是神经风格转换？

4.7 深度卷积网络在学什么？

4.8 代价函数

4.9 内容代价函数

4.10 风格损失函数

4.11 一维到三维推广

$$
Z=
\begin{bmatrix}
\vdots&\vdots&\dots&\vdots\
\vdots&\vdots&\dots&\vdots\
Z^{i}&Z^{i}&\dots&Z^{i}
\end{bmatrix}$$

第一周 卷积神经网络