卷积神经网络

Author: jianfengMan

09-卷积神经网络/9.1 卷积运算.md

@@ -0,0 +1,4 @@
+在卷积网络的术语中，卷积的第一个参数(在这个例子中，函数 x)通常叫做 输 入(input)，第二个参数(函数 w)叫做核函数(kernel function)。输出有时被称 作特征映射(feature map)
+
+![image-20190115133414902](../images/image-20190115133414902.png)
+

09-卷积神经网络/9.10 卷积网络的神经科学基础.md

@@ -0,0 +1,15 @@
+**感受野**：
+
+在学习计算感受野之前，先可视化一下感受野吧。举一个例子，原始图像为 ![5\times5](https://www.zhihu.com/equation?tex=5%5Ctimes5) ，卷积核（Kernel Size）为 ![3\times3](https://www.zhihu.com/equation?tex=3%5Ctimes3) ，padding 为 ![1\times1](https://www.zhihu.com/equation?tex=1%5Ctimes1) ，stride为 ![2\times2](https://www.zhihu.com/equation?tex=2%5Ctimes2) ，依照此卷积规则，连续做两次卷积。熟悉卷积过程的朋友都知道第一次卷积结果是 ![3\times3](https://www.zhihu.com/equation?tex=3%5Ctimes3) 大小的feature map，第二次卷积结果是 ![2\times2](https://www.zhihu.com/equation?tex=2%5Ctimes2) 大小的feature map。整个过程如图所示：
+
+![image-20190115170637242](../images/image-20190115170637242.png)
+
+![image-20190115170654020](../images/image-20190115170654020.png)
+
+![image-20190115170710478](../images/image-20190115170710478.png)
+
+1.卷积后的矩阵越变越小（如果卷积层100层，每一层都缩小最终得到的将是很小的图片）
+
+2.输入矩阵（左）边缘像素（绿阴影）只被计算过一次，而中间像素（红阴影）被卷积计算多次，意味着丢失图像角落信息。
+
+**为了解决这两个问题，就对输入图像进行padding，即填充像素**

09-卷积神经网络/9.11 卷积网络与深度学习的历史.md

@@ -0,0 +1,21 @@
+**卷积运算**：
+
+*  稀疏交互(sparse interactions)
+* 参数共享(parameter sharing)
+* 等变表示(equivariant representa- tions)
+
+卷积网络具有 稀疏交 互(sparse interactions)(也叫做稀疏连接(sparse connectivity)或者稀疏权重
+(sparse weights))的特征。这是使核的大小远小于输入的大小来达到的
+
+![image-20190115134127141](../images/image-20190115134127141.png)
+
+稀疏连接，对每幅图从下往上看。我们强调了一个输入单元 x3 以及在 􏰶 中受该单元影响 的输出单元。(上) 当 􏰶 是由核宽度为 3 的卷积产生时，只有三个输出受到 􏰀 的影响2。(下) 当 􏰶 是由矩阵乘法产生时，连接不再是稀疏的， 所有的输出都会受到 x3 的影响。
+
+参数共享(parameter sharing)是指在一个模型的多个函数中使用相同的参数。 在传统的神经网络中，当计算一层的输出时，权重矩阵的每一个元素只使用一次，当 它乘以输入的一个元素后就再也不会用到了、在卷积神经网络中，核的每一个元素都作用在输入的每一位置上(是 否考虑边界像素取决于对边界决策的设计)。卷积运算中的参数共享保证了我们只需 要学习一个参数集合，而不是对于每一位置都需要学习一个单独的参数集合
+
+![image-20190115134549683](../images/image-20190115134549683.png)
+
+参数共享。黑色箭头表示在两个不同的模型中使用了特殊参数的连接。(上) 黑色箭头表示 在卷积模型中对 3 元素核的中间元素的使用。因为参数共享，这个单独的参数被用于所有的输入 位置。(下) 这个单独的黑色箭头表示在全连接模型中对权重矩阵的中间元素的使用。这个模型没 有使用参数共享，所以参数只使用了一次。
+
+
+

09-卷积神经网络/9.2 动机.md

@@ -0,0 +1,15 @@
+池化函数使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。 例如，最大池化(max pooling)函数给出相邻矩形区 域内的最大值。其他常用的池化函数包括相邻矩形区域内的平均值、L2 范数以及基 于据中心像素距离的加权平均函数。
+
+
+
+不管采用什么样的池化函数，当输入作出少量平移时，池化能够帮助输入的表 示近似 不变(invariant)。对于平移的不变性是指当我们对输入进行少量平移时，经 过池化函数后的大多数输出并不会发生改变、局部平移不变性是一个很有用的性质，尤其是当我们关心某个特征是否出现 而不关心它出现的具体位置时。例如，当判定一张图像中是否包含人脸时，我们并 不需要知道眼睛的精确像素位置，我们只需要知道有一只眼睛在脸的左边，有一只 在右边就行了。但在一些其他领域，保存特征的具体位置却很重要。例如当我们想 要寻找一个由两条边相交而成的拐角时，我们就需要很好地保存边的位置来判定它 们是否相交。
+
+
+
+因为池化综合了全部邻居的反馈，这使得池化单元少于探测单元成为可能
+
+池化对于处理不同大小的输入具有重要作用、例如我们想对不 同大小的图像进行分类时，分类层的输入必须是固定的大小，而这通常通过调整池 化区域的偏置大小来实现，这样分类层总是能接收到相同数量的统计特征而不管最 初的输入大小了
+
+![image-20190115153708146](../images/image-20190115153708146.png)
+
+​	带有降采样的池化。这里我们使用最大池化，池的宽度为三并且池之间的步幅为二。这使 得表示的大小减少了一半，减轻了下一层的计算和统计负担。注意到最右边的池化区域尺寸较小， 但如果我们不想忽略一些探测单元的话就必须包含这个区域。

09-卷积神经网络/9.3 池化.md

@@ -0,0 +1 @@
+卷积和池化可能导致欠拟合,与任何其他先验类似，卷 积和池化只有当先验的假设合理且正确时才有用。如果一项任务依赖于保存精确 的空间信息，那么在所有的特征上使用池化将会增大训练误差

09-卷积神经网络/9.4 卷积与池化作为一种无限强的先验.md

@@ -0,0 +1,3 @@
+![image-20190115162207782](../images/image-20190115162207782.png)
+
+带有步幅的卷积。在这个例子中，我们的步幅为二。(上) 在单个操作中实现的步幅为二的 卷积。(下) 步幅大于一个像素的卷积在数学上等价于单位步幅的卷积随后降采样。显然，涉及降采 样的两步法在计算上是浪费的，因为它计算了许多将被丢弃的值

09-卷积神经网络/9.5 基本卷积函数的变体.md

@@ -0,0 +1,2 @@
+![image-20190115164019051](../images/image-20190115164019051.png)
+

09-卷积神经网络/9.6 结构化输出.md

@@ -0,0 +1 @@
+卷积等效于使用傅立叶变换将输入与核都转换到频域、执行两个信号的逐点相 乘，再使用傅立叶逆变换转换回时域。对于某些问题的规模，这种算法可能比离散 卷积的朴素实现更快。

09-卷积神经网络/9.7 数据类型.md

@@ -0,0 +1 @@
+一个中间方法是学习特征，但是使用那种不需要在每个梯度计算步骤中都进行 完整的前向和反向传播的方法。与多层感知机一样，我们使用贪心逐层预训练，单 独训练第一层，然后一次性地从第一层提取所有特征，之后用那些特征单独训练 第二层，以此类推。

09-卷积神经网络/9.8 高效的卷积算法.md

@@ -14,7 +14,7 @@
 | 6   |  210 |	 20190112|
 | 7   |  235 |   20190113|
 | 8   |  280 |   20190114|
-| 9   | 	 |   |
+| 9   |  318 |   20190115|
 | 10  | 	 |   |
 | 11  | 	 |   |
 | 12  |  	 |   |