循环神经网络

jianfengMan · jianfengMan · commit 4133f98d899e · 2019-01-18T00:00:05.000+08:00
diff --git a/10-序列建模:循环和递归网络/10.1 展开计算图.md b/10-序列建模:循环和递归网络/10.1 展开计算图.md
@@ -0,0 +1,3 @@
+循环神经网络(recurrent neural network)或 RNN (Rumelhart et al., 1986c) 是一类用于处理序列数据的神经网络
+
+计算图是形式化一组计算结构的方式，如那些涉及将输入和参数映射到输出和 损失的计算
diff --git a/10-序列建模:循环和递归网络/10.2 循环神经网络.md b/10-序列建模:循环和递归网络/10.2 循环神经网络.md
@@ -0,0 +1,6 @@
+  循环神经网络中一些重要的设计模式包括以下几种:
+
+1. 每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络
+2. 每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间
+   有循环连接的循环网络
+3. 隐藏单元之间存在循环连接，但读取整个序列后产生单个输出的循环网络
diff --git a/10-序列建模:循环和递归网络/10.3 双向 RNN.md b/10-序列建模:循环和递归网络/10.3 双向 RNN.md
@@ -0,0 +1 @@
+然而，在许多应用中，我们要输出的 􏰃(t) 的预测可能依赖于整个输入序列。例 如，在语音识别中，由于协同发音，当前声音作为音素的正确解释可能取决于未来 几个音素，甚至潜在的可能取决于未来的几个词，因为词与附近的词之间的存在语 义依赖:如果当前的词有两种声学上合理的解释，我们可能要在更远的未来(和过 去)寻找信息区分它们,双向循环神经网络(或双向 RNN)为满足这种需要而被发明
diff --git a/10-序列建模:循环和递归网络/10.4 基于编码-解码的序列到序列架构.md b/10-序列建模:循环和递归网络/10.4 基于编码-解码的序列到序列架构.md
@@ -0,0 +1,3 @@
+![image-20190117235732212](../images/image-20190117235732212.png)
+
+由读取输入序列的编码器 RNN 以及生成 输出序列(或计算给定输出序列的概率)的解码器 RNN 组成。编码器 RNN 的最终隐藏状态用于 计算一般为固定大小的上下文变量 C，C 表示输入序列的语义概要并且作为解码器 RNN 的输入。
diff --git a/images/image-20190117235732212.png b/images/image-20190117235732212.png
diff --git a/readme.md b/readme.md
@@ -15,7 +15,7 @@
 | 7   |  235 |   20190113|
 | 8   |  280 |   20190114|
 | 9   |  318 |   20190115|
-| 10  | 	 |   |
+| 10  |  340 |   20190117|
 | 11  | 	 |   |
 | 12  |  	 |   |
 | 13  | 	 |   |

Original file line number	Diff line number	Diff line change
`@@ -0,0 +1,3 @@`
	`1`	`+循环神经网络(recurrent neural network)或 RNN (Rumelhart et al., 1986c) 是一类用于处理序列数据的神经网络`
	`2`	`+`
	`3`	`+计算图是形式化一组计算结构的方式，如那些涉及将输入和参数映射到输出和损失的计算`
Original file line number	Diff line number	Diff line change
`@@ -0,0 +1 @@`
	`1`	+然而，在许多应用中，我们要输出的 􏰃(t) 的预测可能依赖于整个输入序列。例如，在语音识别中，由于协同发音，当前声音作为音素的正确解释可能取决于未来几个音素，甚至潜在的可能取决于未来的几个词，因为词与附近的词之间的存在语义依赖:如果当前的词有两种声学上合理的解释，我们可能要在更远的未来(和过去)寻找信息区分它们,双向循环神经网络(或双向 RNN)为满足这种需要而被发明
Original file line number	Diff line number	Diff line change
`@@ -0,0 +1,3 @@`
	`1`	`+![image-20190117235732212](../images/image-20190117235732212.png)`
	`2`	`+`
	`3`	`+由读取输入序列的编码器 RNN 以及生成输出序列(或计算给定输出序列的概率)的解码器 RNN 组成。编码器 RNN 的最终隐藏状态用于计算一般为固定大小的上下文变量 C，C 表示输入序列的语义概要并且作为解码器 RNN 的输入。`