结构化概率模型

Author: jianfengMan

16-深度学习中的结构化概率模型/16.1 非结构化建模的挑战.md

@@ -0,0 +1 @@
+结构化概率模型为随机变量之间的直接作用提供了一个正式的建模框架。这种 方式大大减少了模型的参数个数以致于模型只需要更少的数据来进行有效的估计。 这些更小的模型大大减小了在模型存储、模型推断以及从模型中采样时的计算开销。

16-深度学习中的结构化概率模型/16.2 使用图描述模型结构.md

@@ -0,0 +1,25 @@
+结构化概率模型使用图(在图论中 ‘‘结点’’ 是通过 ‘‘边’’ 来连接的)来表示随机 变量之间的相互作用。每一个结点代表一个随机变量。每一条边代表一个直接相互 作用。这些直接相互作用隐含着其他的间接相互作用，但是只有直接的相互作用会 被显式地建模。
+
+
+
+图模型可以被大致分为两类:基于有向无环图的模型和基 于无向图的模型。
+
+有向图模型(directed graphical model)是一种结构化概率模型，也被称为信 念网络(belief network)或者贝叶斯网络(Bayesian network)
+
+**有向图所有的边都是有方向的**
+
+有向图模型为我们提供了一种描述结构化概率模型的语言。而另一种常见的语 言则是无向模型(undirected Model)，也被称为**马尔可夫随机场(Markov random field, MRF)** 或者是**马尔可夫网络(Markov network)**
+
+无向模型中许多有趣的理论结果都依赖于 ∀􏰈, p ̃(􏰈) > 0 这个假设。使这个条件满足的一种简单方式是使用基于能量的模型(Energy-based model, EBM)，其中
+![image-20190212095908328](../images/image-20190212095908328.png)
+
+E(􏰈) 被称作是能量函数(energy function)。
+
+服从上面形式的任意分布都是玻尔兹曼分布(Boltzmann distribution) 的一个实例。正是基于这个原因，我们把许多基于能量的模型称为玻尔兹曼机(Boltzmann Machine)
+
+
+
+在无向模型中，识别图中的条件独立性是非常简单的。在这种情况下，图中隐 含的条件独立性称为分离(separation)
+
+![image-20190212125519778](../images/image-20190212125519778.png)
+

16-深度学习中的结构化概率模型/16.3 从图模型中采样.md

@@ -0,0 +1 @@
+有向图模型的一个优点是，可以通过一个简单高效的过程从模型所表示的联合 分布中产生样本，这个过程被称为原始采样(Ancestral Sampling)。

16-深度学习中的结构化概率模型/16.4 结构化建模的优势.md

@@ -0,0 +1 @@
+使用结构化概率模型的主要优点是它们能够显著降低表示概率分布、学习和推 断的成本。有向模型中采样还可以被加速，但是对于无向模型情况则较为复杂

16-深度学习中的结构化概率模型/16.5 学习依赖关系.md

@@ -0,0 +1 @@
+受限玻尔兹曼机(Restricted Boltzmann Machine, RBM) 或 者 簧风琴(harmonium)是图模型如何用于深度学习的典型例子

16-深度学习中的结构化概率模型/16.6 推断和近似推断.md

@@ -19,7 +19,7 @@
 | 12  |  414 |   20190124|
 | 13  |  437 |   20190125|
 | 14  |  475 |   20190211|
-| 15  | 	 |   |
+| 15  |  501 |   20190212|
 | 16  | 	 |   |
 | 17  | 	 |   |
 | 18  | 	 |   |