博文
learning multiple layers of representation 总结(2)
|||
关于产生式模型：由于模型被很强的约束，所以后验分布能被高效和准确的推理。
作者首先介绍了几个产生式模型：
因子分析（factor analysis）：有一个单隐层的高斯隐变量，它们对可视变量的关系是线性的，
独立高斯噪声被添加给每个可视变量。给定一个可视变量，不可能推出产生它的因
子的确切的状态，但是很容易推出因子的高斯后验分布的均值和协方差，这足以使
得模型的参数被增强。
独立成份分析（Indenpendent component analysis）:是因子分析的进一步泛化，允许非高斯的
隐变量，但是通过消除在可见变量上的观察噪声以及约束隐层变量和可见层变量的数
目相等而维护了推理的简单。这些约束也使得后验分布最终聚到一个点，因为对于每
一个可见变量，仅仅一套隐变量能确切的产生它。
混合模型（Mixture model）:每个数据矢量被假定仅仅由混合中的一个成份分布产生，并且它在
每个成份分布下很容易计算密度。
作者指出，如果因子分析被泛化来允许非高斯隐变量，它能建模低层视觉感知域的发展。然而，
如果不强加额外的约束（如在独立成份分析中的约束），它将不容易推理甚至很难表示给定隐变量
下的后验分布。这是由于一种称作为explain away的现象造成的。
https://m.sciencenet.cn/blog-401369-670663.html
上一篇：Hinton文章learning multiple layers of representation总结
下一篇：Learning multiple layers of representation 总结(3)
