关于多层产生式模型：

作者指出：仅仅有一个隐层的产生式模型对于建模到达脑皮层的高维、具有丰富结构的

感知数据是太简单的一个模型了，对于多层网络，对每个数据矢量如果我们能发现某种

方法能推出基于隐变量的后验概率，则学习一个多层产生是模型就相对直接了；如果我

们能从后验分布中获得无偏样本，则学习也相对直接了。在这种情况下，我们简单的调

整参数以便来增加在每一层中的隐变量的样本状态的概率，将产生下一个隐层或可见变

量的样本状态。

      在logistic信念网络的例子中，对每个训练样例的学习规则是某种形式的deta规则，

所推理的状态hi，它是后突触单元i的状态，作为目标值；给定在上一层的所有的前突触单

元j的推理状态hj，激活i的概率$\hat{h}$ 作为预测：$\Delta wij\propto hj(hi-\hat{hi}))$

$\Delta wji$ 是连接j和i之间的权值的变化。

     如果i是可见单元，hi就被训练样例中的i的实际状态来代替。如果训练矢量以相等的概率从

训练集中选择，并且隐状态从给定训练矢量的后验分布中采样，上式的学习规则对产生式模型如果

运行N次将产生确定的N个训练矢量的概率有正期望效果。

 

 

 

转载本文请联系原作者获取授权，同时请注明本文来自李蓉科学网博客。
链接地址：https://m.sciencenet.cn/blog-401369-670686.html

上一篇：learning multiple layers of representation 总结(2)
下一篇：learning multiple layers of representation 总结(4)