博文
Hinton文章learning multiple layers of representation总结
||||
前两天看的文章，总结如下：
在文章的开始，提出的思想是：不同于以往学习一个分类器的目标，而是希望学习一个生成模型（generative model）。
作者指出，在一个神经网络中，如果它既包含自底向上的“识别”连接，也包含自顶向下的“生成”连接，就可以使用自底向上的过程来识别数据，而使用自顶向下的过程来产生数据。如果神经元是随机的，重复自顶向下的过程，将产生一个数据矢量的完整的分布。这表明，通过调整自顶向下的连接权值，来使得网络产生训练数据的概率达到最大，则训练数据将被驻留（reside in）在自顶向下的权值中。
可以用RBM(受限波尔兹曼机)的隐层来建模二值图像像素间的高阶相互关系。为了从训练图像集中学习一套好的特征检测子，像素i和特征检测子j间的初始权值被置为0，使用两对相互关系之间的差异迭代地更新权值，即像素i和特征检测子j之间同时出现的频率，一是受训练图像驱动时的，二是受重构后的图像驱动时的，相似的学习规则也可用于偏差（bias）。一旦RBM的隐层确定，我们就产生了一个对训练图像的重构。通过组合RBM来学习多层特征。
https://m.sciencenet.cn/blog-401369-666587.html
下一篇：learning multiple layers of representation 总结(2)
