博文
SRBM-Modeling image patches with a directed hierarchy of MRF
||||
2007_Modeling image patches with a directed hierarchy of Markov random fileds
这篇文章主要介绍了Semi-RBM，也就是半受限玻尔兹曼机，在RBM中加入可视层单元之间的连接，并且使用mean-field approximation。
1. Introduction
2.Learning deep belief nets: An overview
2.1 Restricted Boltzmann Machines
2.2 Compositions of experts
第一个隐层最终指向可视层形成图模型，那是因为我们保留了p(v|h)，但是丢弃了第一层RBM产生的p(h)。
3. Semi-restricted Boltzmann Machines
SRBM就是加入可视层单元之间的连接，这样能量函数为：
更新规则为：
4. Inference in a directed hierarchy of MRF's
5. Whitening without waiting
如果可视层单元的连接保证了重建的分布中的pairwise correlation，那么CD算法将会忽略这些相关性，因为CD算法是学习两个分布之间的区别。
一副图，表示了是否有lateral connection学习到的特征：
A图是普通RBM学习到的特征，B图是SRBM学习到的特征，输入层每个单元都与其他783个单元连接，只有局部有连接的connection可以产生大的weight。局部连接的像素产生一种中间亮四周暗的特征。
6. Modeling patches of natural images
6.1 Adapting Restricted Boltzmann machines to real-valued data
使用mean-field approximation，SRBM的学习方法以及运用到实数数据上与普通RBM一样。
两个DBN模型，一个有lateral connection，一个没有，Van Hateren数据集，150000*20*20 patches，零均值归一化，ZCA。
模型结构：400-2000-500-1000，参数具体见论文。
https://m.sciencenet.cn/blog-1583812-814170.html
上一篇：Efficient Learning of Sparse Representations with EB model
下一篇：2010_Tutorial_Feature Learning for Image Classification笔记
扫一扫，分享此博文