mimizhu2003的个人博客分享 http://blog.sciencenet.cn/u/mimizhu2003

博文

按标题搜索
统计推理的参数推理体系和非参数推理
2015-3-3 10:30
开始看统计学习理论这本书,开篇介绍了统计推理的参数和非参数方法。 参数方法:将从给定数据估计函数的估计问题,表达为特定模型的参数估计 问题;该方法基于如下理念:我们事先知道产生数据随机性质的物理规律和 欲求的函数仅与有限个参数有关.认为用观测数据估计参数是推理问题的本质。 为了用与统计规律和目标函 ...
5200 次阅读|没有评论
关于自编码器autoencoder
2013-7-3 22:54
autoencoder的思想非常巧妙,它其实就是一个神经网络,只不过当我们让 神经网络的输出层矢量等于输入层矢量时,网络就成了自编码器,而且对它 的训练算法也是无监督的了(因为输出我们都知道)。假设一个三层的自编 码器,如果隐层神经元的数量少于输入层,训练好的网络在隐层其实是学习 到了输入数据的压缩表示,当然 ...
11035 次阅读|没有评论
一点儿感想
2013-6-5 23:32
前年在美国访学,感受最深的就是科研环境,他们的 老师似乎没有太多的事情干扰,基本上只要自己想, 都能全部精力做科研;而且确实有好些人完全是出于 对科研的热爱和兴趣在做;而回到国内完全就是投入 到另一片水深火热之中,没有让人真正安心做事情的 环境,还有各种科研大跃进的指标的搅扰,急功近利 舍本逐末。 ...
6732 次阅读|没有评论
生成模型Generative models和判别模型discriminative models
2013-4-14 22:02
生成模型: 推理类条件密度 和先验概率 然后使用Bayes定理来确定后验概率 判别模型:直接推理后验概率
7305 次阅读|没有评论
learning multiple layers of representation总结(5)
2013-3-20 22:54
具有快速准确推理的非线性模型: 介绍受限波尔兹曼机(RBM),并指出它是寻找用于深度、有向产生式模型的 高效学习算法的关键。 像素具有二值的图像能用RBM的隐层来建模像素间的更高阶的相互关系。为了 从训练图像集合中学习一个好 ...
个人分类: 文章读后感|6049 次阅读|没有评论
learning multiple layers of representation 总结(4)
2013-3-20 21:33
关于用于多层产生式模型的近似推理: 作者指出:除了考虑产生每个训练样例的log概率,还应考虑推理过程的准 确度;如果其他都一样,我们希望近似推理方法尽可能精确;我们会选择一个 模型也许它产生数据的概率不是最高,但是却能有对隐表示的更加准确的推理。 因此很有意义 ...
个人分类: 文章读后感|5508 次阅读|没有评论
Learning multiple layers of representation 总结(3)
2013-3-15 23:18
关于多层产生式模型: 作者指出:仅仅有一个隐层的产生式模型对于建模到达脑皮层的高维、具有丰富结构的 感知数据是太简单的一个模型了,对于多层网络,对每个数据矢量如果我们能发现某种 方法能推出基于隐变量的后验概率,则学习一个多层产生是模型就相对直接了;如果我 们能从后验分布中获得无偏样本,则学 ...
5692 次阅读|没有评论
learning multiple layers of representation 总结(2)
2013-3-15 21:51
关于产生式模型:由于模型被很强的约束,所以后验分布能被高效和准确的推理。 作者首先介绍了几个产生式模型: 因子分析(factor analysis):有一个单隐层的高斯隐变量,它们对可视变量的关系是线性的, 独立高斯噪声被添加给每个可视变量。 ...
6964 次阅读|没有评论
Hinton文章learning multiple layers of representation总结
2013-3-2 22:33
前两天看的文章,总结如下: 在文章的开始,提出的思想是:不同于以往学习一个分类器的目标,而是希望学习一个生成模型(generative model)。 作者指出,在一个神经网络中,如果它既包含自底向上的“识别”连接,也包含自顶向下的“生成”连接,就可以使用自底向上的过程来识别数据,而 ...
个人分类: 文章读后感|5998 次阅读|没有评论

本页有 1 篇博文因作者的隐私设置或未通过审核而隐藏

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 02:40

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部