科学网 › 标签 › 概率主成分分析

标签: 概率主成分分析

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

概率主成分分析: 热度 1 lijiankou 2013-10-31 23:20; 前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的导出以及和主成分分析的关系。在概率主成分分析里面，假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。根据高斯分布的性质,x的边缘分布p(x)也服从高斯分布, 因为有了概率,我们可以从全新的角度去理解主成分分析了, 在该模型中,我们有两个参数W和σ,参数可以用极大似然估计求出。对数似然函数如下, 其中上面用到了迹的循环不变性的性质。我们忽略具体求解过程,分析一下它的解的形式, 其中表示数据协方差矩阵最大的M个特征值所对应的特征向量, 是一个对角矩阵，对角线上的元素对应相应的特征值 , R是一个任意一个正交矩阵,现在可以看作是。对比标准主成分分析的映射关系, 可以看到二者只相差 ,标准主成分分析是概率主成分分析σ 为0时的特殊情况。并且我们看到新的伸缩矩阵在每个方向上都比原矩阵减小了一个因子 ,概率主成分分析因为噪音的存在,使得伸缩程度变小了。在主成分分析中我们用M个主向量去近似的我们的数据,即把其余非主成分向量的数据看作噪音丢掉。上面的式子正好表达了这个观点, 即方差等于其它非主成分空间的方差的平均值,也就是把噪音平均分配到每个方向上。它可以直观给出观测数据在主成分空间上方差的组成成分,一方面来自噪音 ,另一方面来自隐变量空间。假设u是我们主成分空间的一个特征向量,那么该方向的方差可以表示为最后一步正好表达了，主成分向量方差由隐空间的和噪音两部分组成。 1. pattern recognition and machine learning Christopher M.Bishop; 个人分类: 机器学习|12852 次阅读|1 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 概率主成分分析

相关帖子

相关日志

关闭安全验证