陈颖频的科学网博客分享 http://blog.sciencenet.cn/u/s110500617

博文

大话极大似然估计

已有 3505 次阅读 2016-2-20 13:21 |系统分类:科研笔记|关键词:学者

     极大似然估计是参数估计中非常重要的方法,著名的EM算法其实也是分阶段的极大似然,那么什么是极大似然呢?我举个例子说明,我们以佛教的因果(虽然本人不信佛,作为有7年党龄的老党员,这点觉悟是有的)为例,辅以贝叶斯定理来说明极大似然函数到底在干嘛。
     为什么叫极大似然,根据贝叶斯条件概率定律,P(因|果)=P(果|因)*P(因)/P(果),这个公式大家在大一读概率论就学过了,其中P(果)叫做先验,P(因|果)叫做后验,而P(果|因)就是大名鼎鼎的似然函数了,我们假设一个人做了坏事,那么这是因,把这个人收到报应的事件称为果,按照佛教的理论,这个人要遭天打雷劈,意思就是
P(果|因)恒等于1,我们用通俗语言解读一遍P(果|因)=1,如果这个人做了坏事,这个人一定天打雷劈,就这个意思,当然这么高的概率,小伙伴们都惊呆了,事实上我们只是想找一个因,使得产生这个果的概率尽可能大,那么为什么P(果|因)叫做似然函数呢?我们这样比喻,比如把果”定义为遭天打雷劈,那么这个人做坏事坏到什么程度,这个程度就是因的参数量化,要做到多坏的事情,这个人遭天打雷劈的概率才大呢?哦,这个参数起码应该是杀人放火,如果“因”只是踩死一只蚂蚁,那么这个人遭天打雷劈的概率当然就小很多,如果大家同意这一点,那么似然就很好理解了,所谓“似”,就是“相似”,“然”就是“这样”的意思,这里的“”特指“果”的事件,最大似然就是要找个参数“因”来使得这个果出现的可能性最大,所以就极大可能地逼近这个“果”了。换句话说,极大似然就是要找某个参数化的因,使得这个“果”出现的概率最大。
     好,现在回归概率统计,如果现在我们有个高斯模型P(u,sigma),要用于描述一组高考成绩,这组高考数据D就是“果”,因为它们已经成为现实,而参数对
(u,sigma)则是“因”,要用这样一对参数来描述这些数据(果),如何最大可能去迎合这些数据(就是极大化似然概率),这时候我们的目标就是要使得P(果|因)的概率最大,OK,带入模型,就是让P(D| u;sigma)的概率极大,以某些参数对作为因,来描述果(你采集到的数据),其可能性最大,就这个意思。



https://m.sciencenet.cn/blog-684084-957446.html

上一篇:关于粒子滤波的几则比喻
下一篇:粒子滤波详细推导

5 谢平 张学文 张慧铭 徐绍辉 yangb919

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-30 09:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部