heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

似然函数、概率密度函数、及贝叶斯定理

已有 2591 次阅读 2023-1-7 13:06 |个人分类:统计推断与概率|系统分类:科研笔记

似然函数likelihood function)是对于给定数据(随机变量X一个样本)关于统计模型(未知)参数(变量)的函数概率密度函数则对于给定统计模型参数(常数)关于随机变量X密度函数。 Fisher 1】指出,“……概率和似然是性质完全不同的量。” Edwards 2】指出,“…… 这个 [似然] 函数在任何意义上都不会产生统计分布。根据 Edwards 2】,似然函数提供了所考虑的参数值可能性之间的自然偏好顺序。因此,似然函数的模对应于给定数据的最优选参数值。因此, 最大似然法是一种基于似然函数的推断,仅利用似然函数的模对未知参数进行点估计;没有利用整个似然函数曲线 3】。相比之下,基于概率的推断,无论是频率学派还是贝叶斯学派,使用概率密度函数的整个曲线进行推断 3】。

连续随机变量的贝叶斯定理将代表未知参数当前信息(测量数据)的似然函数与未知参数的先验概率密度函数结合起来组成未知参数的后验概率密度函数。其表达式为:

后验概率密度函数 似然函数 × 先验概率密度函数        (1)

如果没有先验信息,根据Jaynes 的最大熵原理,可以假定先验分布为均匀分布,则式(1)退化为:

后验概率密度函数 归一化的似然函数                                (2)

因为概率和似然是性质完全不同的量1】和 “…… 这个 [似然] 函数在任何意义上都不会产生统计分布【2式(2)是错误的。事实上,式(1)违反了自洽运算原则 (the principle of self-consistent operation)3】。笔者认为,似然函数不应与概率密度函数混合用于统计推断。似然函数是其对应的概率密度函数的扭曲镜像;它在贝叶斯定理中的使用可能是导致传统贝叶斯方法出现偏差或不正确推断的根本原因【3】。

参考文献

1】  Edwards A W F 1992  Likelihood (expanded edition) Johns Hopkins University Press Baltimore

2】  Fisher R A 1921  On the ‘Probable Error’ of a coefficient of correlation deduced from a small sample  Metron I part 4, 3-32

3】  Huang H 2022 A new modified Bayesian method for measurement uncertainty analysis and the unification of frequentist and Bayesian inference.  Journal of Probability and Statistical Science, 20(1), 52-79. https://journals.uregina.ca/jpss/article/view/515

4】  Box G E P and Tiao G C 1992 Bayesian Inference in Statistical Analysis Wiley New York



https://m.sciencenet.cn/blog-3427112-1370953.html

上一篇:用于测量不确定度分析的新的修正贝叶斯方法及频率推断与贝叶斯推断的统一
下一篇:“华山论剑”— 关于双样本t-检验的网上辩论

6 杨正瓴 孙颉 尤明庆 宁利中 谢钢 李毅伟

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-28 16:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部