曹俊
盲法分析的秘密
2018-9-9 22:30
阅读:18607

 

数十年前,包括理查德•费曼在内的一些物理学家注意到了一件令人担忧的事情:对基本物理常数的最新估值常常更接近已经公布的值。这些物理学家意识到,其他研究人员更可能“认可”而非反驳预期的结果,不符合研究人员预期的结果经常会受到系统性的排除或修改。【Ref.1】

 “证实性偏见”这个心理因素常给试验带来人为偏差。如果以前的测量结果是A,那么你也期望得到A。如果测到的结果确实是A,那很好。如果相差较远,你可能会怀疑自己在某个环节中出错了。然后,你会试图寻找可能导致错误的原因,直到发现它。或者你会一遍又一遍进行试验,直到获得“合理的”结果后停止试验。【Ref.2】

最近的引力常数测量的偏差其实不是一个典型的例子。光速的测量更明显。从下图中可以看出,虽然测得越来越精确,但结果随年代先是集体偏高,然后是集体偏低,并不符合“围绕中心值”随机涨落的统计特性。

image.png

为了消除这种“证实性偏见”,科学家提出应该进行“盲法分析”(Blind Analysis)。2015年,伯克利的诺奖得主珀尔马特与斯坦福的一位心理学教授在《自然》上撰文“盲法分析:隐藏结果,寻找真实”。

实际上粒子物理中普遍采用盲法分析要早得多。2003年笔者在美国做中微子实验MiniBooNE,这注定是一个有争议的实验,因此从一开始就采取了盲法分析。具体的措施是:在几年内获取的数据中,凡是有可能是信号的,随机抽10%公开,其余90%封闭;不是信号的本底都可以公开。当用本底和10%的信号建立分析工具,反复验证,确信方法成熟后,再打开全部数据。一旦打开全部数据,无论结果如何,都不准再修改方法。

后来盲法分析成了粒子物理界的一种时尚,好象不用都不好意思跟人说。但也有例外。大亚湾中微子实验取数前夕,我们评估后认为不应该采用盲法分析,一位美国合作者坚决要用,我则极力反对。一方面,由于我们要测的量,以前并没有结果,因此不存在“证实性偏见”的问题;另一方面,实验面临激烈的国际竞争,我们封闭数据,应该封闭多久呢?对手随时都可能宣布结果,我们等一年,还是三年?几个回合争论下来,取了折衷:实验数据都不封闭,但封闭三个参数,包括探测器离反应堆的精确距离、反应堆的运行数据、探测器的精确质量。这三个参数我们大致知道,但不知道精确数据。这样,不影响分析方法的建立,而且假如所测的量很大,在封闭参数的情况下也能估出来,但精确的数值是盲法分析的。

“这是我的一个秘密,再简单不过的秘密:一个人只有用心才能看到真实;事情的真相只用眼睛是看不到的。”


【Ref.1】文字摘自《科学之家》“盲法分析——偏见的克星?”

【Ref.2】部分文字参考了《原理》公号关于引力常数文章,“一个我们熟知的基本常数,其实具有很大的不确定性

【Ref.3】https://www.nature.com/news/blind-analysis-hide-results-to-seek-the-truth-1.18510



转载本文请联系原作者获取授权,同时请注明本文来自曹俊科学网博客。

链接地址:https://m.sciencenet.cn/blog-296183-1133842.html?mobile=1

收藏

分享到:

当前推荐数:13
推荐到博客首页
网友评论4 条评论
确定删除指定的回复吗?
确定删除本博文吗?