科学网

 找回密码
  注册

tag 标签: 假设检验

相关帖子

版块 作者 回复/查看 最后发表

没有相关内容

相关日志

说道说道 "假设检验"
dayon 2020-4-12 13:47
笔记以《概率论和数理统计》第四版 浙江大学为参考 提前需要知道的知识点: 分位点 分位点有两侧的 下面开始正题,介绍假设检验
个人分类: 科研笔记|1 次阅读|1 个评论
FitHiC V1算法解析(二)
luria 2020-3-14 14:55
FitHiC V1 主要用于识别中程顺式互作 本文接着上一篇博文《 FitHiC V1 算法解析 ( 一 ) 》继续探讨 FitHiC V1 的算法过程。该博文中介绍了 FitHiC 的整体思路,但是这种基于假设检验来检测显著互作的方法,早在 2010 年就已经提出来了 ,该文章与 FitHiC 引文的通迅作者都是大神 William Stafford Noble 。那么 FitHiC 在之前算法的基础上又有哪些新的改进呢? 在 FitHiC 中,对上篇博文提到过的 binned bionormial method ,进行了两点改进: 1. 初始样条拟合 (Initial spline fit) 将 discrete binning 过程换成了 equal-occupancy binning ,再进行样条拟合,这样可以在某个特定的基因组距离 (spline-1) 上,更加精确地对连接概率 (contact probability) 进行评估。 1.1 样条拟合 早期工程师制图时,把富有弹性的细长木条(所谓样条)用压铁固定在样点上,在其他地方让它自由弯曲,然后沿木条画下曲线, 成为 样条曲线。后来用于数学领域,如下图中的的样条函数。图中有 6 个点 P ,通过样条函数的拟合,得到一条弧线,即图中蓝色弧线接黄色弧线再接蓝色弧线。 我们还是以上篇博文中讨论过的 discrete binning 图来说,如下图 如果两个 locus pair 中有很多 contact 距离大约为 9kb( 或者说平均距离为 9kb) ,而另一组 locus pair 中有很多 contact 距离在 10.5kb 附近,那么按照 discrete binning 方法,这两组一个分到 5kb-10kb ,另一个应该会到 10-15kb ,分开来研究。然而事实上,这两组的差异并不大。这就会产生 边限效应 (edge effect) ,而采用样条拟合可以极大的降低这种影响。 另外, FitHiC 中改进的方法相比之前 Duan 提出的 discrete binning 方法,在处理基因组上较长距离的 locus pairs 时效果更好。因为较长距离的 locus pairs 上 contact counts 比较少,如果采用 discrete binning 方法则会产生很多空的 bin( 或 contact counts 非常少的 bin) 。 两者比较,图形化展示如下: 图中 binning 表示 discrete binning 方法产生的结果, spline-1 表示 FitHiC 改进的 binning 方法第一次拟合后的结果 1.2 具体操作 对于顺式互作,求连接概率 (contact probability) p 时是随机地抽取所有 locus pair 中的 1 个,即 p=1/M ,再将 p 代入二项分布概率密度公式,如下公式 (1) 。在 FitHiC 中则改用了一个以 locus pair 距离 d 为自变量的函数,记为 f (1) (d) 。这个函数具体是怎样的,目前我们还不知道的,只知道它是一个样条函数,我们需要利用观测到的实际数据来拟合出来。 1.2.1 equal-occupancy binning 通过 1.1 节样条函数的介绍,不难发现,在实际问题中我们需要获得尽量平滑的样条函数。为了达到这一目的, FitHiC 做了如下 binning 操作,这个过程称为 equal-occupancy binning : (1) 迭代所有感兴趣的距离范围内 ( 即中等程度范围内 ) 的所有可能的 locus pairs ,包括那些没有 contact 的 locus pair (2) 按照基因组上的距离以递增的方式对 locus pairs 进行排序 (3) 将这些排序后的结果分为 b 等分 ( 默认 b=200) 。 注意:这里有一个小 bug ,即可能相同距离的 locus pairs 会分到不同的 bin 中!这个 bug 在 FitHiC V2 中得以修复。 这三步具体如下图: (4) 通过上面 equal-occupancy binning 的划分方法,划分出 b 个等分,可以发现第 i 个等分中可能有多个 locus pair ,每个 locus pair 又有很多 contact (PE reads) 。对等分 i 计算以下 3 个值: A. 第 i 个等分中,每个 locus pair 的 contact counts 平均值。因为分完 i 个等分后,可以认为每个等分中不同 locus pair 的 contact counts 是相同的。 B. 从所有 mid-range contact 中随机挑选一个 contact ,这个 contact 来自 bin i 中某个特定的 locus pair 的先验概率。这里很关键,但是不太好理解,特别是文章中说的这个先验概率,容易把人绕晕。 打个比方,我们有 3 个盒子, A 盒子装有 5 个小球, B 盒子装有 3 个小球, C 盒子装有 2 个小球。我们随机抽到了一个小球,请问这个小球来自 A 盒子的概率。显然为 5/(5+3+2) 。在这个比方中将小球换成 contact ,将盒子换为 bin i 中的 locus pair ,将三个盒数中所有的小球总数换为所有 mid-range contact counts (即 N 值),再来计算抽到的这个 contact 来自 bin i 中某个 locus pair 的概率,这样就比较好理解了。 C. 第 i 个等分中所有 locus pairs 的平均互作距离。 可以通过如下示意图理解这三个值: 1.2.2 spline fitting procedure 这样就获取到了 b 个点的坐标: 将这些坐标来进行拟合,获取到样条函数 f (1) (d) 。拟合完后,只要知道 locus pair 的距离 d ,代入 f (1) (d) 就可以算得一个值,这个值即公式 (1) 中的 p 2. 改进零模型 (Refining the null model) FitHiC 采用了 二相样条拟合过程 (two-phase spline fitting procedure) ,在第一相中,我们采用了所有的观测值来拟合初始样条函数 f (1) (d) 。随后将所有 P-value 值小于 1/M 的 locus pairs 上的 contact count 屏辟掉 ( 设为 0) ,以去除干扰。其中 M 值表示 locus pairs 的总数。这种采用 P-value 过滤的方法是比较保守的,即使最初的零模型正确,这个过程也平均只会错误地排除约 1 个非离散值。清理完干扰值后,如前文所述再做一次 equal-occupancy binning 和 spline fitting procedure ,这样获取到新的样条函数 f (2) (d) 可以准确地评估出改进的零模型分布 (null distribution) 。再计算所有 locus pair 的 P-values 和 Q-values ,包括之前清理掉的离散值。 参考材料: Zhijun Duan, Mirela Andronescu, Kevin Schutz, Sean McIlwain, Yoo Jung Kim, Choli Lee, Jay Shendure, Stanley Fields, C. Anthony Blau, William S. Noble. A three-dimensional model of the yeast genome. 2010 Ferhat Ay, Timothy L. Bailey, William Stafford Noble. Statistical confidence estimation for Hi-C data reveals regulatory chromatin contacts. 2014
个人分类: Hi-C|3687 次阅读|0 个评论
兼容Shannon, Popper, Fisher, Zadeh思想的语义信息论
热度 3 lcguang 2017-8-11 14:09
不久的一个报告,希望把我的语义信息方法讲得更清楚。 PPT见 http://survivor99.com/lcg/semantic.ppt 简单说来就是用反映语义的真值函数产生似然度, 把似然度带进Shannon信息公式, 这样Shannon信息测度就变为语义信息测度, 能够反映Popper和Fisher的假设验思想。 反过来, 用这样的信息测度可以优化真值函数或Zadeh的隶属函数。 这种方法的合理性和实用性可以通过求解经典信息论和统计理论的难题——最大互信息和最大似然度难题——的高效率得到验证。
个人分类: 信息的数学和哲学|4228 次阅读|8 个评论
绕过香农的瑞典国际信息科学和信息哲学大会
热度 1 lcguang 2017-6-19 19:50
瑞典最近召开了国际信息科学和信息哲学会议。我本想参加, 但是由于种种原因没有参加。 我仔细看了网站,并加入了参会者群。谢谢陈志成,邹晓辉等人的分享。我有点感想,特发此贴。 会议网址: http://sciforum.net/conference/IS4SI-2017 三个分会场, 两个是中国专家主持: 钟义信教主持: http://sciforum.net/conference/IS4SI-2017/is4si-IFEIS (关于信息研究的生态) 邬焜教授主持: http://sciforum.net/conference/IS4SI-2017/is4si-ICPI%202017 (关于信息的哲学) Marcin J. Schroeder and Pedro C. Marijuán 主持: http://sciforum.net/conference/IS4SI-2017/is4si-FIS%202017 (关于信息科学基础) 其中有些我很感兴趣, 比如邬焜和 Pedro C. Marijuan 的对话: A Dialogue about the Nature and Unification ofInformation Science and Information Philosophy , by Kun Wu , Pedro C. Marijuan , Zhensong Wang * 邹晓坤等人关于双语信息定位的文章: Fundamental Law of Information: Proved by Both Numbersand Characters in Conjugate Matrices , Bacong Li 和 Nan Wang 关于欺骗通信的文章: http://sciforum.net/conference/IS4SI-2017/paper/3998 刘海涛和汪培庄教授关于知识生态树的文章: haitao liu 1 and Peizhuang wang , Knowledge ecological trees in factor space † http://sciforum.net/conference/IS4SI-2017/paper/4079 钟义信的 A Theory ofsemantic Information : http://sciforum.net/conference/IS4SI-2017/paper/4000 和信息生态(广义通信)的文章: The Proper methodology for Information Studies : http://sciforum.net/conference/IS4SI-2017/paper/4004 欧阳康关于社会信息研究的文章: On the Emergence of Social Information Sciencein Chinaand Our Research Outline by Kang Ouyang * Zhensong Wang *, Yuyu Jiao 的关于中国信息研究的文章: Discussion on the Necessity of Integrating InformationPhilosophy and Unified Information Science from the Perspective of ThomasKuhn’s Paradigm Theory 看过三个分会的摘要和部分文章, 我感觉, 哲学问题讨论多,科技问题讨论少。 有些文章分类很奇怪,比如明明是哲学讨论, 却分到信息科学基础了(可能讨论信息哲学的文章太多了)。 比如这几篇: Information as a Morpho-Ontological Process by Jordi Vallverdu * show abstract On the Informational Essence of Emergence and Evolution:An Analysis of the New Dualistic Approach by Ping Wang , Jian Wang * Information: Subjective or Objective? by Ron Cottam *, Willy Ranson , Roger Vounckx 也有少数技术性很强的,可能受到篇幅限制,没有技术细节。 比如 Mobile Video Communications based on CloudTranscoding, http://sciforum.net/conference/IS4SI-2017/paper/4075 by Song Rong 等人. Towards Information Ecosystem for Urban Planning—TheApplication of Video Data by Longmei Han , Linbo Qing *, Yonghong Peng , Xiaohai He Augmented reality and percepion of analogue and digitalimages and maps by Piotr Werner * 围绕邬焜的信息哲学观点的文章不少, 说明大家重视,也可能和上次会议有关。有代表性的一篇: Philosophy of Information Leading to the FundamentalTransformation of Philosophy by Kun Wu , Ping Wang * 大多数是肯定的, 也有质疑的: Does Kun’s Philosophy of Information define what isInformation? by Emanuel Diamant * 一个老外的讨论比较详细: PHILOSOPHY OF INFORMATION :: REVOLUTION IN PHILOSOPHY by Joseph E. Brenner * 探讨语义信息的文章有几篇, 都和香农没啥关系, 比如: Meaning generation for animals, humans and artificialagents. An evolutionary perspective on the philosophy of information by Christophe Menant * Homo loquens meets homo informaticus: exploring therelationship between language and information by John Douglas Holgate * 强调技术的人,有人建议用负熵度量信息: What we can discover from Dimensional Analysis of theinformation concept by John Donald Collier * 也有人建议离开 Shannon , 重视算法信息理论 Philosophy of Information: the urgent need to move awayfrom entropy towards algorithmic information by Hector Zenil * 总之, 很少有人谈到和继承香农理论! 我本人一直研究语义信息理论, 参看: http://survivor99.com/lcg/books/GIT/ 自以为继承了香农, 也继承了 Popper , 还继承了 Fisher —— Popper 和 Fisher 都强调假设检验。我崇拜和想继承的三个人中, 后两个没人谈及, 前一个也被绕过去了。 我感觉有点悲哀! 不过,香农理论也确实不能满足很多领域, 比如:自然语言通信;图像语音通信,预测, 检验,估计等涉及假设检验的领域。 但是, 我们真的可以绕过香农信息论研究信息吗?我不以为然!香农的信源, 信道,信道容量, 限误差信息率(信息论失真)等概念都是非常深刻优美的。没有香农信息地方,也不会有语义信息(可以证明, 香农信息是语义信息的上限)。 香农理论的缺陷主要是没有考虑信号的真假和事实检验, 这是可以改进的! 钟义信教授对此很清楚,他的一篇文章就是: Pushig Forward The Cooperation between InformationScience and Information Philosophy by Yixin Zhong * 他提出的语义信息公式至少表面上和香农信息公式有点像: A Theory of semantic Information : http://sciforum.net/conference/IS4SI-2017/paper/4000 (唯一有 Log 的文章)。很可惜, 钟教授好像一直单枪匹马。 我不赞成他的公式(利用 Deluca-Termini 的模糊熵定义信息), 但是赞成他倡导的方向 ——语义信息方向, 以及信息论和人工智能相结合的方向。 其实我在这个方向上已经走得很远了。 用我的语义信息公式, 度量 GPS 信息, 天气预报等信息,检验和估计的信息,都很简单;我已经用语义信息公式解决经典信息论和统计理论难题了(最大互信息和最大似然度难题: http://blog.sciencenet.cn/home.php?mod=spaceuid=2056do=blogid=1060321 )。钟教授可能从来没看过我的文章(我的文章也在《通信学报》等国内外期刊上发表过),也可能习惯于啥都要自己干。 我以为,不仅香农理论是信息研究绕不开的, Popper 理论也是信息研究绕不开的。据考察, 信息量和命题的概率成反比,这是 Popper 首先提出的, Bar-hillel和Carnap提出的语义信息公式只是学习了香农,把Popper的想法写出来而已。 Popper 提出三个世界理论——其中知识构成的第三世界就是间接存在,和邬焜的理论异曲同工。人工智能离不开假设检验,而假设检验是 Popper 哲学的核心。 我相信,信息研究面对香农理论,绕过去,迟早还会绕回来。不过我们需要新的桥梁,连接香农理论和 Popper 理论, 以及Fisher理论的桥梁,使得 香农信息和 Popper的语义 信息相互兼容。 也许我说的不对, 欢迎批评!
个人分类: 信息的数学和哲学|4051 次阅读|5 个评论
MATLAB中的假设检验函数
fzmath 2016-11-28 19:46
本节主要 讨论正态分布假设下总体参数的假设检验。 1 、 ztest( ) 函数 ztest( ) 函数 对已知方差的单个总体均值进行 Z 检验 , 调用格式为 = ztest(x,mu0,sigma,alpha,tail) 进行显著性水平为 alpha 的 Z 假设检验 , 用来检验标准差为 sigma 时的正态分布样本的均值与 mu0 的关系,可通过指定 tail 的值来选择备择假设的类型: tail = 0 或 'both' ,检验假设“ x 的均值等于 mu0 ”为默认设置,双侧检验; tail = 1 或 'right' ,检验假设“ x 的均值大于 mu0 ”,右侧检验; tail =-1 或 'left' ,检验假设“ x 的均值小于 mu0 ”,左侧检验; tail 的缺省值为 0 , alpha 的缺省值为 0.05. 返回值 h 为一个布尔值, h=1 表示可以拒绝假设, h=0 表示不可以拒绝假设, sig 为假设成立的概率, ci 为均值的 1-alpha 置信区间 , zval 是 z 统计量的值 . 对例 14.6 中的数据 ,输入 x = ; mu0 = 950; sigma = 10; alpha = 0.05; tail = -1; = ztest(x,mu0,sigma,alpha,tail) 得到 h = 1 % 拒绝原假设 sig = 2.0558e-11 ci = -Inf 933.4828 % 单侧置信区间 zval = -6.6000 % Z 值 2 、 ttest( ) 函数 ttest( ) 函数 对未知方差的单个总体均值进行 Z 检验 , 调用格式为 = ttest(x,mu0,alpha,tail) 其中 stats:'tstat' 为检验统计量的值, 'df' 为检验的自由度, 'sd' 为总体标准差的估计(对于配对样本的检验,此为 x-y 的标准差);其他参数意义同 ztest( ) 。 3 、 ttest2( ) 函数 ttest2( ) 函数 对未知方差的两个正态总体均值进行 t 检验 , 调用格式为 = ttest2(x,y ,alpha ) 其中 ci 为均值的 1-alpha 置信区间,其他参数意义同上。 对 例 14.10 中数据,输入 x = ; y = ; alpha= 0.005; = ttest2(x,y,1 - alpha,-1) 得到 h = 1 p = 2.1759e-04 ci = -Inf -1.0558 stats = tstat: -4.2957 df: 18 sd: 1.6657 4 、 var test( ) 函数 var test ( ) 函数 在均值未知时单个正态总体方差进行 检验 , 调用格式为 = ttest2(x , var 0 , alpha ) 其中 ci 为方差的 1-alpha 置信区间,其他参数意义同上。 在 例 14.6 中 ,如果想知道 是否等于 100 ,输入 x = ; var0=100; alpha=0.05; =vartest(x,var0,alpha) 得到 h = 1 % 拒绝了原假设 H0 p = 0.0248 varci = 111.2090 894.6059 stats = chisqstat: 19.5000 df: 8 4 、 var test2( ) 函数 var test 2( ) 函数是 在两个正态总体均值未知时方差的比较 检验 , 调用格式为 = vartest 2(x,y ,alpha ) 其中 ci 为方差比的 1-alpha 置信区间,其他参数意义同上。 在 14.11 中,输入 x = ; y = ; alpha=0.05; tail='both'; =vartest2(x,y,alpha,tail) 得到 h = 0 p = 0.0794 varci = 0.8505 12.5427 stats = fstat: 3.5716 df1: 12 df2: 8 即接受零假设。
个人分类: 教学辅导|17570 次阅读|0 个评论
《高等工程数学》第三版 “第十四章 假设检验”幻灯片
fzmath 2016-11-28 19:44
《高等工程数学》第三版 “第十四章 假设检验” 的幻灯片, 教材 购买链接: 当当网 http://product.dangdang.com/24038072.html 京东 https://item.jd.com/12032516.html 亚马逊 https://www.amazon.cn/全国工程硕士专业学位教育指导委员会推荐教材-高等工程数学/dp/B01LVZWG9D/ref=sr_1_2?ie=UTF8qid=1475583453sr=8-2keywords=姚仰新 用Latex中beamer模板编译,按下组合键Ctrl+L可全屏播放。 下载: gdgcsx-chap14-beamer2016.pdf
个人分类: 教学辅导|2785 次阅读|0 个评论
从缘分说到生活中的统计
热度 3 estudy 2015-7-19 22:42
一个朋友敬酒,想说一句“大家聚在一起是一种缘分”,因为同桌的人多是老外,他让我给翻译一下。我一想,“缘分”这个词还真不好译成英文,“缘”就是原因,但是译成reason显然不妥;缘分的另一个近义词是命运fate,还说得过去,于是给他译成It’s the fate that brings us together。 咱们中国人讲缘分。两个人不期而遇,算是有缘了;报考同一个学校、又分到同一个班,自然也是一种缘分;相识相恋是前世有缘,结了婚叫喜结良缘——据说要几千年才能修得。可缘分到底是什么不容易说清楚。佛家是最讲缘分的,可是佛家的大师们似乎也没有说个明白。那些流传的故事里,大师们要么说一通亦可正可反、亦真亦幻的话,要么给你再讲一个故事,或者干脆指指别处、笑而不语,总之没有一个确定的说法。以一种简单的看法,缘分至少说了人和人之间的关联,用统计学里的话来说,叫存在相关性。“缘”还通“原”,也就是原因,那就成了更强的因果关系了,甚至超过了纯粹通过统计能够弄得清的范围。 没错,我是要从统计学的角度来说缘分,或者准确的说,接着缘分这个话题说说日常生活中的统计。说两个人有缘,至少在说他们的某些行为体现出了他们之间有相关性。而既然把这一点拿出来说,还因为这种相关性不是显而易见的。不显而易见,一个获得可信结论的办法就是做统计里的假设检验。日常生活中,通常不能严格地界定问题、也不能随机抽取大量的样本等,这种检验只能是简化的和大概的,但是基本思想和统计学中严格假设检验一样。以“不期而遇”中的缘分为例,具体做法是这样的。首先提出一个假设,这里我们假设这两个人没有缘分(即相关性等于零)——当然,你也可以把它当作原假设,再提一个与之对立的备择假设,这里简化起见,只考虑原假设——没有缘分的两个人,在“不期”的 情况,“相遇”是几乎不可能发生的。也就是说,“相遇”是一个不支持这个假设的事件。然后抽样,不期而遇这个事件就是一个试验,相当于一次抽样,一次不期而遇就是抽了一个样本,这个样本的观测结果是“相遇”,也就是“发生”。再来对比在总体中获得这个观测值的概率。人们大体会这样认为,在没有事先约定的情况,茫茫人海中两个人相遇的概率是极低的。在这个国家里我们有亿万同胞,遇到任何一个人的概率是相当的,也就是说遇到任何一个人的概率都只是亿万分之一(如果要讨论概率分布,可以认为相遇发生的概率服从一个均匀分布)。显然,在“不期”的情况下,“相遇”是个小概率事件。而在我们唯一的一次抽样中,这个不支持最初的假设的小概率事件居然发生了,于是有理由否定这个假设,也就是否定“这两个人没有缘分”,反过来说,我们接受这两个人之间有缘分这个事实。这就完成了一个假设检验,通过“不期而遇”这个试验,验证了“有缘”这个事实。所以说,当和一个人不期而遇时,认为和这个人有缘,这是有一定统计学支持的。 事实上,在日常生活中,人们常常做类似的统计分析。昨天和朋友聊及,他说“每个个体都在做统计”,我深以为是。人们的一次观察、一个经历都可以看成是一次试验或者一次抽样,随即能够获得一个观测结果,有了这样的结果我们就能推断事实。这是人们认识世界、发现规律的一个途径。 当然,严格的统计分析远比上面描述的复杂。这种简化版的统计往往难得出可靠的结论,因为存在很多不严谨的地方。起码的一条,日常问题中的统计总体往往是没有清晰界定的,甚至是难以确定的(这是有些问题得不到科学结论的一个原因)。这里谈另外两个不严谨的地方。一个是试验的次数太少,也就是样本量太小了。做过统计的人都知道,样本量越大越可能做出准确的统计推断。上面“不期而遇”的例子里,只有一个观察值,显然容易偏颇。一些人有多次观测的精神,例如认为“一次两次可能属于巧合,多次发生就说明问题了”。个性严谨的人会基于足够多观察才做出判断,而粗放一些的人可能看到一个现象就下结论。这个问题在严谨的学术研究里也存在,例如做案例分析,一般样本容量很小——当然这往往是受限于所研究的问题,很多问题是难以获得大容量样本的,案例分析是最适宜的方法——因故得到的结论难以一般化。 来自日常生活中的“大样本”统计中,一个印象比较深刻的例子是有人发现“博士爸爸(的配偶)一般生女儿”,证据是周围十数个朋友无一例外。相比“不期而遇”,这算是一个“大样本”的统计分析了。但是,这里面仍然可能存在另一个问题,叫同质性(对应于英文里的homophily,当然这个中文译法不尽妥帖),意思是说你抽的那些样本本身可能有内在的相似性,观测的结果可能是这些相似的特征所导致的,而跟要验证的假设中的那个原因没有关系。考虑这样一种不期而遇:你到某个城市去参加一个专业领域的学术会议,和某个同行不期而遇。你们都是在这里狭窄的领域里工作,不约而同在这个领域为数不多的几个会议相遇的概率就很高了。这是因为“研究领域”这个你们共有的特征本身已经大大地缩小了抽样的范围。“相遇”不再是一个只有亿万分之一可能性的小概率事件了。“博士爸爸生女儿”中的统计也可能面临这样的问题——对于影响婴儿性别的因素我不甚了解,举的例子可能不一定恰当——例如,这种观察可能主要集中在某一地区的留学博士身上,而这个博士群体的某个独有的饮食习惯可能会有助于生育女儿。避免“同质性”最直接的办法是进行随机抽样,随机情况下样本内在的相似性就被打破了。两点合在一起可以看到,做严格的统计的一个基本要求是:要进行样本量足够大的随机抽样。 当然,不排除简单粗糙的生活统计能够揭露真理或者发现规律。事实上,有很多规律就是从生活统计中开始被认识的,这些规律大量地体现在长期流传的俗话、谚语之中。一个例子是“物以类聚、人以群分”(西谚里对应于Birds of a feather flock together),这个话从古人说到今人,中国人在说、外国人也说,大家都这么说,说明这个假设不断地被在他们各自的经历所验证。每个个体的试验可能存在样本小和同质性的问题,但是如果把古今中外的试验都放在一起看,就有信心认为达到大样本随机抽样的要求了,于是得出的结论有较高的可信度。事实上,这个现象还真被几位社会学家的严格的分析所证实,2001年他们的文章发表在顶级的学术期刊上。此后,以这个谚语为标题的学术文献层出不穷。另一个例子是“近朱者赤,近墨者黑”。而尚未经严格统计验证的俗话和谚语还可以列出很多:富不过三代、吃亏是福、一山不容二虎、磨刀不误砍柴工、善有善报恶有恶报、一分耕耘一分收获等等。 尽管这种经不严格的生活统计得出的结论带有片面性,人们的另外一项本领却会强化对这些片面的结论的可信性。这项本领就是根据结论去“找”甚至“造”依据、原因。造成一个结果的实际原因往往是多方面的,因此只要你卖力地去找或者造,总是会有所收获的,因此人们这项本领现在非常强大,比较轻易地就能找到自己“心仪”的依据。这时回过头来看当初得出的结论,就显得更加站得住脚了:你看,连依据都找出来了,还有什么好说的呢。于是,易如拾芥地,一个片面的结论被奉为了真理。不能不说,这样事情从有认识世界的尝试开始持续至今。 揣着结果找原因的本事上一个水平,就成了从简单的观察中演绎出一套逻辑甚至理论体系。这项“伟大”的工作,古今中外都有不少富有热情的智者去做。在认识水平不高的条件下,这是知识的重要来源。最容易想到的例子就是古代圣人演绎出的阴阳五行和八卦理论,老祖宗们根据自己对自然和人文现象的长期观察,发展出一整套包罗万象且自洽的逻辑体系。这里有大话题可说,不过且收在这里。
个人分类: 经济思维|6066 次阅读|3 个评论
假设检验与“无罪推定论”——《统计中的智慧》
热度 1 l512002855 2015-5-11 21:07
仅凭一个例子去证明一个命题成立,理由是不充分的;而要否定一个命题,一个反例就足够了。因此,统计学家将注意力集中于 拒绝原假设 和 不拒绝原假设 上。“不拒绝原假设”有两层含义:其一是原假设的确是正确的,应当接受;其二是样本提供的信息不足以拒绝原假设,于是只能保留,等收集到新的样本再作判断。 用统计检验解决问题的思路类似于司法界的“无罪推定论”。所谓“无罪推定论”只:法官在办案时,首先建立一个“被告无罪”的原假设,谁说被告有罪必须拿出证据。如果证据确凿,法官就推翻被告无罪的原假设。如果证据不足,就会宣告被告无罪。按照这样的原则判案,可以保证关在监狱里的人必定都是有罪的。 假设检验的基本思想,“概率性质的反证法”。为了检验原假设是否成立,就去看由此出发会推出什么样的后果。如果导致了一个不合理的现象发生,那就表明原先的假设不能成立,于是就拒绝这个假设。
个人分类: 统计学|5436 次阅读|10 个评论
[转载]zz统计推断或假设检验的常见问题
zhangdong 2014-7-12 17:49
来源:gsgl.shufe.edu.cn/jswz/web/67/soft/20067204373833907.doc 主要内容: 连续变量和分类变量 无效和备择(或对立)假设 一尾测验还是两尾测验? I 类错误和II类错误 关于概率分布 自由度问题 标准差和标准误 正态分布 检验假设显著性的三种方法 统计推断或假设检验的常见问题.doc
1358 次阅读|0 个评论
“假设检验知多少”之调查研究
ludwiglei 2013-3-21 18:31
本研究目的在于调查科研工作者对于假设检验的理解,希望大家能够积极参加。 假定有一种药物,你认为可能会降低血糖水平。 为了验证假设,你实施了一个非常严格的实验。 结果发现实验组和对照组(假定每组20名受试)的均值出现显著差异(t=2.7, df=18, p=0.01)。 对于这个结果,下面有七种不同的解释,请您做正误判断( 非单选 )。 假设检验知多少: http://www.diaochapai.com/survey686223 您只需要回答7个问题,不会浪费您多长时间。而且该问卷完全匿名,只需要告知性别、专业和学历即可。
2694 次阅读|0 个评论
有罪推论还是无罪推论?因假设检验引起的思考
热度 2 chenhuansheng 2012-1-4 22:54
前一阵期末考试,另一位老师在我班学生S君桌下搜出一张抄有相关知识的字条,事后这位老师告诉了我,希望我在班上严肃一下考纪考风。 当晚我给S君打电话,问有没有被搜出字条的事情,他承认有,但是因为是临时换座位,所以那个字条并不是自己放的;之前也没有察觉它的存在;考试过程中也没有利用那个字条作弊。 这种事情,如果遇到是学校领导或者教务处的巡考,那就是黄泥巴滚裤裆了。所以我决定那S君开刀,做个反面典型,以儆效尤。虽然自己打心里面觉得S君平常挺诚实,大概不会玩这么拙劣的把戏,但是他既然是班干部就该有所担当。而且是班级内部处理,不影响以后评奖评优。于是我通知他本人和纪律委员,以作弊未遂的理由,扣德育素质分5分(按照学院的规定,坐实了作弊,是该扣20分的,我觉得没有必要,本来也是怀疑)。 结果S君颇为不满,三番五次给我打电话说自己是无辜的,清白的;包括同班的其他同学也打电话来替他辩解。我起初坚定不移。 S君最后就与我争论起来,说怎么能够证明那个字条是他的?我说那怎么能证明不是他的? 支持字条是他的依据在于:字条就在他桌子的抽屉里; 支持不是他的依据在于:考试座位是考前临时调换的;字条在考试过程中没有被发现移动到了桌面上来。 好像各说各有理,但是证据都不充分。 这下犯难了,到底算他作弊呢?还是没有作弊? 再三斟酌,考虑到这个学生平常很踏实认真,最后我还是取消了对他的处罚。 这个问题,让我想到审案。西方某些国家是做无罪推断,即是说:发现犯罪结果后,推断嫌疑犯不是真的罪犯,如果能够证明无罪,就释放。东方国家普遍实行的是有罪推断,想办法证明你有罪。 两种截然不同的思路,比较一下,西方的无罪推断似乎更加人性化。当然,你也可能觉得这是在纵容犯罪。 今天查统计学的知识,看到假设检验的问题。其中有弃真错误和取伪错误。对于同样的调查样本,发生两种错误的风险是彼此消长的,不可能同时检验两个相互对立的假设。那么怎么办呢? 书上说“一般来说,哪一类错误所带来的后果越严重,危害越大,在假设检验中就应当把哪一类错误当作首要的控制目标。” 换成犯罪调查来讲,从社会的角度来说,我们怀疑某人是罪犯,一定的调查数据证明他是罪犯,只要这个置信度达到要求,就趋向于接受“他是真的罪犯”这个推论或者假设。因为他如果有罪,对社会的危害是很大的;如果他真的无罪,最多损害他一个人的利益。 但是从嫌疑犯自身的人权考虑,如果取前面的假设,对于嫌疑犯是绝对不利的。那么,从嫌疑犯的角度出发,我们是不是应当把那个假设定为“嫌疑犯不是真的罪犯”呢? 看来,对谁有利或对谁具有危害性,这是法律制定者的立场问题。东方人习惯从大局和全社会出发,所以习惯有罪推论;西方人宣扬人权,强调无罪推论。 书上进一步讲,“更主要的原因在于,从实用的观点看,原假设是什么常常是非常明确的(东方人的情况中,这里的原假设是指“嫌疑犯是有罪的”),而替换假设是什么常常是模糊的(排除掉嫌疑犯是真的罪犯,在除他以外的13亿人中找出真的罪犯,真的是很模糊、很伤脑筋的事情)。所以,人们趋向于证明原假设。在东方的情况,就表现为趋向于“证明某人有罪”,也就是有罪推论。但是这是不是一种执法/司法者懒惰的表现呢? 虽然是懒惰的表现,但是在东方已经习以为常,看来我对S君做有罪推论并不是我的个人品格有问题,而是一种文化习惯使然。 进一步看,从司法的角度看,选择有罪推论还是无罪推论,须得要做一下假设检验或者抽样调查。 哈哈,我居然可以想这么多,真是神奇! ~~~~~~~~~~~~~~~~~~~~~` 这本统计学书籍是贾俊平等编著的《统计学》,中国人民大学出版社出版,浅显易懂,适合我这种菜鸟看。
4607 次阅读|2 个评论
[转载]建立计量经济学模型的步骤和要点
estudy 2011-10-28 23:27
一、理论模型的设计 对所要研究的经济现象进行深入的分析,根据研究的目的,选择模型中将包含的因素,根据数据的可得性选择适当的变量来表征这些因素,并根据经济行为理论和样本数据显示出的变量间的关系,设定描述这些变量之间关系的数学表达式,即理论模型。 生产函数就是一个理论模型。理论模型的设计主要包含三部分工作,即选择变量、确定变量之间的数学关系、拟定模型中待估计参数的数值范围。 1 、确定模型所包含的变量 在单方程模型中,变量分为两类。作为研究对象的变量,也就是因果关系中的 “ 果 ” ,例如生产函数中的产出量,是模型中的被解释变量;而作为 “ 原因 ” 的变量,例如生产函数中的资本、劳动、技术,是模型中的解释变量。确定模型所包含的变量,主要是指确定解释变量。可以作为解释变量的有下列几类变量:外生经济变量、外生条件变量、外生政策变量和滞后被解释变量。其中有些变量,如政策变量、条件变量经常以虚变量的形式出现。 严格他说,上述生产函数中的产出量、资本、劳动、技术等,只能称为 “ 因素 ” ,这些因素间存在着因果关系。为了建立起计量经济学模型,必须选择适当的变量来表征这些因素,这些变量必须具有数据可得性。于是,我们可以用总产值来表征产出量,用固走资产原值来表征资本,用职工人数来表征劳动,用时间作为一个变量来表征技术。这样,最后建立的模型是关于总产值、固定资产原值、职工人数和时间变量之间关系的数学表达式。下面,为了叙述方便,我们将 “ 因素 ” 与 “ 变量 ” 间的区别暂时略去,都以 “ 变量 ” 来表示。 关键在于,在确定了被解释变量之后,怎样才能正确地选择解释变量。 首先,需要正确理解和把握所研究的经济现象中暗含的经济学理论和经济行为规律。这是正确选择解释变量的基础。例如,在上述生产问题中,已经明确指出属于供给不足的情况,那么,影响产出量的因素就应该在投入要素方面,而在当前,一般的投入要素主要是技术、资本与劳动。如果属于需求不足的情况,那么影响产出量的因素就应该在需求方面,而不在投入要素方面。这时,如果研究的对象是消费品生产,应该选择居民收入等变量作为解释变量;如果研究的对象是生产资料生产,应该选择固定资产投资总额等变量作为解释变量。由此可见,同样是建立生产模型,所处的经济环境不同、研究的行业不同,变量选择是不同的。 其次,选择变量要考虑数据的可得性。这就要求对经济统计学有透彻的了解。计量经济学模型是要在样本数据,即变量的样本观测值的支持下,采用一定的数学方法估计参数,以揭示变量之间的定量关系。所以所选择的变量必须是统计指标体系中存在的、有可靠的数据来源的。如果必须引入个别对被解释变量有重要影响的政策变量、条件变量,则采用虚变量的样本观测值的选取方法。 第三,选择变量时要考虑所有入选变量之间的关系,使得每一个解释变量都是独立的。这是计量经济学模型技术所要求的。当然,在开始时要做到这一点是困难的,如果在所有入选变量中出现相关的变量,可以在建模过程中检验并予以剔除。 从这里可以看出,建立模型的第一步就已经体现了计量经济学是经济理论、经济统计学和数学三者结合的思想。 在选择变量时,错误是容易发生的。下面的例子都是从已有的计量经济学应用研究成果中发现的,代表了几类容易发生的错误。例如: 农副产品出口额 = -107.66 + 0.13× 社会商品零售总额十 0.22× 农副产品收购额 这里选择了无关的变量,因为社会商品零售总额与农副产品出口额无直接关系,更不是影响农副产品出口额的原因。再如: 生产资料进口额 = 0.73× 轻工业投资+ 0.21× 出口额+ 0.18× 生产消费+ 67.60× 进出口政策 这里选择了不重要的变量,因为轻工业投资对生产资料进口额虽有影响,但不是重要的,或者说是不完全的,重要的是全社会固定资产投资额,应该选择这个变量。再如: 农业总产值 = 0.78 + 0.24× 粮食产量+ 0.05× 农机动力 —0.21× 受灾面积 这里选择了不独立的变量,因为粮食产量是受农机动力和受灾面积影响的,它们之间存在相关性。 值得注意的是上述几个模型都能很好地拟合样本数据,所以绝对不能把对样本数据的拟合程度作为判断模型变量选择是否正确的主要标准。 变量的选择不是一次完成的,往往要经过多次反复。 2. 确定模型的数学形式 选择了适当的变量,接下来就要选择适当的数学形式描述这些变量之间的关系,即建立理论模型。 选择模型数学形式的主要依据是经济行为理论。在数理经济学中,已经对常用的生产函数、需求函数、消费函数、投资函数等模型的数学形式进行了广泛的研究,可以借鉴这些研究成果。需要指出的是,现代经济学尤其注重实证研究,任何建立在一定经济学理论假设基础上的理论模型,如果不能很好地解释过去,尤其是历史统计数据,那么它是不能为人们所接受的。这就要求理论模型的建立要在参数估计、模型检验的全过程中反复修改,以得到一种既能有较好的经济学解释又能较好地反映历史上已经发生的诸变量之间关系的数学模型。忽视任何一方面都是不对的。 也可以根据变量的样本数据作出解释变量与被解释变量之间关系的散点图,由散点图显示的变量之间的函数关系作为理论模型的数学形式。这也是人们在建模时经常采用的方法。 在某些情况下,如果无法事先确定模型的数学形式,那么就采用各种可能的形式进行试模拟,然后选择模拟结果较好的一种。 3. 拟定理论模型中待估参数的理论期望值 理论模型中的待估参数一般都具有特定的经济含义,它们的数值,要待模型估计、检验后,即经济数学模型完成后才能确定,但对于它们的数值范围,即理论期望值,可以根据它们的经济含义在开始时拟定。这一理论期望值可以用来检验模型的估计结果。 拟定理论模型中待估参数的理论期望值,关键在于理解待估参数的经济含义。例如上述生产函数理论模型中有 4 个待估参数和 α 、 β 、 γ 和 A 。其中, α 是资本的产出弹性, β 是劳动的产出弹性, γ 近似为技术进步速度, A 是效率系数。根据这些经济含义,它们的数值范围应该是 0 < α < 1 , 0 < β < 1 , α + β≈1 , 0 < γ < 1 并接近 0 , A > 0 。 二、样本数据的收集 样本数据的收集与整理,是建立计量经济学模型过程中最为费时费力的工作,也是对模型质量影响极大的一项工作。从工作程序上讲,它是在理论模型建立之后进行,但实际上经常是同时进行的,因为能否收集到合适的样本观测值是决定变量取舍的主要因素之一。 1. 几类常用的样本数据 常用的样本数据有三类:时间序列数据、截面数据和虚变量数据。 时间序列数据是一批按照时间先后排列的统计数据,一般由统计部门提供,在建立计量经济学模型时应充分加以利用,以减少收集数据的工作量。在利用时间序列数据作样本时,要注意以下几个问题。一是所选择的样本区间内经济行为的一致性问题。例如,我们建立纺织行业生产模型,选择反映市场需求因素的变量,诸如居民收入、出口额等作为解释变量,而没有选择反映生产能力的变量,诸如资本、劳动等,原因是纺织行业属于供大于求的情况。对于这个模型,利用时间序列数据作样本时,只能选择 80 年代后期以来的数据,因为纺织行业供大于求的局面只出现在这个阶段,而在 80 年代中期以前的一个长时期里,我国纺织品是供不应求的,那时制约行业产出量的主要因素是投入要素。二是样本数据在不同样本点之间的可比性问题。经济变量的时间序列数据往往是以价值形态出现的,包含了价格因素,而同一件实物在不同年份的价格是不同的,这就造成样本数据在不同样本点之间不可比。需要对原始数据进行调整,消除其不可比因素,方可作为模型的样本数据。三是样本观测值过于集中的问题。经济变量在时间序列上的变化往往是缓慢的,例如,居民收入每年的变化幅度只有 5% 左右。如果在一个消费函数模型中,以居民消费作为被解释变量,以居民收入作为解释变量,以它的时间序列数据作为解释变量的样本数据,由于样本数据过于集中,所建立的模型很难反映两个变量之间的长期关系。这也是时间序列不适宜于对模型中反映长期变化关系的结构参数的估计的一个主要原因。四是模型随机误差项的序列相关问题。用时间序列数据作样本,容易引起模型随机误差项产生序列相关。这个问题后面还要专门讨论。 截面数据是一批发生在同一时间截面上的调查数据。例如,工业普查数据、人口普查数据、家计调查数据等,主要由统计部门提供。用截面数据作为计量经济学模型的样本数据,应注意以下几个问题。一是样本与母体的一致性问题。计量经济学模型的参数估计,从数学上讲,是用从母体中随机抽取的个体样本估计母体的参数,那么要求母体与个体必须是一致的。例如,估计煤炭企业的生产函数模型,只能用煤炭企业的数据作为样本,不能用煤炭行业的数据。那么,截面数据就很难用于一些总量模型的估计,例如,建立煤炭行业的生产函数模型,就无法得到合适的截面数据。二是模型随机误差项的异方差问题。用截面数据作样本,容易引起模型随机误差项产生异方差。这个问题后面还要专门讨论。 虚变量数据也称为二进制数据,一般取 0 或 1 。虚变量经常被用在计量经济学模型中,以表征政策、条件等因素。例如,建立我国的粮食生产计量经济学模型,以粮食产量作为被解释变量,解释变量中除了播种面积、化肥使用量、农机总动力、成灾面积等变量外,显然,政策因素是不可忽略的。 1980 年前后,由于实行了不同的政策,即使上述变量都没有变化,粮食产量也会发生大的变化。于是必须在解释变量中引人政策变量,用一个虚变量表示,对于 1980 年以后的年份,该虚变量的样本观测值为 1 ,对于 1980 年以前的年份,该虚变量的样本观测值为 0 。也可以取 0 、 l 以外的数值,表示该因素的变化程度。例如,在工业生产模型中用虚变量表示气候对工业生产的影响,可以将不同年份气候的影响程度,分别用 0 、 1 、 -1 ,甚至 0.5 、 -0.5 等表示。不过,这种方法应慎用,以免违背客观性。 2. 样本数据的质量 样本数据的质量问题大体上可以概括为完整性、准确性、可比性和一致性四个方面。 完整性,即模型中包含的所有变量都必须得到相同容量的样本观测值。这既是模型参数估计的需要,也是经济现象本身应该具有的特征。但是,在实际中, “ 遗失数据 ” 的现象是经常发生的,尤其在中国,经济体制和核算体系都处于转轨之中。在出现 “ 遗失数据 ” 时,如果样本容量足够大,样本点之间的联系并不紧密的情况下,可以将 “ 遗失数据 ” 所在的样本点整个地去掉;如果样本容量有限,或者样本点之间的联系紧密,去掉某个样本点会影响模型的估计质量,则要采取特定的技术将 “ 遗失数据 ” 补上。 准确性,有两方面含义,一是所得到的数据必须准确反映它所描述的经济因素的状态,即统计数据或调查数据本身是准确的;二是它必须是模型研究中所准确需要的,即满足模型对变量口径的要求。前一个方面是显而易见的,而后一个方面则容易被忽视。例如,在生产函数模型中,作为解释变量的资本、劳动等必须是投入到生产过程中的、对产出量起作用的那部分生产要素,以劳动为例,应该是投入到生产过程中的、对产出量起作用的那部分劳动者。于是,在收集样本数据时,就应该收集生产性职工人数,而不能以全体职工人数作为样本数据,尽管全体职工人数在统计上是很准确的,但其中有相当一部分与生产过程无关,不是模型所需要的。 可比性,也就是通常所说的数据口径问题,在计量经济学模型研究中可以说无处不在。而人们容易得到的经济统计数据,一般可比性较差,其原因在于统计范围口径的变化和价格口径的变化,必须进行处理后才能用于模型参数的估计。计量经济学方法,是从样本数据中寻找经济活动本身客观存在的规律性,如果数据是不可比的,得到的规律性就难以反映实际。不同的研究者研究同一个经济现象,采用同样的变量和数学形式,选择的样本点也相同,但可能得到相差甚远的模型参数估计结果。为什么?原因在于样本数据的可比性。例如,采用时间序列数据作为生产函数模型的样本数据,产出量用不变价格计算的总产值,在不同年份间是可比的;资本用当年价格计算的固定资产原值,在不同年份间是不可比的。对于统计资料中直接提供的这个用当年价格计算的固定资产原值,有人直接用于模型估计,有人进行处理后再用于模型的估计,结果当然不会相同。 一致性,即母体与样本的一致性。上面在讨论用截面数据作为计量经济学模型的样本数据时已经作了介绍。违反一致性的情况经常会发生,例如,用企业的数据作为行业生产函数模型的样本数据,用人均收入与消费的数据作为总量消费函数模型的样本数据,用 31 个省份的数据作为全国总量模型的样本数据,等等。 三、模型参数的估计 模型参数的估计方法,是计量经济学的核心内容。在建立了理论模型并收集整理了符合模型要求的样本数据之后,就可以选择适当的方法估计模型,得到模型参数的估计量。模型参数的估计是一个纯技术的过程,包括对模型进行识别(对联立方程模型而言)、估计方法的选择、软件的应用等内容。在后面的章节中将用大量的篇幅讨论估计问题,在此不重复叙述。 四、模型的检验 在模型的参数估计量已经得到后,可以说一个计量经济学模型已经初步建立起来了。但是,它能否客观揭示所研究的经济现象中诸因素之间的关系,能否付诸应用,还要通过检验才能决定。一般讲,计量经济学模型必须通过四级检验,即经济意义检验、统计学检验、计量经济学检验和预测检验。 1 、经济意义检验 经济意义检验主要检验模型参数估计量在经济意义上的合理性。主要方法是将模型参数的估计量与预先拟定的理论期望值进行比较,包括参数估计量的符号、大小、相互之间的关系,以判断其合理性。 首先检验参数估计量的符号。例如,有下列煤炭行业生产模型: 煤炭产量= -108.5427 + 0.00067× 固定资产原值+ 0.01527× 职工人数 -0.00681× 电力消耗量+ 0.00256× 木材消耗量 在该模型中,电力消耗量前的参数估计量为负,意味着电力消耗越多,煤炭产量越低,从经济行为上无法解释。模型不能通过检验,应该找出原因重新建立模型。 如果所有参数估计量的符号正确,则要进一步检验参数估计量的大小。例如,有下列煤炭企业生产函数模型: Ln (煤炭产量) = 2.69 + 1.85Ln (固走资产原值)+ 0.51Ln (职工人数) 因为该模型是一个对数线性模型,所以在该模型中,固定资产原值前的参数的经济意义是明确的,即固定资产原值的产出弹性;表示当固定资产原值增加 1% 时煤炭产量增加的百分数。根据产出弹性的概念,该参数估计量应该是 0 与 1 之间的一个数,模型中的参数估计量虽然符号正确,但是数值范围与理论期望值不符,不能通过检验。应该找出原因重新建立模型。 即使模型参数估计量的符号正确、数值范围适当,仍然不能说已经通过经济意义检验,还要对参数之间的关系进行检验。例如,有下列职工家庭日用品需求模型: Ln (人均购买日用品支出额)= -3.69 + 1.20Ln (人均收入)一 6.40Ln (日用品类价格) 该模型也是一个对数线性模型,所以在该模型中,人均收入和日用品类价格前的参数的经济意义是明确的,即是它们各自的需求弹性。该二参数估计量的符号是正确的,数值范围大体适当。但是根据经济意义,二参数估计量之和应该在 1 左右,因为当收入增长 1% 、价格增长 1% 时,人均购买日用品支出额也应该增长 1% 左右。显然该模型的参数估计量不能通过检验。应该找出原因重新建立模型。 只有当模型中的参数估计量通过所有经济意义的检验,方可进行下一步检验。模型参数估计量的经济意义检验是一项最基本的检验,经济意义不合理,不管其他方面的质量多么高,模型也是没有实际价值的。 2 、统计检验 统计检验是由统计理论决定的,目的在于检验模型的统计学性质。通常最广泛应用的统计检验准则有拟合优度检验、变量和方程的显著性检验等。 3 、计量经济学检验 计量经济学检验是由计量经济学理论决定的,目的在于检验模型的计量经济学性质。通常最主要的检验准则有随机误差项的序列相关检验和异方差性检验,解释变量的多重共线性检验等。 4 、模型预测检验   预测检验主要检验模型参数估计量的稳定性以及相对样本容量变化时的灵敏度,确定所建立的模型是否可以用于样本观测值以外的范围,即模型的所谓超样本特性。具体检验方法为:( 1 )利用扩大了的样本重新估计模型参数,将新的估计值与原来的估计值进行比较,并检验二者之间差距的显著性;( 2 )将所建立的模型用于样本以外某一时期的实际预测,并将该预测值与实际观测值进行比较,并检验二者之间差距的显著性。 经历并通过了上述步骤的检验后,可以说已经建立了所需要的计量经济学模型,可以将它应用于预定的目的。 五、计量经济学模型成功三要素 从上述建立计量经济学模型的步骤中,不难看出,任何一项计量经济学研究、任何一个计量经济学模型赖以成功的要素应该有三个:理论、方法和数据。理论,即经济理论,所研究的经济现象的行为理论,是计量经济学研究的基础。方法,主要包括模型方法和计算方法,是计量经济学研究的工具与手段,是计量经济学不同于其他经济学分支学科的主要特征。数据,反映研究对象的活动水平、相互间联系以及外部环境的数据,或更广义讲是信息,是计量经济学研究的原料。这三方面缺一不可。 一般情况下,在计量经济学研究中,方法的研究是人们关注的重点,方法的水平往往成为衡量一项研究成果水平的主要依据。这是正常的。计量经济学理论方法的研究是计量经济学研究工作者义不容辞的义务。但是,不能因此而忽视对经济学理论的探讨,一个不懂得经济学理论、不了解经济行为的人,是无法从事计量经济学研究工作的,是不可能建立起一个哪怕是极其简单的计量经济学模型的。所以,计量经济学家首先应该是一个经济学家。相比之下,人们对数据,尤其是数据质量问题的重视更显不足,在申请一项研究项目或评审一项研究成果时,对数据的可得性、可用性、可靠性缺乏认真的推敲;在研究过程中出现问题时,较少从数据质量方面去找原因。而目前的实际情况是,数据已经成为制约计量经济学发展的重要问题。 六、相关分析、回归分析和因果分析 从上述建立计量经济学模型的步骤中进一步看出,经典计量经济学方法的核心是采用回归分析的方法揭示变量之间的因果关系。但是,变量之间具有相关性并不等于具有因果性。这是建立计量经济学模型中一个十分重要的概念,那么首先需要对相关关系与因果关系作一简要的说明。 所谓相关关系,是指两个以上的变量的样本观测值序列之间表现出来的随机数学关系,用相关系数来衡量。如果两个变量样本观测值序列之间相关系数的绝对值为 1 ,则二者之间具有完全相关性(完全正相关或完全负相关);如果相关系数的绝对值比较大,或接近于 1 ,则二者之间具有较强相关性;如果相关系数的绝对值为 0 ,或接近于 0 ,则二者之间不具有相关性。如果一个变量与其他两个或两个以上变量的线性组合之间具有相关性,那么它与每一个变量之间的相关系数称为偏相关系数。相关关系是变量之间所表现出来的一种纯数学关系,判断变量之间是否具有相关关系的依据只有数据。 所谓因果关系,是指两个或两个以上变量在行为机制上的依赖性,作为结果的变量是由作为原因的变量所决定的,原因变量的变化引起结果变量的变化。因果关系有单向因果关系和互为因果关系之分。例如,劳动力与国内生产总值之间具有单向因果关系,在经济行为上是劳动力影响国内生产总值,而不是相反;但是,在国内生产总值与消费总额之间则存在经济行为上的互为因果关系,国内生产总值既决定消费总额,反过来又受消费的拉动。 具有因果关系的变量之间一定具有数学上的相关关系。而具有相关关系的变量之间并不一定具有因果关系。例如中国的国内生产总值与印度的人口之间具有较强的相关性,因为二者都以较快的速度增长,但显然二者之间不具有因果关系。 相关分析是判断变量之间是否具有相关关系的数学分析方法,通过计算变量之间的相关系数来实现。回归分析也是判断变量之间是否具有相关关系的一种数学分析方法,它着重判断一个随机变量与一个或几个可控变量之间是否具有相关关系。由于它的特定的功能,所以也被用来进行变量之间的因果分析。 但是,仅仅依靠回归分析尚不能对变量之间的因果关系作出最后判断,必须与经济行为的定性分析相结合。这就是上面强调的建立计量经济学模型的三要素。 原文: 建立计量经济学模型的步骤和要点
个人分类: 研究方法|5502 次阅读|0 个评论
什么是参数估计和假设检验
agri521 2010-7-14 19:35
今天看到一篇文献,举例子说明了 参数估计 和 假 设检验 的意思,一目了然,推荐给大家。 统计推断是由子样的信息来推测母体性能的一种方法,它又可以分为两类问题,即 参 数估计 和 假设检验 。实际生产和科学实验中,大量的问题是在获得一批数据后,要对母体的某一参数进行 估计和检验。 例如,我们对45钢的断裂韧性作了测定,取得了一批数据,然后要求45钢断裂韧性的平均值, 或要求45钢断裂韧性的单侧下限值,或要求45钢断裂韧性的分散度(即离散系数),这就是 参数估计 的问题。 又如,经过长期的积累,知道了某材料的断裂韧性的平均值和标准差,经改进热处理后,又测得一 批数据,试问新工艺与老工艺相比是否有显著差异,这就是 假设检验 的问题。 这样可以看出,参数估计是假设检验的第一步,没有参数估计,也就无法完成假设检验。
个人分类: 统计计算|8144 次阅读|0 个评论
MATLAB使用2
majian 2009-9-26 22:05
假设检验与Matlab命令汇总 from:http://exp.math.tsinghua.edu.cn:9100/statistics/C2S3S7.htm 假设检验 统计量 检验规则 MATLAB命令 单个总体均值(s 2 已知) 接受H 0 (z检验) h=ztest(x,mu,sigma) = ztest(x,mu,sigma, alpha,tail) 单个总体均值(s 2 未知) 接受H 0 (t检验) h=ttest(x,mu) =ttest(x,mu,alpha,tail) 单个总体方差 接受H 0 无 两个总体均值(s 1 2 ,s 2 2 已知) 接受H 0 无 两个总体均值(s 1 2 =s 2 2 未知) 接受H 0 h=ttest2(x,y) =ttest2 (x,y,alpha,tail) 两个总体方差 接受H 0 无 0-1分布总体均值 接受H 0 无 总体分布正态性 H 0 :总体服从 略 略 h =jbtest(x) =jbtest(x,alpha) H 0 :总体服从 略 略 h=kstest(x) H 0 :总体服从 略 略 h=lillietest(x) = lillietest(x,alpha) 这个表格很好的总结了常用的假设检验:)
个人分类: 技术|8868 次阅读|1 个评论
关于正态参数的假设检验
yrcn 2009-7-6 17:09
个人分类: 生活点滴|19 次阅读|0 个评论
生物统计学习笔记—假设检验(hypothesis test)的步骤及两类错误
wangzhong 2009-2-24 16:22
假设检验即显著性检验 (significance test),是根据总体的理论分布和小概率原理,对未知或不完全知道的总体提出两种彼此对立的假设,然后由样本的实际结果,经过一定的计算,作出在一定概率意义上应该接受的那种假设的推断。生物统计学中,一般认为0.05或0.01的概率为小概率。通过假设检验,可以正确分析处理效应和随机误差,作出可靠的结论。 1. 提出假设 : 无效假设 (ineffective hypothesis)或零假设(null hypothesis),H 0 ,假设处理效应与总体参数之间没有真实的差异,试验结果是误差所致。无效假设是直接检验的假设。 备择假设 (alternative hypothesis),H A ,与H 0 对立。 2. 确定显著性水平: 即否定H 0 的概率标准,记为,常取=0.05和=0.01两个标准。 3. 计算概率: 在假设H 0 正确的前提下,根据样本平均数的抽样分布计算出由抽样误差造成的概率。样本平均数可能大于也可能小于总体平均数,因此需要考虑差异的正负两个方面,所以一般计算的都是双尾概率。 4. 推断是否接受假设 根据显著水平的统计数临界值,进行差异是否显著的推断。如T-test中,根据自由度df查表得t 0.05 ,而实际计算得 |t| t 0.05 ,则P0.05,差异显著,反之亦然。 假设检验中的两类错误 错误:如果H 0 是真实的,假设检验却否定了它,就犯了一个否定真实假设的错误,这类错误叫第一类错误,亦称弃真错误(error of abandoning trueness); 错误:如果H 0 是不真实的,假设检验时却接受了它而否定了H A ,则犯了接受不真实假设的错误,这类错误即第二类错误,亦称纳伪错误(error of accepting mistake)。 上述错误的发生是由样本平均数 的抽样分布坐落于某种分布对应区间的概率决定的,当显著性水平取0.05时, 落在该区间的概率是0.95,即当 落于该区间,则95%的把握接受H 0 ,犯错误的概率为5%,而当显著性水平取0.01时,犯错误的概率为1%,但相应的犯错误的概率就会提高,所以,确定显著性水平时显著性水平不一定要定的太高,取=0.05比较合适。 说明:生物统计学教材《生物统计学(第三版)》,李春喜等,2005;spss应用教材《spss13.0在生物统计中的应用》,张力,2006。
个人分类: 资料积累|14173 次阅读|2 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-16 02:36

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部