相互独立的随机变量的方差计算 听说方差具有以下重要性质(假定以下所遇到的随机变量的方差存在): (1) 设 X 是 随机变量, C 是常数,则 D( CX )= C 2 D( X ) ,或写为 Var( CX ) = C 2 Var( X ) ; (2) 设 X , Y 是两个相互独立的随机变量,则有 D( X + Y )=D( X )+D( Y ) 或写为 Var( X + Y ) = Var( X )+ Var( Y ) 。 请教: ( 1 ) 这里的“相互独立”是什么意思? “相关系数 = 0 ”是“相互独立”吗? “互信息( mutual information ) =0 ”是“相互独立”吗? ( 2 ) 任意两个正态分布是“相互独立”的吗? ( 3 ) 一个正态分布,和一个“威布尔分布 Weibull distribution ”之间是“相互独立”的吗? (4) 一个正态分布,和一个“均匀分布”之间是“相互独立”的吗? (5) 一个正态分布,和一个“卡方分布”之间是“相互独立”的吗? (6) 一个均匀分布,和一个“ 均匀分布 ”之间是“相互独立”的吗? ———————————————————————————— 2006年 Thomas M. Cover, Joy A. Thomas 的 《Elements of Information Theory, 2nd Edition》 John Wiley Sons, Inc., http://as.wiley.com/WileyCDA/WileyTitle/productCd-0471241954.html ISBN: 978-0-471-24195-9 第252页截图: 感谢有关人员!感谢您的讲解!
相关系数和互信息之间的解析关系 文件《第 三章:连续信源的信息熵 》 http://wenku.baidu.com/view/328a5a778e9951e79b8927ff.html 给出了: 请教: (1)上述两个解析公式的可信性怎样? (2)您能不能通俗地介绍一下其含义? (3)最重要地:请您提供近期权威的书籍和参考文献,里面有这些公式的详细解释。 感谢您的指教! 相关链接: 2012-07-30,《 相关系数、n阶相关、互信息 》 http://blog.sciencenet.cn/blog-107667-597293.html ¾¾¾¾¾¾¾ 出自 ¾¾¾¾¾¾¾ Thomas M. Cover, Joy A. Thomas. Elements of InformationTheory (Second Edition) . USA :Hoboken, New Jersey, John Wiley Sons, Inc., 2006. ( 1 ) Page 244 Example 8.1.2 ( Normaldistribution ) Then calculating the differential entropy in nats, we obtain Changing the base of the logarithm, we have ( 2 ) Page 252 Example 8.5.1 ( Mutual information betweencorrelated Gaussian random variables with correlation ρ ) If ρ = 0, X and Y are independent and the mutual information is 0. If ρ = ±1, X and Y are perfectly correlated and the mutual information is infinite.
互信息(Mutual Information)是源自信息论的概念,其意义为知道了两个随机变量中的一个后,在多大程度上可以减小另一个的不确定性。用以描述两个随机变量间的互相依赖程度或是相关性。数学表示为(以离散变量为例). \ 其中,p(x)和p(y)是他们各自的概率函数, p ( x , y )是联合概率,显然,当X与Y完全不相关,即为独立事件时,联合概率等于两个事件概率的乘积。 \ 条件互信息(Conditional mutual information)是互信息概念的延伸,描述的是两个变量在给定第三个变量条件下的互信息(以离散变量为例)。 或者