设为首页收藏本站
开启辅助访问 切换到宽版

科学网

 找回密码
  注册
科学网 › 我的中心 › 博文 › liuxingwu的博文
关于几个熵的定义
刘兴武 2023-11-28 11:10
信息熵，衡量一个分布的不确定性，即对 编码的平均长度： 交叉熵，衡量对真实分布 的近似分布 编码的平均长度： ，其意义通过相对熵体现。 相对熵（即KL散度），衡量近似分布 与真实分布 的接近程度： . 当 固定时，交叉熵的最小值是 的信息熵。所以相对熵非负。而且KL散度与交叉熵的走势是完全一样的，所以常使用交叉 ...
571 次阅读|没有评论
读书笔记：如何衡量随机变量的相关程度？
刘兴武 2023-6-24 14:15
对于二元随机变量 (X,Y)，如何衡量他们之间有多相关？协方差显然不合适，因为没有归一。线性相关系数也显然不合适，因为只能反应线性关系的强弱。互信息是一个不错的选项。 互信息为什么可以表示“X透露出Y的信息的量”？因为互信息 就是熵与条件熵的差。 互信息为什么非负？因为互信息就是联合分布熵与边际分布乘积 ...
705 次阅读|没有评论
读书笔记一则：图上2-近似的最小斯坦纳树算法
刘兴武 2022-12-8 00:32
假设：一个图G=(V,E,d)，其中d是非负边长，顶点子集S是Terminal集合，希望找到G中的一棵子树，包含S，且最小。 算法： Step 1:对S中每对点(u,v)，计算在G中的最短路P(u,v)及其长度d'(u,v)，得到S上的带权完全图G'=(S,E',d')； Step 2:构造G'的最小生成树T； Step 3:把T中的所 ...
1108 次阅读|没有评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-28 08:17

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部