博文
review: 马尔可夫逻辑网络研究
||||
马尔可夫逻辑网络研究
徐从富, 郝春亮, 苏保君, 楼俊杰
软件学报， 2011
摘要:
马尔可夫逻辑网络是将马尔可夫网络与一阶逻辑相结合的一种统计关系学习模型,在自然语言处理、复
杂网络、信息抽取等领域都有重要的应用前景.较为全面、深入地总结了马尔可夫逻辑网络的理论模型、推理、权重和结构学习,最后指出了马尔可夫逻辑网络未来的主要研究方向.
关键词: Markov 逻辑网;统计关系学习;概率图模型;推理;权重学习;结构学习
the hard work of AI: 如何有效地处理复杂性和不确定性等问题?
-- 统计关系学习(statistical relational learning, SRL)
-- 概率图模型(probabilistic graphical model,PGM)
统计关系学习： 通过集成关系/逻辑表示、概率推理、不确定性处理、机器学习和数据挖掘等方法,以获取关系数据中的似然模型
概率图模型：一种通用化的不确定性知识表示和处理方法
-- 贝叶斯网络(Bayesian networks)
-- 隐马尔可夫模型(hidden Markov model)
-- 马尔可夫决策过程(Markov decision process)
-- 神经网络(neural network)
idea: 统计关系学习(尤其是关系/逻辑表示) + 概率图模型
马尔可夫逻辑网络(Markov logic networks）= Markov网 + 一阶逻辑
Markov 网常用近似推理算法：
1 Markov 逻辑网
1.1 Markov网和一阶逻辑
1.1 Markov网和一阶逻辑
Markov 网: Markov 随机场(Markov random field,MRF)
1.2 Markov逻辑网的定义和示例
定义: Markov 逻辑网
2 Markov 逻辑网的推理
-- 概率图模型推理的基本问题: 计算边缘概率、条件概率以及对于最大可能存在状态的推理
-- Markov 逻辑网推理: 生成的闭Markov 网
2.1 最大可能性问题
MaxWalkSAT 算法
LazySAT 算法
2.2 边缘概率和条件概率
概率图模型一重要推理形式: 计算边缘概率和条件概率,通常采用MCMC 算法、BP 算法等
3 Markov 逻辑网的学习
3.1 参数学习
3.1 参数学习
3.1.1 伪最大似然估计
3.1.2 判别训练
训练Markov 逻辑网权重的高效算法: VP(voted perceptron)算法、CD(contrastive divergence)算法
3.2 结构学习
3.2.1 评价标准
结构学习两个难题:
结构学习两个难题:
一是如何搜索潜在的结构;
二是如何为搜索到的结构建立起一个评价标准,即如何筛选出最优结构.
3.2.2 自顶而下的结构学习
4 算法比较和分析
4.1 与基于Bayesian网的统计关系学习算法比较
4.1 与基于Bayesian网的统计关系学习算法比较
基于 Bayesian 网的SRL 算法: 传统Bayesian 网的基础上进行扩展的SRL 方法
4.2 与基于随机文法的统计关系学习算法比较
4.3 与基于HMM的统计关系学习算法比较
5 Markov 逻辑网的应用
5.1 应用概况
5.1 应用概况
5.2 应用举例
6 述评
Markov 逻辑网:
1) 将传统的一阶谓词逻辑与当前主流的统计学习方法有机地结合起来
2) 填补了AI 等领域中存在的高层与底层之间的巨大鸿沟.
-- 一阶谓词逻辑更适用于高层知识的表示与推理
-- 基于概率统计的机器学习方法则擅长于对底层数据进行统计学习.
Open problem:
(1) 增强算法的学习能力,使其可以从缺值数据中学习;
(2) 提高真值闭从句的计算速度,解决结构学习算法效率的瓶颈问题;
(3) 从一阶逻辑和Markov 网这两个方面完善Markov 逻辑网的理论;
(4) 增强Markov 逻辑网模型的实用性,从而更好地解决实际应用问题.
马尔可夫链蒙特卡洛(Markov chain Monte Carlo,简称MCMC)方法
信念传播算法
推理
学习
个人点评：
没看懂，可关注,问其与 Bayesian Network什么关系呢？
https://m.sciencenet.cn/blog-468147-490076.html
上一篇：review: 李群机器学习研究综述
下一篇：时序逻辑
扫一扫，分享此博文