概述

贝叶斯网(directed acyclic graph), MRF( undirected graph)是两种重要的概率图模型，在日益网络化的世界里，它们能对众多事物、现象合理建模，包括：社交网络（facebook, twitter)、交通网络（transportation,travel,network design)、医疗诊断等等，Russell还用它建立全球的crust vibration network, 用以分析预测 核武器生产地、地震。从马克思哲学的角度讲，运动着的物质世界是普遍联系和永恒发展的，这种联系正是可以用图模型来模拟，而发展便是图模型的inference,看来Bayesian Network, MRF确实是广泛、客观存在的规律。从计算机视觉、机器学习专业领域来看，它更有着广泛的应用、很大的research community。

Equivalence of Joint Distribution and Graph

本质上来讲，用graphical model解决一个问题，首先是要知道变量间的独立关系（independency among variables),这样才便于建立图（I-Map)。需要说明的是，无论是bayesian network,还是MRF,他们的定义是（P,G),也就是同时定义概率和图，在joint distribution 严格 positive的情况下，联合分布和图是等价的：图是联合分布的I-Map,联合分布也能factorize over the graph。另外，对于贝叶斯图，概率分布在图上的factorization的定义很简单，而对于MRF，factoriztion的定义是：Joint distribution中每个factor都是图H的complete subgraph。注意了： complete subgraph并不是 maximal clique，也就是，如果我们建立的图模型中，每三个变量组成一个clique,这时，与这个图结构compatible的joint distribution完全可以是pairwise的clique potentials相乘而得到的。不过如果我们建立的图结构是每3个variable组成一个clique,我们会随之而建立 tri-order clique potentials相乘的gibbs distribution, 而不是 pairwise Markov models.

Drawback

从机器学习的角度来讲，MRF和bayesian network都是parametric methods,他们最大的弊病是对模型要假设，然后训练模型参数；to one extreme， 模型完全符合实际，这样当然很好的解决了问题；to another extreme，先验模型is problematic,now we actually deviate from original problems. 所以William Freeman(MIT)写了一篇文章，用MRF求立体视差，能量低并不代表disparity map is closer to ground truth.换言之，MRF model contructed is not compabible with truth.这个问题怎么解决？ introduction of kernal will work?

下面推荐三篇paper:

1.Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters, 2003, Tappen

2.Robust higher order potentials for enforcing label consistency , 2009, P. Kohli

3.An application of markov random fields to range sensing , 2006, J. Diebel