科学网

 找回密码
  注册
科学网 标签 Learning 相关日志

tag 标签: Learning

相关日志

纽约时报上关于Deep Learning的研究进展的报道
热度 1 oliviazhang 2012-11-25 17:11
其中一些deep learning的应用确实让我打开眼界。全文连接: Scientists See Promise in Deep-Learning Programs 以前看过一些人做人工神经网络的动力学行为的分析。可惜仅仅只拿一些简单的没有多少实际用途的人工神经网络来分析(比如最简单的PCA神经网络)。如果能对Deep Learning这种太有潜力的网络做动力学行为分析,那将是多么有意义的研究工作啊。当然,Deep Learning确实很复杂。但是我希望那些分析神经网络动力学行为的人,不要一天到晚就只分析最简单的PCA,MCA这种网络。如果真要分析,分析分析sparse PCA, kernel PCA这样的神经网络更要有意义些。
个人分类: Deep Learning|7314 次阅读|4 个评论
[转载]machine learning non-linear: SVM, Neural Network
genesquared 2012-11-8 15:59
Support vector machine - Wikipedia, the free encyclopedia en.wikipedia.org/.../Support_vector_ machin ... - 网页快照 - 翻译此页 In machine learning , support vector machines (SVMs, also support vector ... SVMs can efficiently perform non-linear classification using what is called the kernel ... Formal definition - History - Motivation - Linear SVM Machine Learning : Do there exist non-linear online (stochastic ... www.quora.com/ Machine - Learning /Do-there-exist- no ... - 翻译此页 Not sure weather I got it right but ... Artificial Neural Networks (ANN) are able to capture non-linear hypothesis. Furthermore, extensions to ANN incorporate ... Machine Learning scianta.com/technology/ machinelearning .htm - 网页快照 - 翻译此页 Linear and Non-Linear Regression is a machine learning technique for fitting a curve to a collection of data. The algebraic formula for the curve is a model of the ... Foundations of Machine Learning Lecture 5 www.cs.nyu.edu/~mohri/mls/lecture_5.pdf - 翻译此页 文件格式: PDF/Adobe Acrobat - 快速查看 作者:M Mohri - 相关文章 Mehryar Mohri - Foundations of Machine Learning . Motivation. Non-linear decision boundary. Efficient computation of inner products in high dimension. Flexible ... Machine Learning Learning highly non-linear functions www.cs.cmu.edu/~epxing/Class/10701.../lecture5.pdf - 翻译此页 文件格式: PDF/Adobe Acrobat - 快速查看 1. Machine Learning . Neural Networks. Eric Xing. 10-701/15-781, Fall 2011. 781, Fall 2011. Lecture 5, September 26, 2011. Reading: Chap. 5 CB. 1. © Eric Xing ... Machine Learning Learning non-linear functions www.cs.cmu.edu/~epxing/Class/10701.../lecture6.pdf - 翻译此页 文件格式: PDF/Adobe Acrobat - 快速查看 Lecture 6, February 4, 2008. Reading: Chap. 1.6, CB Chap 3, TM. Learning non-linear functions f: X → Y. ○. X (vector of) continuous and/or discrete vars. ○ ... machine learning - non linear svm kernel dimension - Stack Overflow stackoverflow.com/.../ non-linear -svm-kernel... - 网页快照 - 翻译此页 3 个回答-10月22日 I have some problems with understanding the kernels for non-linear ... The transformation usually increases the number of dimensions of your ... Investigation of expert rule bases, logistic regression, and non-linear ... www.ncbi.nlm.nih.gov/pubmed/19474477 - 翻译此页 作者:MC Prosperi - 2009 - 被引用次数:17 - 相关文章 Investigation of expert rule bases, logistic regression, and non-linear machine learning techniques for predicting response to antiretroviral treatment. Prosperi ... Original article Investigation of expert rule bases, logistic regression ... www.intmedpress.com/serveFile.cfm?sUID...847b... - 翻译此页 文件格式: PDF/Adobe Acrobat 作者:MCF Prosperi - 2009 - 被引用次数:17 - 相关文章 developed through machine learning methods. Methods: The aim of the study was to investigate linear and non-linear statistical learning models for classifying ... machine learning - Non-linear (e.g. RBF kernel) SVM with SCAD ... stats.stackexchange.com/.../ non-linear -e-g-r... - 网页快照 - 翻译此页 1 Mar 2012 – Is there one? I think there's a penalizedSVM package in R but it looks to use a linear kernel. Can't quite tell from the documentation. If it's linear ...
2317 次阅读|0 个评论
[转载]MKL(multi-kernel learning)在图像分类中的应用
kistaria 2012-10-18 21:47
分类在搜索引擎中的应用非常广泛,这种分类属性可以方便在rank过程中针对不同类别实现不同的策略,来更好满足用户需求。本人接触分类时间并不长,在刚用SVM做分类的时候对一个现象一直比较困惑,看到大家将各种不同类型特征,拼接在一起,组成庞大的高维特征向量,送给SVM,得到想要的分类准确率,一直不明白这些特征中,到底是哪些特征在起作用,哪些特征组合在一起才是最佳效果,也不明白为啥这些特征就能够直接拼在一起,是否有更好的拼接方式?后来了解到核函数以及多核学习的一些思想,临时抱佛脚看了点,对上面的疑问也能够作一定解释,正好拿来和大家一起探讨探讨,也望大家多多指点。本文探讨的问题所列举的实例主要是围绕项目中的图像分类展开,涉及SVM在分类问题中的特征融合问题。扩展开来对其他类型分类问题,理论上也适用。 关键词: SVM 特征融合 核函数 多核学习 2基本概念阐述 SVM:支持向量机,目前在分类中得到广泛的应用 特征融合:主要用来描述各种不同的特征融合方式,常见的方式有前期融合,就是前面所描述的将各个特征拼接在一起,后期融合本文后面会提到 核函数:SVM遇到线性不可分问题时,可以通过核函数将向量映射到高维空间,在高维空间线性可分 多核学习:在利用SVM进行训练时,会涉及核函数的选择问题,譬如线性核,rbf核等等,多核即为融合几种不同的核来训练。 3应用背景 在图片搜索中,会出现这样的一类badcase,图像的内容和描述图像的文本不一致,经常会有文本高相关,而图像完全不一致的情况。解决这类问题的一个思路就是综合利用图像的内容分类属性和文本的query分类属性,看两者的匹配程度做相应策略。 4分类方法的选取 下面就可以谈到本文的重点啦,那是如何对图像分类的呢? 对分类熟悉的同学,马上可能要说出,这还不easy,抽取各种特征,然后一拼接,随便找个分类器,设定几个参数,马上分类模型文件就出来啦,80%准确率没问题。 那这个方法确实不错也可行,但是有没有可以改进的地方呢? 这里可能先要说明下图像分类的一些特殊性。 图像的分类问题跟一般的分类问题方法本质上没太大差异,主要差异体现在特征的抽取上以及特征的计算时间上。 图像特征的抽取分为两部分,一部分是针对通用图像的特征,还有一部分则是针对特定类别抽取的特征。这些特征与普通的文本特征不一致的地方在于,一个图像特征由于存在分块、采样、小波变换等,可能维度就已经很高。譬如常见的MPEG-7标准中提到的一些特征,边缘直方图150维,颜色自相关特征512维等。在分类过程中,如果将这些特征拼接在一起直接就可能过千维,但是实际在标注样本时,人工标注的正负样本也才几千张,所以在选择分类器时,挑选svm,该分类器由于可以在众多分类面中选择出最优分界面,以及在小样本的学习中加入惩罚因子产生一定软边界,可以有效规避overfitting。 在特征的计算时间上,由于图像处理涉及的矩阵计算过多,一个特征的计算时间慢的可以达到0.3秒,所以如何挑选出既有效又快速的特征也非常重要。 5两种特征融合方式的比较 那刚才的方法有什么问题呢? 仔细想想,大致存在以下几点问题: 1. 你所提取的所有特征,全部串在一起,一定合适么?如果我想知道哪些特征组合在一起效果很好,该怎么办? 2. 用svm进行学习时,不同的特征最适合的核函数可能不一样,那我全部特征向量串在一起,我该如何选择核函数呢? 3. 参数的选取。不同的特征即使使用相同的核,可能最适合的参数也不一样,那么如何解决呢? 4. 全部特征都计算,计算时间的花销也是挺大的 对于刚才的问题,如果用前期融合,可能是用下面方式来解决: 1. 根据经验,觉得在样本中可能表现不错的特征加进来,至于组合么,全部串在一起,或者选几个靠谱的串一起,慢慢试验,慢慢调,看哪些特征有改进就融合在一起 2. 也是根据经验,选取普遍表现不错的RBF核,总之结果应该不会差 3. 交叉验证是用来干嘛的?验证调优参数呗,全部特征融合在一起,再来调,尽管验证时间长,不要紧,反正模型是离线训练的,多调会也没关系。 那是否有更好的选择方案呢? 多核学习(MKL)可能是个不错的选择,该方法属于后期融合的一种,通过对不同的特征采取不同的核,对不同的参数组成多个核,然后训练每个核的权重,选出最佳核函数组合来进行分类。 先看下简单的理论描述: 普通SVM的分类函数可表示为: 其中 为待优化参数,物理意义即为支持向量样本权重, 用来表示训练样本属性,正样本或者负样本,为计算内积的核函数, 为待优化参数。 其优化目标函数为: 其中 用来描述分界面到支持向量的宽度, 越大,则分界面宽度越小。C用来描述惩罚因子,而 则是用来解决不可分问题而引入的松弛项。 在优化该类问题时,引入拉格朗日算子,该类优化问题变为: 其中待优化参数 在数学意义上即为每个约束条件的拉格朗日系数。 而MKL则可认为是针对SVM的改进版,其分类函数可描述为: 其中, 表示第K个核函数, 则为对应的核函数权重。 其对应的优化函数可以描述为: 在优化该类问题时,会两次引入拉格朗日系数, 参数与之前相同,可以理解为样本权重,而 则可理解为核函数的权重,其数学意义即为对每个核函数引入的拉格朗日系数。具体的优化过程就不描述了,不然就成翻译论文啦~,大家感兴趣的可以看后面的参考文档。 通过对比可知,MKL的优化参数多了一层 其物理意义即为在该约束条件下每个核的权重。 Svm的分类函数形似上是类似于一个神经网络,输出由中间若干节点的线性组合构成,而多核学习的分类函数则类似于一个比svm更高一级的神经网络,其输出即为中间一层核函数的输出的线性组合。其示意图如下: 在上图中,左图为普通SVM示例,而全图则为MKL示例。其中 为训练样本,而 为不同的核函数, 为支持向量权重(假设三个训练样本均为支持向量), 为核权重,y为最终输出分类结果。 6实验过程: 以实际对地图类别的分类为例,目前用于分类的特征有A,B,C,D,E,F,G(分别用字母代表某特征),这些特征每个的维数平均几百维。 准备工作: 1. 人工标注地图类别正负样本,本次标注正样本176张,负样本296张 2. 提取正负训练样本图片的A~G各个特征 3. 归一化特征 4. 为每个特征配置对应的核函数,以及参数 工具: Shogun工具盒: http://www.shogun-toolbox.org/ ,其中关于该工具的下载,安装,使用实例都有详细说明。该工具除了提供多核学习接口之外,几乎包含所有机器学习的工具,而且有多种语言源码,非常方便使用。 结果测试: 经过大约5分钟左右的训练,输出训练模型文件,以及包含的核函数权重、准确率。 在该实例中,7个特征分别用七个核,其权重算出来为: 0.048739 0.085657 0.00003 0.331335 0.119006 0.00000 0.415232, 最终在测试样本上准确率为:91.6% 为了节省特征抽取的时间,考虑去掉权重较小的特征A、C、F, 拿剩下4个核训练,几分钟后,得到核函数权重如下: 0.098070 0.362655 0.169014 0.370261, 最终在测试样本上准确率为:91.4% 在这次训练中,就可以节约抽取A、C、F特征的训练时间,并且很快知道哪些特征组合在一起会有较好的结果。 实验的几点说明: 1. 该类别的分类,因为样本在几百的时候就已经达到不错效果,所以选取数目较少。 2. 该实验是针对每个特征选择一个核,且每个核配置固定参数,实际中如果时间允许,可以考虑每个特征选不同核,同一核可以选取不同参数,这样可以得到稍微更好的结果。 参考文章: Large Scale Multiple Kernel Learning SimpleMKL Representing shape with a spatial pyramid kernel 参考代码: http://www.shogun-toolbox.org/doc/cn/current/libshogun_examples.html , 7个人经验与总结: 1. 多核学习在解释性上比传统svm要强。多核学习可以明显的看到各个子核中哪些核在起作用,哪些核在一起合作效果比较好。 2. 关于参数优化。曾经做过实验,关于同一特征选用同一核,但是不同参数,组合成多个核,也可以提升分类准确率。 3. 多核学习相比前期特征融合在性能上会有3%~5%左右的提升。 4. 通过特征选择,可以节约特征计算时间。 by wenshilei
244 次阅读|0 个评论
基于抽样的缺陷预测
lzhx171 2012-10-14 18:25
本周看了一篇12年发表在ASE上的文章,文章名为Sample-based software defect prediction with active and semi-supervised learning. 翻译为基于抽样方法的主动学习和半监督学习软件缺陷预测。 文中作者描述了三种方法,一是利用传统的机器学习方法随机抽样训练,二是利用半监督学习(semi-supervised learning)训练器随机抽样,三是利用主动半监督学习训练主动抽样(active sampling)的结果,并提出一种叫ACoForest的算法进行主动抽样。 本文核心是为主动学习+半监督学习,以及融合这二者的提出的ACoForest算法。为了描述这个算法,我们先描述一般抽样的半监督学习算法(CoForest,这个算法在07年时由本文作者提出,并应用于医学诊断当中)。 给定带标签集合L,和为标记集合U,首先利用带标签的训练集初始化N个随机树,接着在每次迭代中用N-1个随机树集成训练预测 标记U中数据 ,并将可信度较高的实例加入训练集L , 中, 对L , 随机抽样 ,使其 满足一定的条件, 然后 由带标签集合L和新标记的实例集合L , 进行优化 ,直到迭代中没有任何一个随机树变化为止。(红色标记部分的需要满足一定的条件,这个在以前报告中讲过)。 以上为CoForest方法。在优化随机树时,应该选取最有助于优化的算法,这样可以减小训练集而同时提高精确率,因此在进行优化前(上段蓝色字体),选取N个随机树最有争议(说明所含信息多)的前M组数据,再进行之后的过程,这个就是ACoForest。这个算法利用了主动学习及半监督学习的优点,使得每个随机树收敛的更快。 在实验部分,作者比较了ACoForest的方法,几乎在所有数据集上F1值都好于CoForest。此算法的新颖之处在于训练集的获取上,个人认为就是要找到含有有效信息最多的数据集合,作者通过他们之前提出的一种基于分歧的半监督学习方法,根据多分类器对每个数据的分歧程度来说明一个数据是否值得作为训练集。可以说这是一篇作者在他们之前研究基础上的一种应用延伸。
201 次阅读|0 个评论
[转载]MKL(multi-kernel learning)在图像分类中的应用
hailuo0112 2012-10-10 10:04
1摘要 分类在搜索引擎中的应用非常广泛,这种分类属性可以方便在rank过程中针对不同类别实现不同的策略,来更好满足用户需求。本人接触分类时间并不长,在刚用SVM做分类的时候对一个现象一直比较困惑,看到大家将各种不同类型特征,拼接在一起,组成庞大的高维特征向量,送给SVM,得到想要的分类准确率,一直不明白这些特征中,到底是哪些特征在起作用,哪些特征组合在一起才是最佳效果,也不明白为啥这些特征就能够直接拼在一起,是否有更好的拼接方式?后来了解到核函数以及多核学习的一些思想,临时抱佛脚看了点,对上面的疑问也能够作一定解释,正好拿来和大家一起探讨探讨,也望大家多多指点。本文探讨的问题所列举的实例主要是围绕项目中的图像分类展开,涉及SVM在分类问题中的特征融合问题。扩展开来对其他类型分类问题,理论上也适用。 关键词: SVM 特征融合 核函数 多核学习 2基本概念阐述 SVM:支持向量机,目前在分类中得到广泛的应用 特征融合:主要用来描述各种不同的特征融合方式,常见的方式有前期融合,就是前面所描述的将各个特征拼接在一起,后期融合本文后面会提到 核函数:SVM遇到线性不可分问题时,可以通过核函数将向量映射到高维空间,在高维空间线性可分 多核学习:在利用SVM进行训练时,会涉及核函数的选择问题,譬如线性核,rbf核等等,多核即为融合几种不同的核来训练。 3应用背景 在图片搜索中,会出现这样的一类badcase,图像的内容和描述图像的文本不一致,经常会有文本高相关,而图像完全不一致的情况。解决这类问题的一个思路就是综合利用图像的内容分类属性和文本的query分类属性,看两者的匹配程度做相应策略。 4分类方法的选取 下面就可以谈到本文的重点啦,那是如何对图像分类的呢? 对分类熟悉的同学,马上可能要说出,这还不easy,抽取各种特征,然后一拼接,随便找个分类器,设定几个参数,马上分类模型文件就出来啦,80%准确率没问题。 那这个方法确实不错也可行,但是有没有可以改进的地方呢? 这里可能先要说明下图像分类的一些特殊性。 图像的分类问题跟一般的分类问题方法本质上没太大差异,主要差异体现在特征的抽取上以及特征的计算时间上。 图像特征的抽取分为两部分,一部分是针对通用图像的特征,还有一部分则是针对特定类别抽取的特征。这些特征与普通的文本特征不一致的地方在于,一个图像特征由于存在分块、采样、小波变换等,可能维度就已经很高。譬如常见的MPEG-7标准中提到的一些特征,边缘直方图150维,颜色自相关特征512维等。在分类过程中,如果将这些特征拼接在一起直接就可能过千维,但是实际在标注样本时,人工标注的正负样本也才几千张,所以在选择分类器时,挑选svm,该分类器由于可以在众多分类面中选择出最优分界面,以及在小样本的学习中加入惩罚因子产生一定软边界,可以有效规避overfitting。 在特征的计算时间上,由于图像处理涉及的矩阵计算过多,一个特征的计算时间慢的可以达到0.3秒,所以如何挑选出既有效又快速的特征也非常重要。 5两种特征融合方式的比较 那刚才的方法有什么问题呢? 仔细想想,大致存在以下几点问题: 1. 你所提取的所有特征,全部串在一起,一定合适么?如果我想知道哪些特征组合在一起效果很好,该怎么办? 2. 用svm进行学习时,不同的特征最适合的核函数可能不一样,那我全部特征向量串在一起,我该如何选择核函数呢? 3. 参数的选取。不同的特征即使使用相同的核,可能最适合的参数也不一样,那么如何解决呢? 4. 全部特征都计算,计算时间的花销也是挺大的 对于刚才的问题,如果用前期融合,可能是用下面方式来解决: 1. 根据经验,觉得在样本中可能表现不错的特征加进来,至于组合么,全部串在一起,或者选几个靠谱的串一起,慢慢试验,慢慢调,看哪些特征有改进就融合在一起 2. 也是根据经验,选取普遍表现不错的RBF核,总之结果应该不会差 3. 交叉验证是用来干嘛的?验证调优参数呗,全部特征融合在一起,再来调,尽管验证时间长,不要紧,反正模型是离线训练的,多调会也没关系。 那是否有更好的选择方案呢? 多核学习(MKL)可能是个不错的选择,该方法属于后期融合的一种,通过对不同的特征采取不同的核,对不同的参数组成多个核,然后训练每个核的权重,选出最佳核函数组合来进行分类。 先看下简单的理论描述: 普通SVM的分类函数可表示为: 其中 为待优化参数,物理意义即为支持向量样本权重, 用来表示训练样本属性,正样本或者负样本,为计算内积的核函数, 为待优化参数。 其优化目标函数为: 其中 用来描述分界面到支持向量的宽度, 越大,则分界面宽度越小。C用来描述惩罚因子,而 则是用来解决不可分问题而引入的松弛项。 在优化该类问题时,引入拉格朗日算子,该类优化问题变为: 其中待优化参数 在数学意义上即为每个约束条件的拉格朗日系数。 而MKL则可认为是针对SVM的改进版,其分类函数可描述为: 其中, 表示第K个核函数, 则为对应的核函数权重。 其对应的优化函数可以描述为: 在优化该类问题时,会两次引入拉格朗日系数, 参数与之前相同,可以理解为样本权重,而 则可理解为核函数的权重,其数学意义即为对每个核函数引入的拉格朗日系数。具体的优化过程就不描述了,不然就成翻译论文啦~,大家感兴趣的可以看后面的参考文档。 通过对比可知,MKL的优化参数多了一层 其物理意义即为在该约束条件下每个核的权重。 Svm的分类函数形似上是类似于一个神经网络,输出由中间若干节点的线性组合构成,而多核学习的分类函数则类似于一个比svm更高一级的神经网络,其输出即为中间一层核函数的输出的线性组合。其示意图如下: 在上图中,左图为普通SVM示例,而全图则为MKL示例。其中 为训练样本,而 为不同的核函数, 为支持向量权重(假设三个训练样本均为支持向量), 为核权重,y为最终输出分类结果。 6实验过程: 以实际对地图类别的分类为例,目前用于分类的特征有A,B,C,D,E,F,G(分别用字母代表某特征),这些特征每个的维数平均几百维。 准备工作: 1. 人工标注地图类别正负样本,本次标注正样本176张,负样本296张 2. 提取正负训练样本图片的A~G各个特征 3. 归一化特征 4. 为每个特征配置对应的核函数,以及参数 工具: Shogun工具盒: http://www.shogun-toolbox.org/ ,其中关于该工具的下载,安装,使用实例都有详细说明。该工具除了提供多核学习接口之外,几乎包含所有机器学习的工具,而且有多种语言源码,非常方便使用。 结果测试: 经过大约5分钟左右的训练,输出训练模型文件,以及包含的核函数权重、准确率。 在该实例中,7个特征分别用七个核,其权重算出来为: 0.048739 0.085657 0.00003 0.331335 0.119006 0.00000 0.415232, 最终在测试样本上准确率为:91.6% 为了节省特征抽取的时间,考虑去掉权重较小的特征A、C、F, 拿剩下4个核训练,几分钟后,得到核函数权重如下: 0.098070 0.362655 0.169014 0.370261, 最终在测试样本上准确率为:91.4% 在这次训练中,就可以节约抽取A、C、F特征的训练时间,并且很快知道哪些特征组合在一起会有较好的结果。 实验的几点说明: 1. 该类别的分类,因为样本在几百的时候就已经达到不错效果,所以选取数目较少。 2. 该实验是针对每个特征选择一个核,且每个核配置固定参数,实际中如果时间允许,可以考虑每个特征选不同核,同一核可以选取不同参数,这样可以得到稍微更好的结果。 参考文章: Large Scale Multiple Kernel Learning SimpleMKL Representing shape with a spatial pyramid kernel 参考代码: http://www.shogun-toolbox.org/doc/cn/current/libshogun_examples.html , 7个人经验与总结: 1. 多核学习在解释性上比传统svm要强。多核学习可以明显的看到各个子核中哪些核在起作用,哪些核在一起合作效果比较好。 2. 关于参数优化。曾经做过实验,关于同一特征选用同一核,但是不同参数,组合成多个核,也可以提升分类准确率。 3. 多核学习相比前期特征融合在性能上会有3%~5%左右的提升。 4. 通过特征选择,可以节约特征计算时间。 by wenshilei 转自: http://stblog.baidu-tech.com/?p=1272
个人分类: SVM|4100 次阅读|0 个评论
[转载][CODE] manifold learning matlab code 一个流行学习的matlab代
why196 2012-10-6 16:25
一个流行学习demo,并且有源代码 里面实现的代码有一下文章: MDS Michael Lee's MDS code ISOMAP J.B. Tenenbaum, V. de Silva and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. LLE L. K. Saul and S. T. Roweis. Think Globally, Fit Locally: Unsupervised Learning of Low Dimensional Manifolds . Journal of Machine Learning Research, v4, pp. 119-155, 2003. Hessian LLE D. L. Donoho and C. Grimes. Hessian Eigenmaps: new locally linear embedding techniques for high-dimensional data . Technical Report TR-2003-08, Department of Statistics, Stanford University, 2003. Laplacian Eigenmap M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation , Neural Computation, June 2003; 15 (6):1373-1396. Diffusion Maps Nadler, Lafon, Coifman, and Kevrekidis. Diffusion maps, spectral clustering and reaction coordinates of dynamical systems LTSA Zhenyue Zhang and Hongyuan Zha. Principal Manifolds and Nonlinear Dimension Reduction via Tangent Space Alignment. SIAM Journal of Scientific Computing, 2004, 26 (1): 313-338. 原始链接: http://www.math.ucla.edu/~wittman/mani/index.html 本文引用地址: http://blog.sciencenet.cn/blog-722391-583977.html
1521 次阅读|0 个评论
[转载]多任务学习方法及两个Multi-task learning(多任务学习)的
why196 2012-10-6 16:22
条件:有n个任务t=1,2,...,n,每个任务给予m个样本:(xt1,yt1),...,(xtm,ytm)。 目的:得出一个X到Y的函数ft,t=1,2,...,n。 当这些任务是相关的,联合的任务学习应该比单独学习每个任务的效果好,特别当每个任务的数据相当少的时候,在这种情况下, 独自学习是很不成功的。 在这个过程中主要用到了传递的功能:1)通过n个任务学习得到的好的概括结果能够传递到一个新的任务上,2)通过新任务t‘的一 些数据,{(xt'1,yt'1),....,xt'l,yt'l},学习函数ft',3)从n个任务中学习到的共同结构或者共同特征确实能够“传递”到新任务中来。 4)传递是人类智能的一个很重要的特征。 在多任务学习中,当这些任务是相关的,联合的任务学习应该比单独学习每个任务的效果好,特别当每个任务的数据相当少的时候,在这种情况下,独自学习是很不成功的。 Convex Multi-task Feature Learning 是一篇比较经典的文章,代码点击 这里 可以下载。 还有一篇是Multi-Task Feature Learning Via Efficient l2-1 Norm Minimization, 点击 这里 可以下载。这篇文章的最后一位作者就是JiePing Ye, 是LDA的大牛,2D LDA和GLDA就是他提出来的,而且他的主页上面公布了不少的源代码,有兴趣的可以看一看~
2217 次阅读|0 个评论
[转载]近两年顶级会议上关于Distance Metric Learning的paper清单
rockycxy 2012-9-9 17:05
ICML 2012 Maximum Margin Output Coding Information-theoretic Semi-supervised Metric Learning via Entropy Regularization A Hybrid Algorithm for Convex Semidefinite Optimization Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation Similarity Learning for Provably Accurate Sparse Linear Classification ICML 2011 Learning Discriminative Fisher Kernels Learning Multi-View Neighborhood Preserving Projections CVPR 2012 Order Determination and Sparsity-Regularized Metric Learning for Adaptive Visual Tracking Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning Unsupervised Metric Fusion by Cross Diffusion Learning Hierarchical Similarity Metrics Large Scale Metric Learning from Equivalence Constraints Neighborhood Repulsed Metric Learning for Kinship Verification Learning Robust and Discriminative Multi-Instance Distance for Cost Effective Video Classification PCCA: a new approach for distance learning from sparse pairwise constraints Group Action Induced Distances for Averaging and Clustering Linear Dynamical Systems with Applications to the Analysis of Dynamic Visual Scenes CVPR 2011 A Scalable Dual Approach to Semidefinite Metric Learning AdaBoost on Low-Rank PSD Matrices for Metric Learning with Applications in Computer Aided Diagnosis Adaptive Metric Differential Tracking (HUST) Tracking Low Resolution Objects by Metric Preservation (HUST) ACM MM 2012 Optimal Semi-Supervised Metric Learning for Image Retrieval Low Rank Metric Learning for Social Image Retrieval Activity-Based Person Identification Using Sparse Coding and Discriminative Metric Learning Deep Nonlinear Metric Learning with Independent Subspace Analysis for Face Verification ACM MM 2011 Biased Metric Learning for Person-Independent Head Pose Estimation ICCV 2011 Learning Mixtures of Sparse Distance Metrics for Classification and Dimensionality Reduction Unsupervised Metric Learning for Face Identification in TV Video Random Ensemble Metrics for Object Recognition Learning Nonlinear Distance Functions using Neural Network for Regression with Application to Robust Human Age Estimation Learning parameterized histogram kernels on the simplex manifold for image and action classification ECCV 2012 Metric Learning for Large Scale Image Classification: Generalizing to New Classes at Near-Zero Cost Dual-force Metric Learning for Robust Distractor Resistant Tracker Learning to Match Appearances by Correlations in a Covariance Metric Space Image Annotation Using Metric Learning in Semantic Neighbourhoods Measuring Image Distances via Embedding in a Semantic Manifold Supervised Earth Mover’s Distance Learning and Its Computer Vision Applications Learning Class-to-Image Distance via Large Margin and L1-norm Regularization Labeling Images by Integrating Sparse Multiple Distance Learning and Semantic Context Modeling IJCAI 2011 Distance Metric Learning Under Covariate Shift Learning a Distance Metric by Empirical Loss Minimization AAAI 2011 Efficiently Learning a Distance Metric for Large Margin Nearest Neighbor Classification NIPS 2011 Learning a Distance Metric from a Network Learning a Tree of Metrics with Disjoint Visual Features Metric Learning with Multiple Kernels KDD 2012 Random Forests for Metric Learning with Implicit Pairwise Position Dependence WSDM 2011 Mining Social Images with Distance Metric Learning for Automated Image Tagging
个人分类: 个人总结|7360 次阅读|0 个评论
BMJ Online learning
xupeiyang 2012-6-26 05:38
Dear Colleague, BMJ Learning is celebrating success following the completion of two million learning modules. To mark this milestone, we're throwing open our 1,000-strong collection of modules for free, for everyone, for one week. To thank you for helping us hit the two million mark, you can access hundreds of modules not usually available - free of charge any time during the week of July 2-9th. Whether it's our new, animated procedure based modules, journal-related CPD or anything from the A-Z of our offer (from Abdominal pain to Whooping cough), there's something extra for everyone. Here are some modules suitable forhealthcare professionalsto keep you busy in the mean time: Alcohol withdrawal: managing patients in the emergency department Arterial blood gases: a guide to interpretation Addison’s disease Upper gastrointestinal bleeding: a guide to diagnosis and management of non-variceal bleeding Acute kidney injury: a guide to diagnosis and treatment Best wishes, Dr. Helen Morant Editor, Online learning http://learning.bmj.com/learning/info/twomillionthmodule.html?utm_source=Adestrautm_medium=emailutm_campaign=2994utm_content=Celebrate%20with%20us%20-%20over%201%2C000%20free%20modules%20for%20one%20weekutm_term=BMJ%20LearningCampaign+name=SP%20250612%20healthcare%20professions%20weekly%20alert%20fre
个人分类: 信息交流|2748 次阅读|0 个评论
[CODE] manifold learning matlab code 一个流行学习的matlab代
热度 1 qianli8848 2012-6-20 08:53
[CODE] manifold learning matlab code 一个流行学习的matlab代
一个流行学习demo,并且有源代码 里面实现的代码有一下文章: MDS Michael Lee's MDS code ISOMAP J.B. Tenenbaum, V. de Silva and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. LLE L. K. Saul and S. T. Roweis. Think Globally, Fit Locally: Unsupervised Learning of Low Dimensional Manifolds . Journal of Machine Learning Research, v4, pp. 119-155, 2003. Hessian LLE D. L. Donoho and C. Grimes. Hessian Eigenmaps: new locally linear embedding techniques for high-dimensional data . Technical Report TR-2003-08, Department of Statistics, Stanford University, 2003. Laplacian Eigenmap M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation , Neural Computation, June 2003; 15 (6):1373-1396. Diffusion Maps Nadler, Lafon, Coifman, and Kevrekidis. Diffusion maps, spectral clustering and reaction coordinates of dynamical systems LTSA Zhenyue Zhang and Hongyuan Zha. Principal Manifolds and Nonlinear Dimension Reduction via Tangent Space Alignment. SIAM Journal of Scientific Computing, 2004, 26 (1): 313-338. 原始链接: http://www.math.ucla.edu/~wittman/mani/index.html
个人分类: CODE|10536 次阅读|1 个评论
邹晓辉:如何在大学教育层面开展阅读和写作的国家项目?NWP
geneculture 2012-6-15 22:40
邹晓辉:如何在大学教育层面开展阅读和写作的国家项目? 回答这个问题,至少要考虑: 1.当前大学在母语和外语以及自然语言和程序语言乃至通用俗语与专用术语这三类双语教学及研究甚至计算机交互三个方面的现状调查; 2.如何借鉴国内外这方面成功的做法及事例? 3.怎样搭建基于三类双语教学及研究甚至计算机交互网络平台? 附录 : NWP 国家写作项目 ( http://www.nwp.org/ ) Writing is Essential Writing is essential to communication, learning, and citizenship . It is the currency of the new workplace and global economy. Writing helps us convey ideas, solve problems, and understand our changing world. Writing is a bridge to the future . About NWP Our Mission The National Writing Project focuses the knowledge, expertise, and leadership of our nation's educators on sustained efforts to improve writing and learning for all learners. Our Vision Writing in its many forms is the signature means of communication in the 21st century. The NWP envisions a future where every person is an accomplished writer, engaged learner, and active participant in a digital, interconnected world . Who We Are Unique in breadth and scale, the NWP is a network of sites anchored at colleges and universities and serving teachers across disciplines and at all levels , early childhood through university . We provide professional development, develop resources, generate research, and act on knowledge to improve the teaching of writing and learning in schools and communities . The National Writing Project believes that access to high-quality educational experiences is a basic right of all learners and a cornerstone of equity. We work in partnership with institutions, organizations, and communities to develop and sustain leadership for educational improvement. Throughout our work, we value and seek diversity—our own as well as that of our students and their communities—and recognize that practice is strengthened when we incorporate multiple ways of knowing that are informed by culture and experience. A Network of University-Based Sites Co-directed by faculty from the local university and from K–12 schools, nearly 200 local sites serve all 50 states, the District of Columbia, Puerto Rico, and the U.S. Virgin Islands. Sites work in partnership with area school districts to offer high-quality professional development programs for educators . NWP continues to add new sites each year, with the goal of placing a writing project site within reach of every teacher in America. The network now includes two associated international sites . A Successful Model Customized for Local Needs NWP sites share a national program model , adhering to a set of shared principles and practices for teachers’ professional development , and offering programs that are common across the network. In addition to developing a leadership cadre of local teachers (called “ teacher-consultants ”) through invitational summer institutes , NWP sites design and deliver customized inservice programs for local schools, districts, and higher education institutions, and they provide a diverse array of continuing education and research opportunities for teachers at all levels. National research studies have confirmed significant gains in writing performance among students of teachers who have participated in NWP programs. The NWP is the only federally funded program that focuses on the teaching of writing . Support for the NWP is provided by the U.S. Department of Education , foundations, individuals, corporations, universities, and K-12 schools. NWP Core Principles The core principles at the foundation of NWP’s national program model are: Teachers at every level—from kindergarten through college—are the agents of reform ; universities and schools are ideal partners for investing in that reform through professional development . Writing can and should be taught , not just assigned, at every grade level. Professional development programs should provide opportunities for teachers to work together to understand the full spectrum of writing development across grades and across subject areas . Knowledge about the teaching of writing comes from many sources : theory and research, the analysis of practice, and the experience of writing . Effective professional development programs provide frequent and ongoing opportunities for teachers to write and to examine theory, research, and practice together systematically. There is no single right approach to teaching writing; however, some practices prove to be more effective than others. A reflective and informed community of practice is in the best position to design and develop comprehensive writing programs . Teachers who are well informed and effective in their practice can be successful teachers of other teachers as well as partners in educational research, development, and implementation. Collectively, teacher-leaders are our greatest resource for educational reform. http://www.nwp.org/cs/public/print/doc/about.csp
个人分类: 双语信息处理|11 次阅读|0 个评论
Call For Paper of Special Session, IWSIS2012
xuqingzheng 2012-3-31 15:45
2012 International Workshop on Swarm Intelligent Systems (IWSIS2012) http://www1.tyust.edu.cn/yuanxi/yjjg/iwsis2012/iwsis2012.htm Special Session- Recent Advances on Opposition-Based Learning Applications Session Chair: Dr. Qingzheng Xu Department of Military Electronic Engineering, Xi’an Communication Institute, China Scope: Diverse forms of opposition are already existent virtually everywhere around us and the interplay between entities and opposite entities is apparently fundamental for maintaining universal balance. However, it seems that there is a gap regarding oppositional thinking in engineering, mathematics and computer science. A better understanding of opposition could potentially establish new search, reasoning, optimization and learning schemes with a wide range of applications. The main idea of opposition-based learning (OBL) is to consider opposite estimates, actions or states as an attempt to increase the coverage of the solution space and to reduce exploration time. OBL has already been applied to reinforcement learning, differential evolution, artificial neural network, particle swarm optimization, ant colony optimization, and genetic algorithm, etc. Example applications include large scale optimization problem, multi-objective optimization, traveling salesman problem, data mining, nonlinear system identification, image processing and understanding. However, finding killer applications for OBL is still a hard task that is heavily pursued. The objective of this special session is to bring together the state-of-art research results and industrial applications on this topic. Contributed papers must be the original work of the authors and should not have been published or under consideration by other journals or conferences. Topics of primary interest include, but are not limited to: l Motivation and theory of opposition-based learning l Opposition-based optimization techniques l Reasoning and search strategies in opposition-based computing l Real-world applications in signal processing, pattern recognition, image understanding, robotics, social networking, etc. l Other methodologies and applications associated with opposition-based learning Submission and review process: Submissions should follow the IWSIS2012 manuscript format described in the Workshop Web site at http://www1.tyust.edu.cn/yuanxi/yjjg/iwsis2012/iwsis2012.htm . All the papers must be submitted electronically in PDF format only via email to Dr. Qingzheng Xu at xuqingzheng@hotmail.com . All the submitted papers will be strictly peer reviewed by at least two anonymous reviewers. Based on the reports by the reviewers, the final decision on papers submitted to this Special Session will be taken by General Chairs of IWSIS2012, Prof. Zhihua Cui and Prof. Jianchao Zeng. All accepted papers will be published in some EI journals as regular papers : Important dates: Submission Date: April 20, 2012 Acceptance Date: May 20, 2012 Registration Date: June 1, 2012 Final version Date: June 1, 2012 Publication Date: All accepted papers will be published in EI-indexed international journals within the late of 2012 and early of 2013
个人分类: 写作投稿指南|5048 次阅读|0 个评论
[转载]关于马尔科夫随机场MRF的思考
ciwei020621 2012-3-19 10:11
关于马尔科夫随机场MRF的思考 Markov Random Fields(MRF)是undirected graph的概率表示,下面说说它在computer vision中的应用。 MRF应用在视觉中,相当于一个Labeling问题,更具体点,是通过MAP inference来确定图中每个节点的label。MRF相比其他方法的优势是:1)提供了一种principled method来对Prior knowledge建模,2)MRF可以很容易用定量的方法描述contextual information。 因此,相比其它pixel-based, 或local-based 方法,它可以考虑到环境知识的影响,如果建立的图模型得当,进而可能获得全局最优解释,这样正是向human vision更靠近了一步。 说到MRF的Inference,首先必须有 graph construction, parameter learning,最后才是Inference,图的创建一般是对问题本身的建模,比如在image restoration 和image segmentation中,常用到4-neighborhood或8-neighborhood的pairwise模型,这样,4-或8-相邻的像素中间便用边连接,这样的模型就是paradigmatic pairwise Markov model,如果要加入高阶(=3)的potential,相当于我们引入了更多的约束,比如:connectivity 约束、非基督分类结果的约束..., 说到非监督分类结果的约束,要注意的是:一定是其他分类方法,而非MRF本身的分类结果累构成新的约束。 MRF中参数学习方法在此略过,后续补充。 下面重点说MRF inference问题,即解求能量函数最小能量的问题。对于经典的只有unary 和 binary potential的MRF模型,graph cut已经能够在Linear time内进行求解,如果加入更高的potential,虽然问题本身可能变成了NP-hard,仍然有很多近似算法,比如Loopy belief propagation(LBP),tree-reweighted message passing(TRW),Metropolis-Hastings,MCMC等等。撇开这些方法,其实问题的实质是 energy minimization,值得一提的是CVPR现在有个workshop是专门讨论这个问题的,叫做energy minimization methods in computer vision and pattern recognition (EMMcvpr). 组织者是:Yuri Boykov(UWO), Fredrik Kahl, Victor Lempitsky,Vladimir Kolmogorov(UCL), Olga Veksler(UWO),个个都活跃在算法、离散数学、变分法、图论等领域的前沿,所以大家对能量最小化的优化方法感兴趣的可以经常关注这些教授的主页,他们也主要做计算机视觉方面的应用,所以他们的publication会多数发表在ICCV,CVPR,ECCV,NIPS上面。 上面粗要的概述了MRF的三个步骤,下面谈谈自己对MRF的看法: 1)虽然它是通过MAP获得整体的maximal likely solution,但是,如果对问题本身建模时,只考虑到了局部约束,则:MRF得到的结果仍然是局部的,比如考虑最经典的影像分割,如果只用到pairwise Model,则很可能把一个完整的物体分割成了2块甚至更多块。2)当引入更多的constaints时,不同的约束如果非独立,而通常,我们使用Gibbs Distribution来描述Markov Network,不同的potential是相加的关系,转化到概率,则是相乘,就是不独立的两个clique直接相乘了,所以此时存在参数的冗余(redundency),所以Parameter learning时,要解决这个问题 (这个问题在测量数据处理中叫 参数的显著性检测)。 下面分享一些好的资料: A tutorial of MRF on CV: Markov random field models in computer vision (E CCV 94, S.Z. Li) MRF inference, Prof. Yuri: http://www.csd.uwo.ca/~yuri/ Prof. Richard Szeliski : A comparativestudy of energy minimization methods for markovrandom fields . Richard 的计算机视觉教材 Computer Vision: algorithms and applications 正在被全球很多大学使用,有取代 Computer Vision:a modern approach, multiview geometry in computer vision 等权威教材的趋势。 code: http://vision.middlebury.edu/MRF/
7982 次阅读|0 个评论
introduction to reinforcement learning
jiangdm 2012-3-1 11:11
introduction to reinforcement learning
Contents 1 source code 2 source code: Reinforcement Learning Toolbox: http://www.igi.tugraz.at/ril-toolbox/general/overview.html RL in Wiki: http://en.wikipedia.org/wiki/Reinforcement_learning#References 强化学习分类: -- 函数估计 function approximation -- 分层强化学习 hierarchical reinforcement learning -- 关系强化学习 relational reinforcement learning -- Bayes logic network -- Logic decision tree survey: A Survey of Reinforcement Learning in Relational Domains.pdf 耿直 《因果挖掘的若干统计方法》 -- 井底之蛙 -- 替罪羔羊 -- 盲人摸象 -- 纲举目张 -- 寻根问底 + 顺藤摸瓜 分类学习:模型选择、模型集成、正则化技术(regularization) 多示例多标记学习
个人分类: AI & ML|1 次阅读|0 个评论
[转载]Future work on social tagging
timy 2012-2-28 00:31
Future work on social tagging The results from evaluations of social tags by experienced indexers in MELT highlighted a number of interesting issues that need further validation and investigation. Social tagging, as a feature in a conventional learning resource repository, is a very new phenomenon and it will take time before those interested in this approach have well developed evaluation methodologies and tools in this new context. Nevertheless, the MELT analysis shows that: Tags that expert indexers don't understand mostly constitute ‘noise’, but there are exceptions to this (see 2). Some tags travel across languages; i.e. people understand them even if they do not speak the language. These “travel well” tags can support retrieval in a multilingual context by facilitating the cross-border retrieval of resources. Some tags are understood only by a sub-group of users (e.g. “esl” = English as a Second Language) enhancing cross-border use and adding value for these sub-groups, but mostly they constitute ‘noise’ to others. Some tags correspond to descriptors in the LRE Thesaurus and can be used as indexing keywords for a resource, especially when the existing indexing is poor or the tag represents a narrower term. ”Thesaurus tags” can be used to determine the language equivalences between keywords, and affinities between tags and indexing keywords. Thesaurus terms could be used in order to determine affinities between tags, thus helping describe resources, as well as retrieval of resources in multiple languages. Tags can lead to interesting non-descriptors in the thesaurus and thus facilitate and enhance multilinguality. Tags can help enrich the thesaurus in terms of suggesting new descriptors based on how users have used tags to describe resources. Lots of food for thought here that can be investigated further once a critical mass of user-generated tags has been accumulated as a result of many thousands of teachers using the public version of the LRE portal in 2009. Look out for a fast expanding LRE tag cloud! The LRE tag cloud in May 2009
个人分类: 信息组织|0 个评论
科研的境界:追求极致
热度 1 xbjin 2012-2-12 21:11
昨天,我看了一篇发表在机器学习顶级杂志JRML上的文章,总共55页,作者在2007年就提出了算法的一般框架发表在KDD会议上,完整长文2010年终于发表了!才读了2/3,不得不佩服作者的认真和追求极致的态度! 作者把这个一般算法用到各个领域,不管是机器学习的理论领域包括struct learning, ranking learning,classification, regression learning还是应用领域human action recognition等,甚至包括当前比较热的算法的并行化执行都考虑到了,全文引经据典,把当前涉及的各个热点全部用了一遍,最后的1/3便是算法的 收敛性证明。无论是理论,还是应用,叫你无话可说! 倒是应了小沈阳的那句话,“走别人的路,让别人无路可走!”你要是还想用这个算法框架,不管是做理论,还是做应用,都得引用他的文章,因为他已经做过了!汗颜! 照在中国当前只求量不求质的思维,这55页发10篇会议文章都有可能!人家全部浓缩到一篇文章里面了!让我想起了一个笑话:有一个美国数学教授有一个很好 的命题,当他带第一个博士时,他让学生证n=1时成立,然后学生顺利毕业了,当带第2个学生时,他又让学生证n=2时成立,第二个博士生也证明了n=3, 但是第4个博士生让他郁闷了,因为他证明了n为任意自然数,命题均成立!他不能再让学生做这个了!我所看的这篇文章的作者在某种程度上像最后的那个博士 生,因为他把就当前这个算法框架下所涉及到的问题基本上都考虑到了! 这就是做科研的境界:追求极致!
4067 次阅读|1 个评论
machine learning introduction
jiangdm 2012-2-6 09:35
书籍: 1. 入门好书《Programming Collective Intelligence》,培养兴趣是最重要的一环,一上来看大部头很容易被吓走的:P 2. Peter Norvig 的 《AI, Modern Approach 2nd》(无争议的领域经典),上次讨论中 Shenli 使我开始看这本书了,建议有选择的看,部头还是太大了,比如我先看里面的概率推理部分的。 3. 《The Elements of Statistical Learning》,数学性比较强,可以做参考了。 4. 《Foundations of Statistical Natural Language Processing》,自然语言处理领域公认经典。 5. 《Data Mining, Concepts and Techniques》,华裔科学家写的书,相当深入浅出。 6. 《Managing Gigabytes》,信息检索经典。 7. 《Information Theory:Inference and Learning Algorithms》,参考书吧,比较深。 相关数学基础(参考,不是拿来通读的): 《矩阵分析》,Roger Horn。矩阵分析领域无争议的经典。 《概率论及其应用》,威廉·费勒。也是极牛的书。 线性代数的? 《Nonlinear Programming, 2nd》非线性规划的参考书。 《Convex Optimization》凸优化的参考书 Bishop Pattern Recognition and Machine Learning 工具: 1. Weka (或知识发现大奖的数据挖掘开源工具集,非常华丽 Tom Michell 主页上 Andrew Moore 周志华 统计机器学习概论 .ppt 强化学习.ppt 机器学习研究进展.ppt 机器学习及其挑战.ppt AdvanceML.ppt 机器学习研究及最新进展.pdf
个人分类: ML|1 次阅读|0 个评论
强化学习 + agent
jiangdm 2012-2-2 16:44
强化学习 + agent
##一种新的多智能体Q 学习算法 郭锐 吴敏 彭军 彭姣 曹卫华 自动化学报 Vol. 33, No. 4 2007 年4 月 摘要 针对 非确定马尔可夫环境 下的多智能体系统, 提出了一种新的多智能体Q 学习算法. 算法中通过对联合动作的统计来学习其它智能体的行为策略, 并利用智能体策略向量的全概率分布保证了对联合最优动作的选择. 同时对算法的收敛性和学习性能进行了分析. 该算法在多智能体系统RoboCup 中的应用进一步表明了算法的有效性与泛化能力. 关键词: 多智能体, 增强学习, Q 学习 1 引言 机器学习 根据反馈的不同将学习分为: --监督学习 -- 非监督学习: 增强学习(Reinforcement learning) {一种以反馈为输入的自适应学习方法} 多智能体系统(Multi-agent systems) : 合作进化学习 Mini-Max Q学习算法 FOF Q 学习算法: 竞争 + 合作 2 多智能体Q 学习 2.1 多智能体Q 学习思想 增强学习 + 多智能体系统. the arising difficulties: -- 首先必须改进增强学习所依据的环境模型 -- 再者, 在多智能体系统中, 学习智能体应学习其它智能体的策略, 系统当前状态到下一状态的变迁 由学习智能体与其它智能体的动作决定, -- 2.2 多智能体Q 学习算法 学习策略 期望累计折扣回报 引入多个智能体的行为: 迭代: 多智能体Q 学习算法: 2.3 算法收敛性和有效性分析 2.3.1 算法收敛性证明 2.3.2 算法有效性分析 PAC 准则 3 学习算法在RoboCup 中的应用 RoboCup 机器人仿真足球比赛 4 结论 I comment: I will study reinforcement learing in MAS in the next step. the Q-learing algorithm for MAS will provide some insight and references to my future study. 一种新的多智能体Q学习算法.pdf this paper written by the same correspond author, which emphasize the architecture of agent in MAS: 一种新的多智能体系统结构及其在RoboCup中的应用.pdf *** ##一种新颖的多agent强化学习方法 周浦城, 洪炳镕, 黄庆成 电子学报 2006-8 摘要 : 提出了一种综合了模块化结构、利益分配学习以及对手建模技术的多agen t强化学习方法, 利用 模块化学习结构来克服状态空间的维数灾问题, 将Q􀀁学习与利益分配学习相结合以加快学习速度, 采用基于观察的对手建模来预测其他agent的动作分布. 追捕问题的仿真结果验证了所提方法的有效性. 关键词: 多agen t学习; Q学习; 利益分配学习; 模块化结构; 对手建模 1 引言 多agen t系统 + 强化学习: 1) 一种方式将多agent系统作为单个学习agent, 借助单agent强化学习 维数灾问题. 2) 另一种方式系统中每个agent拥有各自独立的强化学习机制. 由于多个agent协同学习, Note:对比 协同进化 2 强化学习 2.1 Q学习 Q-learning: 一类似于动态规划的强化学习方法 2.2 利益分配学习 Profit Sharing, PS 学习: 强化学习算法 3 提出的模块强化学习方法 学习agen t由三种模块构成: (1)学习模块LM, 实现强化学习算法. (2) 对手模块OM, 用于通过观察其他agent的动作来得到其动作分布估计, 以便评估自身动作值. (3) 仲裁模块MM, 用来综合学习模块和对手模块的结果. 3.1 对手建模 MAS: agent的动作效果 = 外界环境 + Other agents动作影响. 3.2 混合强化学习算法 author idea: PS-learning + Q-learning 3.3 仲裁模块决策 3.4 多agent学习过程 4 仿真 4.1 追捕问题 I comment: one of authors is Prof. 洪炳镕, whose robotic dance group attend the festival celebration of Spring in 2012. from various information source, I believe he and his team may be develop some program to collaborate robot dance and the kernel of system also come from the commerical product of foreign company. 一种新颖的多agent强化学习方法.pdf
个人分类: ML|3 次阅读|0 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-4 00:58

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部