科学网

 找回密码
  注册

tag 标签: 最优化

相关帖子

版块 作者 回复/查看 最后发表

没有相关内容

相关日志

0036:攻博记的十月份任务
cwhe10 2017-10-2 21:17
2017年10月份目标: 1.完成卡尔曼系统理论的学习,看完 秦永元老师写的《卡尔曼滤波与组合导航原理 (第3版)》和 严恭敏老师写的《捷联惯导算法与组合导航原理讲义 》(下载地址: http://blog.sina.com.cn/ygm905 ),还有 《最优状态估计,卡尔曼,H∞及非线性滤波》 (该书电子版下载地址: http://download.csdn.net/download/lzwdsrsy/9924613 或者 http://bbs.pinggu.org/thread-2893877-1-1.html ) 2.尽量对 最优化理论(低度下降) 有所系统性学习,重点参考袁亚湘院士的著作或者论文; 3.与外单位人员合作完成PDR行人惯性导航软件的研制与算法开发! 4.如果还有时间的话,尝试对严老师的书进行公式推倒,重点关注四元数的求导与使用! 何成文 中科院测地所 2017-10-2 21:15 不可见
个人分类: 科学研究|481 次阅读|0 个评论
反问题、最优化和陷阱
热度 1 zoumouyan 2015-8-30 20:56
反问题、最优化和陷阱 邹谋炎 最优化方法对于处理数学物理反问题已经变得流行。在研究论文中,这是增加“颜值”的有效捷径。以图像处理问题为例,“IEEE Trans. On Image Proc.”这个杂志,几乎每期都成了“巨无霸”,说明热度非凡。凡和“反问题”相关联的问题,如成像、复原、超分辨重建、稀疏重建、去噪,等等,处理办法变得很八股:定义一个价格函数由两项组成:最小化第一项表达原本问题对解的限制,最小化第二项是为克服病态引入的对解的附加限制。反问题的病态表现为第一项的最小化不足以限定解的唯一性,需要第二项来帮忙。这个方法称为“Regularization”,有人译为“正则化”,译为“规整化”似更合理,因为它和汉义“正则”完全是不同的含义。问题在于,实现Regularization对第二项的选择会因人而异、因观点而异。对第二项的许多种选择都可以定解,但不同第二项选择导致的解是实实在在不同的!那么,对第二项的哪一种选择能导致物理上希望的真解?恰恰这个基本问题数学家们并没有找到答案。事实上,许多文章从数学看很漂亮,但结果并不理想。这样的文章在当前的许多种刊物,包括国内外顶级学术刊物处处可见,不单是本文提到的那个杂志。 图像超分辨和稀疏重建是典型例子。论文延绵不断,有的作者报道的仿真例子看起来还不错,但明显没有达到希望的目标。有人以为构造一个凸的价格函数能够解决问题,事实并非如此。原因不难理解:数学上的定解并没有证明所定的解就是物理上希望的真解。职业研究者(例如教授们)应该有敏感性,或者问一问,这条路子继续走下去会如何?而本文主要是希望给年轻研究者一个提醒,对数学漂亮的论文和方向要学会审视。追热研究道路上的陷阱非常多,如果陷下去,有可能只得到熬白头这个结果。 笔者绝非对最优化方法处理反问题持完全否定的态度,只是说这种方法的能力很有限。有进取精神的研究者不应该受限于一种套路。 笔者不反对博士生们仍然使用这个套路出论文,那仅仅是因为多数博士生创造能力和时间受限,而又希望按时毕业,并且SCI对此常常也青睐。 怎么办?笔者认为发掘物理途径是职业研究者解决问题的可能方法。回归到原来的物理问题,重新认识现象和过程,看看能不能找到提升技术、添加辅助观测、发掘物理约束的办法。如果你的原问题来源于实际而不是来源于书本杂志,你可能会找到许多出路并有所发现。 (在基金评审中感觉此问题似有普遍性,故提出供研究者参考)。
11106 次阅读|4 个评论
[转载]深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
Xtravel 2014-7-14 10:29
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却不知道为什么拉格朗日乘子法(Lagrange Multiplier) 和KKT条件能够起作用,为什么要这样去求取最优值呢? 本文将首先把什么是拉格朗日乘子法(Lagrange Multiplier) 和KKT条件叙述一下;然后开始分别谈谈为什么要这样求最优值。 一. 拉格朗日乘子法(Lagrange Multiplier) 和KKT条件 通常我们需要求解的最优化问题有如下几类: (i) 无约束优化问题,可以写为: min f(x); (ii) 有等式约束的优化问题,可以写为: min f(x), s.t. h_i(x) = 0; i =1, ..., n (iii) 有不等式约束的优化问题,可以写为: min f(x), s.t. g_i(x) = 0; i =1, ..., n h_j(x) = 0; j =1, ..., m 对于第(i)类的优化问题,常常使用的方法就是Fermat定理,即使用求取f(x)的导数,然后令其为零,可以求得候选最优值,再在这些候选值中验证;如果是凸函数,可以保证是最优解。 对于第(ii)类的优化问题,常常使用的方法就是拉格朗日乘子法(Lagrange Multiplier) ,即把等式约束h_i(x)用一个系数与f(x)写为一个式子,称为拉格朗日函数,而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导,令其为零,可以求得候选值集合,然后验证求得最优值。 对于第(iii)类的优化问题,常常使用的方法就是KKT条件。同样地,我们把所有的等式、不等式约束与f(x)写为一个式子,也叫拉格朗日函数,系数也称拉格朗日乘子,通过一些条件,可以求出最优值的必要条件,这个条件称为KKT条件。 (a) 拉格朗日乘子法(Lagrange Multiplier) 对于等式约束,我们可以通过一个拉格朗日系数a 把等式约束和目标函数组合成为一个式子L(a, x) = f(x) + a*h(x), 这里把a和h(x)视为向量形式,a是横向量,h(x)为列向量,之所以这么写,完全是因为csdn很难写数学公式,只能将就了.....。 然后求取最优值,可以通过对L(a,x)对各个参数求导取零,联立等式进行求取,这个在高等数学里面有讲,但是没有讲为什么这么做就可以,在后面,将简要介绍其思想。 (b) KKT条件 对于含有不等式约束的优化问题,如何求取最优值呢?常用的方法是KKT条件,同样地,把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + a*g(x)+b*h(x),KKT条件是说最优值必须满足以下条件: 1. L(a, b, x)对x求导为零; 2. h(x) =0; 3. a*g(x) = 0; 求取这三个等式之后就能得到候选最优值。其中第三个式子非常有趣,因为g(x)=0,如果要满足这个等式,必须a=0或者g(x)=0. 这是SVM的很多重要性质的来源,如支持向量的概念。 二. 为什么拉格朗日乘子法(Lagrange Multiplier) 和KKT条件能够得到最优值? 为什么要这么求能得到最优值?先说拉格朗日乘子法,设想我们的目标函数z = f(x), x是向量, z取不同的值,相当于可以投影在x构成的平面(曲面)上,即成为等高线,如下图,目标函数是f(x, y),这里x是标量,虚线是等高线,现在假设我们的约束g(x)=0,x是向量,在x构成的平面或者曲面上是一条曲线,假设g(x)与等高线相交,交点就是同时满足等式约束条件和目标函数的可行域的值,但肯定不是最优值,因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部,使得新的等高线与目标函数的交点的值更大或者更小,只有到等高线与目标函数的曲线相切的时候,可能取得最优值,如下图所示,即等高线和目标函数的曲线在该点的法向量必须有相同方向,所以最优值必须满足:f(x)的梯度 = a* g(x)的梯度,a是常数,表示左右两边同向。这个等式就是L(a,x)对参数求导的结果。(上述描述,我不知道描述清楚没,如果与我物理位置很近的话,直接找我,我当面讲好理解一些,注:下图来自wiki)。 而KKT条件是满足强对偶条件的优化问题的必要条件,可以这样理解:我们要求min f(x), L(a, b, x) = f(x) + a*g(x) + b*h(x),a=0,我们可以把f(x)写为:max_{a,b} L(a,b,x),为什么呢?因为h(x)=0, g(x)=0,现在是取L(a,b,x)的最大值,a*g(x)是=0,所以L(a,b,x)只有在a*g(x) = 0的情况下才能取得最大值,否则,就不满足约束条件,因此max_{a,b} L(a,b,x)在满足约束条件的情况下就是f(x),因此我们的目标函数可以写为 min_x max_{a,b} L(a,b,x)。如果用对偶表达式: max_{a,b} min_x L(a,b,x),由于我们的优化是满足强对偶的(强对偶就是说对偶式子的最优值是等于原问题的最优值的),所以在取得最优值x0的条件下,它满足 f(x0) = max_{a,b} min_x L(a,b,x) = min_x max_{a,b} L(a,b,x) =f(x0),我们来看看中间两个式子发生了什么事情: f(x0) = max_{a,b} min_x L(a,b,x) = max_{a,b} min_x f(x) + a*g(x) + b*h(x) = max_{a,b} f(x0)+a*g(x0)+b*h(x0) = f(x0) 可以看到上述加黑的地方本质上是说 min_x f(x) + a*g(x) + b*h(x) 在x0取得了最小值,用fermat定理,即是说对于函数 f(x) + a*g(x) + b*h(x),求取导数要等于零,即 f(x)的梯度+a*g(x)的梯度+ b*h(x)的梯度 = 0 这就是kkt条件中第一个条件:L(a, b, x)对x求导为零。 而之前说明过,a*g(x) = 0,这时kkt条件的第3个条件,当然已知的条件h(x)=0必须被满足,所有上述说明,满足强对偶条件的优化问题的最优值都必须满足KKT条件,即上述说明的三个条件。可以把KKT条件视为是拉格朗日乘子法的泛化。
2395 次阅读|0 个评论
[转载]无约束最优化方法
zhangyuan1012 2012-7-27 00:34
无约束最优化方法 梯度的方向与等值面垂直。 二次收敛是指一个算法用于具有正定二次型函数 时,在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系,更不是一回事,二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。 黄金分割法 黄金分割法适用于任何单峰函数求极小值问题。 求函数在 上的极小点,我们在 内取两点c,d,使得acdb。并且有 1)如果f(c)f(d),则最小点出现在 上,因此 成为下一次的搜索区间。 2)如果f(c)f(d),则 成为下一次的搜索区间。 假如确定了 是新的搜索区间,我们并不希望在 上重新找两个新的点使之满足(1)式,而是利用已经抗找到有c点,再找一个e点,使满足: 可以解得r=0.382,而黄金分割点是0.618。 练习:求函数f(x)=x*x-10*x+36在 上的极小值。 View Code 最速下降法 X沿D方向移动步长a后,变为X+aD。由泰勒展开式: 目标函数: a确定的情况下即最小化: 向量的内积何时最小?当然是两向量方向相反时。所以X移动的方向应该和梯度的方向相反。 接下来的问题是步长a应该怎么定才能使迭代的次数最少? 若f(X)具有二阶连续偏导,由泰勒展开式可得: H是f(X)的Hesse矩阵。 可得最优步长: g是f(X)的梯度矩阵。 此时: 可见最速下降法中最优步长不仅与梯度有关,而且与Hesse矩阵有关。 练习:求函数f(x1,x2)=x1*x1+4*x2*x2在极小点,以初始点X0=(1,1)T。 View Code 梯度下降法开始的几步搜索,目标函数下降较快,但接近极值点时,收敛速度就比较慢了,特别是当椭圆比较扁平时,收敛速度就更慢了。 另外最速下降法是以函数的一次近似提出的,如果要考虑二次近似,就有牛顿迭代法。 牛顿迭代法 在点X k 处对目标函数按Taylar展开: 令 得 即 可见X的搜索方向是 ,函数值要在此方向上下降,就需要它与梯度的方向相反,即 。所以要求在每一个迭代点上Hesse矩阵必须是正定的。 练习:求 的极小点,初始点取X=(0,3)。 View Code 二次函数 ,若Q是正定的,则称f(X)为正定二次函数。 牛顿法是二次收敛的,并且收敛阶数是2。一般目标函数在最优点附近呈现为二次函数,于是可以想像最优点附近用牛顿迭代法收敛是比较快的。而在开始搜索的几步,我们用梯度下降法收敛是比较快的。将两个方法融合起来可以达到满意的效果。 收敛快是牛顿迭代法最大的优点,但也有致命的缺点:Hesse矩阵及其逆的求解计算量大,更何况在某个迭代点X k 处Hesse矩阵的逆可能根本就不存在(即Hesse矩阵奇异),这样无法求得X k+1 。 拟牛顿法 Hesse矩阵在拟牛顿法中是不计算的,拟牛顿法是构造与Hesse矩阵相似的正定矩阵,这个构造方法,使用了目标函数的梯度(一阶导数)信息和两个点的“位移”(X k -X k-1 )来实现。有人会说,是不是用Hesse矩阵的近似矩阵来代替Hesse矩阵,会导致求解效果变差呢?事实上,效果反而通常会变好。 拟牛顿法与牛顿法的迭代过程一样,仅仅是各个Hesse矩阵的求解方法不一样。 在远离极小值点处,Hesse矩阵一般不能保证正定,使得目标函数值不降反升。而拟牛顿法可以使目标函数值沿下降方向走下去,并且到了最后,在极小值点附近,可使构造出来的矩阵与Hesse矩阵“很像”了,这样,拟牛顿法也会具有牛顿法的二阶收敛性。 对目标函数f(X)做二阶泰勒展开: 两边对X求导 当X=X i 时,有 这里我们用H i 来代表在点X i 处的Hesse矩阵的逆,则 (5)式就是拟牛顿方程。 下面给出拟牛顿法中的一种- -DFP 法。 令 我们希望H i+1 在H i 的基础上加一个修正来得到: 给定E i 的一种形式: m和n均为实数,v和w均为N维向量。 (6)(7)联合起来代入(5)可得: 下面再给一种拟牛顿法-- BFGS 算法。 (8)式中黑色的部分就是DFP算法,红色部分是BFGS比DFP多出来的部分。 BFGS算法不仅具有二次收敛性,而且只有初始矩阵对称正定,则BFGS修正公式所产生的矩阵H k 也是对称正定的,且H k 不易变为奇异,因此BFGS比DFP具有更好的数值稳定性。 共轭方向法 最速下降法有锯齿现像,收敛速度慢;而牛顿法需要计算Hesse矩阵而计算量大。共轭方向法收敛速度界于两者之间,具有二次收敛性。共轭方向法属于效果好而又实用的方法。 由于一般目标函数在最优点附近呈现为二次函数,因此可以设想一个算法对于二次函数比较有效,就可能对一般函数也有较好效果。共轭方向法是在研究对称正定二次函数的基础上提出来的。 则称两个向量P 0 和P 1 为Q的共轭向量。当Q为单位向量时,有 ,所以“共轭”是“正交”的推广。 对于二次正定函数,从任意点X 0 出发,沿任意下降方向P 0 作直线搜索得到X 1 ,再从X 1 出发,沿与P 0 共轭的方向P 1 作直线搜索,即可得到f(X)的极小点。 当一组向量P i (i=1,2,...,n-1)为Q共轭时,从任意点出发,依次沿P 0 ,P 1 ,P 2 ,...,P n-1 方向作下述算法的直线搜索,经过n次迭代必定收敛于正定二次函数的极小点。 为确定最优步长t k ,令 现在问题是如何产生一组关于Q共轭的向量?这里一种叫作Gram-Schmidt的方法。 取线性无关的向量组V 0 ,V 1 ,...,V n-1 ,例如取n个坐标轴的单位向量。 取P 0 =V 0 . 上面的方法都是针对目标函数为正定二次函数的,对于一般非二次函数,可以通过二次近似。 这就是f(X)在极小点X*处的近似, 是Hesse矩阵,相当于Q,由于X*未知,但当X 0 充分接近于X*时,可用 近似代替 ,从而构造共轭向量。 理论与实践证明,将二次收敛算法用于非二次的目标函数,亦有很好的效果,但迭代次数不一定保证有限次,即对非二次n维目标函数经n步共轭方向一维搜索不一定就能达到极小点。在这种情况下,为了找到极小点,可用泰勒级数将该函数在极小点附近展开,略去高于二次的项之后即可得该函数的二次近似。实际上很多的函数都可以用二次函数很好地近似,甚至在离极小点不是很近的点也是这样。故用二次函数近似代替非二次函数来处理的方法不仅在理论分析上是重要的,而且在工程实际应用中也是可取的。 共轭梯度法 共轭梯度法是共轭方向法的一种延伸,初始共轭向量P 0 由初始迭代点X 0 处的负梯度-g 0 来给出。以后的P k 由当前迭代点的负梯度与上一个共轭向量的线性组合来确定: 对于非二次函数的优化问题,迭代次数不止n次,但共轭方向只有n个。当迭代n次后,可以把P n 重新置为最开始的P 0 ,其他的变量按原方法更新。
368 次阅读|0 个评论
人生与算法 ---研教散记之20
tangchangjie 2010-9-9 15:45
人生与算法 ---- 研教散记之20(唐常杰) 读了今天发表的迟菲博文 人生如棋 和马臻博文 也说人生如棋 , 为两篇好文喝彩。笔者曾在自然计算讲座PPT中,用这些生活现象解释那里的贪心算法和模拟退火算法;现在反过来,花几十分钟,把PPT中一些材料搬过来,为两位老师的论点补充弹药,活跃讨论气氛。    贪心使目光短浅。 四维时空中的人是多元化的,平常不贪心的人,在部分场合部分时间也可能有贪心的心理或行为。当贪心得以表现时,只顾眼前最大利益。计算机科学中的贪心算法(Greedy algorithm )模拟了这一基本思想,即每一步都追求评价函数最高值。    贪心算法容易实现 。人贪心固然不好, 但计算机科学中贪心算法是好用的,开发起来比较简易,例如,常用于快速开发简单优化程序的或游戏程序。   不贪心的人, 在生活中用会贪心算法吗?    会的,且看下面的两个例子。 例1 过公路十字路口 ,拟从A到C,在图1的 条件下,70%的人会用贪心算法,选走A--B--C的路线。通常,哪一条路径代价低(时间及其他资源),则先过该方向,先把看得见的实际利益(这里是时间)抢到手,这也是一条启发性知识。 图1过马路十字路口 ,拟从A到C 但是,贪心算法不总是快,如马臻博文所说,人算不如天算,设若刚刚走到B, 大量救火车南北方向通行,且持续10分钟,欲速不达,后悔者会说,早知如此,何不当初选择路径A--D--C? 在晋升中级职称时,有人在选择走“教学系列”,还是“研究系列”方面踌躇徘徊,与此例相近。 例2 求职,找工资高的单位。 图2 求职,找工资高的单位 当事人做了一个(目光较短的)探测,发现工资西高东低,决定往西走,找一个极大值点。事实上,如果目光远一些,往东走,容忍一时的下降,两落两起后,可达到全局部的最优。此例有时候也称为为盲人爬山,手里面有一个一米多的手杖,探测梯度,往梯度大的方向走,因为探测棒太短,所以没有远见。       模拟退火算法是对贪心算法的批判 图2表明,如能坚持对东方的信念,允许偶尔(按一定概率)的失败,往东穿过低谷,达到一个更高山峰的脚下,最后登上全局优化点,这就是模拟退火算法的思想。在常出现局部收敛(或早熟)的应用场合,程序员会舍“贪心”而取“退火”。现实生活中,许多伟人坚持信念,几起几落,最后终于登上顶峰。 小姐与丫环 。戏曲中,穆桂英出场之前,先有一位武艺超群,容貌漂亮的丫环亮相,给剧中的杨宗保和剧外的观众一个悬念:丫环竟如此,小姐当如仙。这种用丫环衬托小姐的方法,也用在了计算机科学的论文中,设计了一个好的算法,常常用传统的算法作丫环来比较衬托;没有丫环,也要造一个,贪心算法最好造,常常扮演丫环角色;电器制造和销售中,也用丫环机型,根本没打算卖多少,让用户有个比较,衬托厂家利润大的“小姐机型”。 坚持信念,也是算法 。人生中,有时候受条件限制,无法预见长远,有时受环境所迫,没有多少可选择机会。此时,坚持信念,尽可能做好能作的每一步,就是胜利。严格地说起来,“尽可能做好能作的每一步”,用的就是贪心算法;这是 无贪婪之心,用贪心之法;虽然慢一点,但不乏成功者;在茫茫人海中,登上一个局部优化的山峰,也是成功。。   有人说,40岁以前可跳几次槽,40岁以后不再跳槽,这就是工程上常用的两阶段爬山法,40岁以前模拟退火算法,旨在跳出局部优化点,寻找较高山峰下的坡面,40岁以后用贪心算法,“尽可能做好能作的每一步”,脚踏实地登山,不失为一个可参考的启发性知识。 相关博文(研究生全面成长系列) 小小突发事件和研究生责任感历练 作科研要学会承受失败- 人生中的等待和等待的魅力 在统计意义上喜欢这样的学生 人生与算法 善对论文评审意见的宽严与长短 计算机改变了我们的学习方式和记忆观 路与人,以及科研选题----节日感怀(图文) 爱情的点线面体,兼议引文标注 到了新团队,没有事情做才是最难最难的--兼毕业生赠言 为什么哥哥姐姐比爷爷奶奶更有影响力 跨辈交流也求新 在哪些合, 宁用技术而不动用管理和政策 弱水三千,我取一瓢饮 –-搬家有感 你用什么时间来猜想 ? 其它系列博文的入口 唐常杰博客主页 科学博客主页
个人分类: 科普札记|13656 次阅读|18 个评论
关于椭圆和Q-共轭的几何解释
热度 1 zoumouyan 2009-7-13 20:25
关于椭圆和 Q -共轭的几何解释 邹谋炎 提要:共轭梯度法是最优化计算的重要方法。学生们 在学习时常常对Q-共轭(或A-共轭)的几何含义感到困惑。 此注记可为学习者提供方便。 关于椭圆和Q-共轭的几何解释
个人分类: 生活点滴|7553 次阅读|1 个评论
系统优化方法与智能优化算法
热度 1 郭崇慧 2009-2-4 09:14
系统优化方法在各种工程系统、经济系统,乃至社会系统中得到了广泛的应用。最优化理论的研究也一直是一个十分活跃的领域,出版了许多最优化理论、方法和应用的著作和译作。 梯度为基础的传统优化算法具有较高的计算效率、较强的可靠性、比较成熟等优点,是一类最重要的、应用最广泛的优化算法。但是,传统的最优化方法在应用于复杂、困难的优化问题时有较大的局限性。一个优化问题称为是复杂的,通常是指具有下列特征之一:( 1 )目标函数没有明确解析表达;( 2 )目标函数虽有明确表达,但不可能恰好估值;( 3 )目标函数为多峰函数;( 4 )目标函数有多个,即多目标优化。一个优化问题称为是困难的,通常是指:目标函数或约束条件不连续、不可微、高度非线性,或者问题本身是困难的组合问题。传统优化方法往往要求目标函数是凸的、连续可微的,可行域是凸集等条件,而且处理非确定性信息的能力较差。这些弱点使传统优化方法在解决许多实际问题时受到了限制。 目前由于所研究实际系统的规模越来越大,约束条件增多,系统结构越来越复杂,多准则、非线性、不可微、不确定已成为这些复杂系统的基本特征 ,致使系统的数学建模难度越来越大,因此,探寻适合大规模计算且具有智能特征的问题求解(或信息处理)方法成为相关学科的研究热点和重要研究方向。计算智能(或软计算)就是在这种情况下出现的一个学科领域,它是由多个学科相互交叉和渗透的结果,得益于运筹学与管理科学、计算数学、人工智能、模式识别、自动控制理论等许多学科,其典型分支主要包括进化计算、神经计算与模糊逻辑等。 作为计算智能的重要研究内容,智能优化算法主要包括进化算法、模拟退火算法、人工神经网络方法、免疫算法、禁忌搜索算法、差分演化算法、蚁群算法、微粒群算法等。这类新的优化算法一般都是建立在生物智能或物理现象基础上的随机搜索算法,目前在理论上还远不如传统优化算法完善,往往也不能确保解的最优性,因而常常被视为只是一些 元启发式方法 ( meta-heuristic )。但从实际应用的观点看,这类新算法一般不要求目标函数和约束的连续性与凸性,甚至有时连有没有解析表达式都不要求,对计算中数据的不确定性也有很强的适应能力。由于这些独特的优点和机制,智能优化算法引起了国内外学者的广泛重视并掀起了该领域的研究热潮,且在诸多领域中得到了广泛应用,展示出强劲的发展势头。 参考文献: 1. 王凌 . 智能优化算法及其应用,清华大学出版社, 2001. 2. 郭崇慧,唐焕文.演化策略的全局收敛性.计算数学, 2001 , 23 ( 1 ), 105-110 3. 唐焕文,秦学志 . 实用最优化方法(第三版).大连理工大学出版社, 2004 . 4. 徐宗本 . 计算智能(第一册):模拟进化计算,高等教育出版社, 2005. 5. 邢文训,谢金星 . 现代优化 计算方法 (第二版),清华大学出版社, 2005. 6. 汪定伟,王俊伟,王洪峤,张瑞友,郭哲 . 智能优化方法,高等教育出版社, 2007.
个人分类: 科研笔记|15929 次阅读|8 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-8 00:58

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部