科学网 › 标签 › 优化算法

标签: 优化算法

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

ADMM算法的推导: horton1314 2019-10-31 15:43; 交替方向乘子法（ADMM）是一种求解具有可分离的凸优化问题的重要方法，由于处理速度快，收敛性能好，ADMM算法在统计学习、机器学习等领域有着广泛应用。ADMM算法一般用于解决如下的凸优化问题: $$\\begin{aligned}\\min f(x)+g(x)\\\\ s.t. Ax+By=c \\end{aligned} $$ 其中，$x\\in R^n$为目标函数$f(x)$的优化变量，$y\\in R^m$为目标函数$g(x)$的优化变量，$A\\in R^{p\\times n}$，$B\\in R^{p\\times m}$，$c\\in R^p$。函数$f$和$g$是凸函数。它的增广拉格朗日函数如下: $$L_p(x,y,\\lambda)=f(x)+g(y)+\\lambda^T(Ax+By-c)+(\\rho/2)\\|Ax+By-c\\|_2^2, \\rho0$$ 其中，$\\lambda$称为拉格朗日乘子，$\\rho$是惩罚参数且$\\rho0$。此时，用ADMM算法进行求解，则过程如下： $$\\begin{split} x^{k+1}:=\\arg\\min L_p(x,y,\\lambda)\\\\ x^{k+1}:=argmin L_p(x,y,\\lambda) \\\\ \\lambda:=\\lambda^k+\\rho(Ax^{k+1}+By^{k+1}-c)\\end{split} $$ 第一步简化：通过公式$2a^Tb+\\|b\\|^2_2=\\|a+b\\|^2_2-\\|a\\|^2_2$替换增广拉格朗日函数中的线性项$\\lambda^T(Ax+By-c)$和二次项$\\rho\\|Ax+By-c\\|_2^2$ $\\lambda^T(Ax+By-c)+\\rho\\|Ax+By-c\\|_2^2=\\rho/2\\|AX+By-c+\\rho/\\lambda\\|_2^2-\\rho/2\\|\\lambda/\\rho\\|_2^2$ 于是ADMM求解过程可以简化为如下形式： $$\\begin{split} x^{k+1}:=argmin (f(x)+\\rho/2\\|Ax+By^k-c+\\lambda^k/\\rho\\|^2_2\\\\ y^{k+1}:=argmin (g(y)+\\rho/2\\|Ax^{k+1}+By-c+\\lambda^k/\\rho\\|^2_2\\\\ \\lambda:=\\lambda^k+\\rho(Ax^{k+1}+By^{k+1}-c)\\end{split}$$ 第二步简化：令缩放对偶变量为$u=(1/\\rho)\\lambda$，于是ADMM求解过程再次简化为如下形式： $$\\begin{split} x^{k+1}:=argmin (f(x)+\\rho/2\\|Ax+By^k-c+\\lambda^k/\\rho\\|^2_2\\\\ y^{k+1}:=argmin (g(y)+\\rho/2\\|Ax^{k+1}+By-c+\\lambda^k/\\rho\\|^2_2 \\\\ \\lambda:=\\lambda^k+\\rho(Ax^{k+1}+By^{k+1}-c)\\end{split}$$; 个人分类: 优化|6140 次阅读|0 个评论

关于水文模型优化算法的一个你来我往、再来再往的学术交锋欣赏: hillside 2013-12-29 16:37; 浏览网页上的水文文献，发现一个就水文模型优化算法你来我往的争鸣，值得一观，遂转贴于此。 1.Effective and efficient algorithm for multiobjective optimization of hydrologic models Jasper A. Vrugt,etc http://accenigeria.org/acce/docs/books/health.pdf 2.How effective and efﬁcient are multiobjective evolutionary algorithms at hydrologic model calibration? Y. Tang, P. Reed, and T. Wagener http://www.hydrol-earth-syst-sci.net/10/289/2006/hess-10-289-2006.pdf 3.Comment on “How effective and efﬁcient are multiobjective evolutionary algorithms at hydrologic model calibration?” by Y. Tang et al., Hydrol. Earth Syst. Sci., 10, 289–307, 2006 J. A. Vrugt http://hal.archives-ouvertes.fr/docs/00/30/50/82/PDF/hess-11-1435-2007.pdf 4.Reply to J. Vrugt’s comment on “How eﬀective and eﬃcient are multiobjective evolutionary algorithms at hydrologic model calibration?” http://hal.inria.fr/docs/00/29/88/12/PDF/hessd-4-183-2007.pdf 文献2自称比文献1效果更好，文献1的作者在文献3进行了反驳。文献2的作者又撰写文献4对文献3进行了评论。说明一下：我只是浏览了一下。注：本帖原来仅发表于水科学群组，后来发现对群组外的网友可能也有阅读价值，故张贴于此。因为，争鸣是学术发展的有效促进剂。 health.pdf hess-10-289-2006.pdf hess-11-1435-2007.pdf hessd-4-183-2007.pdf; 个人分类: 水文科学|4313 次阅读|0 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 优化算法

相关帖子

相关日志

关闭安全验证