kevin64zhang的个人博客分享 http://blog.sciencenet.cn/u/kevin64zhang

博文

splitting augmented Lagrangian method

已有 4716 次阅读 2019-6-5 21:04 |个人分类:论文读取与总结|系统分类:科研笔记|关键词:学者

今天读到了一篇论文Unorganized Malicious Attacks Detection,里面有个splitting augmented Lagrangian method。 

作为学渣,我只听说过拉格朗日对偶,拉格朗日乘子法这两个简单的优化方法。对于这个前面还有splitting的增广拉格朗日方法毫无头绪。splitting是什么鬼?

经过搜索,发现常用的名字叫做 Split augmented Lagrangian Shrinkage Algorithm.


先百度了一下拉格朗日增广,

增广拉格朗日乘子法(Augmented Lagrange Method),是用于解决等式约束条件下的优化问题。相对于朴素拉格朗日,它增加对偶上升法的鲁棒性和放松函数f的强凸约束,使得转换后的问题能够更容易求解,不至于因条件数变大不好求

image.png

增广拉格朗日乘子法就是在原来的目标函数上加一个罚函数。罚函数因子去掉的话就是拉格朗日乘子法,乘子去掉就是罚函数法。因为有约束项,所以加上罚函数以后问题的解是不变的。然后就很自然的有了增广拉格朗日函数。

 我个人认为,惩罚项也可以看成约束条件中的范围性约束的乘子法。这只是自我误导。还有一种自我误导的想法是单纯认为让函数更凸。

image.png

image.png

这个split是什么鬼,我还没有看相关文献。不会是参数的split求解吧???!!!

对偶上升法的节奏?好吧,看着像这么个玩意。请不要随便乱取名字啊!!!!!!(好吧,最后查到了这个叫split的方法。12年的老文章,确实比ADMM等方法年纪大。)

image.png

现在问题来了, Z, X, Y 的求解顺序有什么讲究吗?理论上来说,这玩意就是和ADMM算法一样的,X,Y,Z的顺序应该没有影响。

这篇文章里的公式推导和证明还是很厉害的。

作为学渣,只能看看这些表面的东西。



https://m.sciencenet.cn/blog-3413082-1183295.html

上一篇:[转载]关于IEEE声明更新的一些看法,希望媒体能够有正确的阅读能力
下一篇:路线图---神书

0

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 23:09

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部