科学网 › 标签 › 稀疏表示

标签: 稀疏表示

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

见IEEE神文一篇，数独和稀疏表示的联系！牛！！: 热度 5 muyishanshui 2012-12-5 16:48; 除了惊叹于自然界的神奇外，我感叹的是老外如此般的探索精神，国内的学术气氛是否过于死板了？？; 5397 次阅读|15 个评论

[转载]被逆袭的Sparse Representation: 热度 1 wangdongice 2012-9-11 16:38; 转自： http://lisie.hdu.edu.cn/passionke/?p=1362 俗话说7年之痒，Sparse Representation用在模式识别和机器视觉上已经有些年头了，论文也可以说遍地开花，在denoising, inpainting, recognition等领域都有很好的成果出来。但是Sparse这个被primate cortex研究inspired出来的东西，尤其以Yi Ma学生的那篇SRC人脸识别为代表，总被人觉得理论基础太不扎实——虽然公式高中生都能看懂，效果也不错——但是终究有些心虚。果不其然， 2010年和2011年有3篇论文出来开始公开质疑稀疏表示的作用。 Are Sparse Representation Really Relevant for Image Classification？ Roberto Rigamonti et al. （CVPR2011） Is face recognition really a Compressive Sensing problem？ Qinfeng Shi et al. （CVPR2011） Sparse Representation or Collaborative Representation: Which Helps Face Recognition？ Lei Zhang et al. （ICCV2011）几个有趣的地方：一是这三篇文章都以问句做题，这在CVPR和ICCV论文中并不常见。二是这几位作者其实正是一直在研究稀疏表示，但是偶然发现其实实验中稀疏的作用似乎不是那么大第一篇文章是设定了一个 Classification Pipeline ，包括 Pre-Processing-(Sparse) feature extraction - non-linearity - pooling - classification 第一步是预处理第二步是特征提取，在这个阶段可能加入稀疏限制第三步是非线性滤波第四步是所谓pooling，应该就是指下采样。最后一步进行分类。（这个架构是基于primate visual cortex模型建立的，有一篇05年综述性文章值得一看，叫做 Computer Science and Artificial Intelligence Laboratory Technical Report A Theory of Object Recognition : Computations and Circuits in the Feedforward Path of the Ventral Stream in Primate Visual Cortex 认知学上的这些东西永远是Vision工作的出发点，所以有必要经常follow一下，这个我们以后再谈.）作者通过大量实验证明在特征提取阶段用简单的卷积滤波效果和加入稀疏限制解组合优化来进行字典学习效果不相上下注意和我们平时所知道的wavelet分解，PCA，核PCA，NMF等特征提取方法不同，这些方法关注的都是怎样降维以便于分类。但是稀疏却反其道而行之，试图把维数升高（因为使用过完备的字典），但是高维向量中只有少数的Entry非零。【这里的维数升高应该指的是Coding Vector的维数。】第二篇文章和第一篇文章同样发表在CVPR2011上，但第三篇文章颇有灌水的嫌疑了，基本上重复了Shi的工作，炒了一个所谓协同表示的概念就发iccv了。【持相反观点：协同表示的概念和分析还是很清晰的，很有效地说明了Ma Yi的SRC人脸分类器work好的真实原因。】; 个人分类: 稀疏表示|7672 次阅读|1 个评论

[转载]L1范数: wangdongice 2012-9-11 15:50; 转自 http://hi.baidu.com/jrjian/blog/item/829a5decb63a3d3626979186.html 通常情况下，欠定线性方程是没有唯一解的，如果加上其他的条件则可以缩小解得范围，比如加上二范数最小化这个条件，则方程可以得到最小范数解，该解唯一，我们知道二范数是能量的度量单位，它是用来度量重构误差的，如果我们不用二范数改用另外的附加条件，比如稀疏性，要求方程的解具有最小数目的非零项，也就是零范数，那么方程到底有没有唯一解，怎么证明求得的是全局解而不是局部解，此外假设有全局的唯一解，那么求解过程呢，是一个NP问题，既然零范数具有现实意义，那么可不可以找它的近似解呢，这就引出了 l1范数最小化问题，用1范数来代替0范数的话，他们最终求的解是不是一致，是不是1范数求的解一定是0范数解的近似值，这两个解得误差有多大，是不是可以被接受，当然这些问题不属于我们这些搞图像处理的小鱼小虾来研究，我们只需要接受结果就行，剩下的证明推导是那些搞应用数学的大牛的事情。再看一下信号处理领域的Sparse，我们应该熟悉 JP EG跟JPEG2000的区别吧，JPEG的核心算法是DCT，而后者是DWT ，本质上，这两种处理方法都是将信号从一个域变换到另外一个域（把坐标系进行旋转，将信号投影到不同的基上），从而获得信号的稀疏表示，即用最少的系数来表示信号，不过DWT比DCT更加稀疏而已。信号不同，对应最稀疏表达的基也会不同，比如，对于一维信号可能小波基是最稀疏的，而对于图像而言，可能那些Curvelet和contourlet是最优的，对于有些信号，也有可能需要将几种基结合起来才是最优的。当然，我们可以通过求解零范数问题来得到信号的最稀疏表达。人们习惯于用正交基来表示信号，直到最近几十年，人们才发现用冗余的基元素集合来表示信号能够取得更好的结果，当然我们追求的肯定是用最小数量的基元素来最优的表示信号，这就出现了信号的稀疏表示。 L1范数最小化最早并不是Donoho提出的，早在80年代，Fadil Santosa 和William Symes就曾提出了L1范数的最小化，而 Donoho提出Compressed sensing 并不是换汤不换药， CS并不是解决信号在一个完备集里面的最优表示问题的，而是提出了一种新的信号采集或者测量方式，这种新的测量方式打破了Shannon-Nyquist定理在信号处理领域一手遮天的局面，已经提出，就引起了相关领域大批学者的关注。 Shannon-Nyquist采样定理要求在信号的采集阶段以高于信号带宽的两倍采样率来获取信号，信号才能得到完美的重构，而 CS则对信号的带宽不再作要求，取而代之的是稀疏性，满足条件的信号则可在远少于SN采样率的情况下精确的重构信号。从数学上来说，CS是在一定的条件下求解欠定方程，条件包括x要是稀疏的，测量矩阵要满足RIP条件，那么欠定方程就会以很大的概率有唯一解当然求解信号的稀疏表达问题，被分成两种类型： L1范数最小化，和启发式的贪婪算法。 L1范数最小化是通过用L1范数来近似0范数，取1而不取1/2,2/3或者其他值，是因为 1范数最小化是凸优化问题，可以将求解过程转化成有一个线性规划问题。; 个人分类: 稀疏表示|3852 次阅读|0 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 稀疏表示

相关帖子

相关日志

关闭安全验证