科学网 › 标签 › 稀疏编码

标签: 稀疏编码

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

最新研究进展：稀疏编码和侧向抑制的神经突触机制: fendi 2014-10-11 16:03; Sparse coding and lateral inhibition arising from balanced and unbalanced dendrodendritic excitation and inhibition . Yu et al., J Neurosci. 2014 Oct 8;34(41):13701-13. doi: 10.1523/JNEUROSCI.1834-14.2014. 我们最近刚发表在《神经科学通讯》的这篇文章揭示了神经网络系统普遍存在的稀疏编码侧向抑制的突触机制。应用嗅球系统（因为嗅球内部兴奋性神经元（僧帽细胞）和抑制性神经元（颗粒细胞）非常规则组合成神经网络，易于研究）作为研究对象，构建了一个大尺度神经网络模型。通过研究兴奋性和抑制性突触强度在学习过程中动力学演化规律，和最终形成的稀疏编码状态和侧向抑制程度，我们发现，当兴奋性和抑制性突触强度达到最佳比例时（约为1:1.5和1:2这个范围），神经元集群的稀疏发放度最高。而与这些神经元相邻的没有直接接受信号输入的神经元的兴奋性和抑制性突触强度出现极大地比例失衡（1:100），这导致了侧向抑制这种现象。神经元的稀疏发放和侧向抑制共同作用使得神经网络出现最为高效的稀疏编码。 Abstract The precise mechanism by which synaptic excitation and inhibition interact with each other in odor coding through the unique dendrodendritic synaptic microcircuits present in olfactory bulb is unknown. Here a scaled-up model of the mitral-granule cell network in the rodent olfactory bulb is used to analyze dendrodendritic processing of experimentally determined odor patterns. We found that the interaction between excitation and inhibition is responsible for two fundamental computational mechanisms: (1) a balanced excitation/ inhibition in strongly activated mitral cells, leading to a sparse representation of odorant input, and (2) an unbalanced excitation/ inhibition ( inhibition dominated) in surrounding weakly activated mitral cells, leading to lateral inhibition . These results suggest how both mechanisms can carry information about the input patterns, with optimal level of synaptic excitation and inhibition producing the highest level of sparseness and decorrelation in the network response. The results suggest how the learning process, through the emergent development of these mechanisms, can enhance odor representation of olfactory bulb.; 个人分类: 科研交流|7159 次阅读|0 个评论

[转载]Nature：神经编码和神经计算领域的稀疏编码: duanchengquan 2014-4-3 21:03; 参考文献：　　 emergence of simple-cell receptive field properties by learning a sparse code for nature images. 1996 Sparse Coding with an Overcomplete BasisSet: A Strategy Employed by V1 ? 1997 稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是从数据理论和实验仿真上推倒、仿真。在神经编码和神经计算领域，我所能查到最早关于稀疏编码的文献是1996年，在此之前的生命科学家的实验观察和假设都不说了，1996年Cornell大学心理学院的Bruno在Nature上发表了一篇题名为：“ emergence of simple-cell receptive fieldproperties by learning a sparse code for nature images ”的文章，大意是讲哺乳动物的初级视觉的简单细胞的感受野具有空域局部性、方向性和带通性（在不同尺度下，对不同结构具有选择性），和小波变换的基函数具有一定的相似性。当时描述这些性质主要从自然图像编码的统计结构上来理解这些视觉细胞的特性，但是大部分都没有成功，接着Bruno在文章中提出通过最大化稀疏编码假说成功描述了上述细胞的性质，然后稀疏编码就火了。先来看看这篇文章的核心思想，作者基于一个基本假设，图像是有一些基的线性组合形成，如（公式一）所示：（公式一）其中fai(x,y)是基函数，alpha是系数，随着不同的图像变化而变化。有效编码的目标就是为了寻找完备的基函数来生成图像空间，而且要求系数尽可能独立，只所以独立就是为了寻找信号的本质结构。当时的淫们很自然的想到PCA，因为PCA可以找到一些统计结构上的空间轴（类似坐标轴）来构成基函数，但是PCA一对噪声太敏感，也就是只能对一些类似高斯分布的数据有效，这样的干净数据可以很好的找到空间轴，对更复杂分布的数据（比如现在的流形分布）无效，作者受信息论启发，即相关变量的联合熵小于个体熵之和（当变量alpha之间互相独立时，二者相等,二者之间差了一个互信息），如果保持图像的联合熵不变，一个使得降低变量相关性的可能方法就是降低个体的熵，因此基于Barlow’s term，作者寻找一个最小熵编码（注：Barlow’s term那本书因年代久远，我找不到源头了,大意是统计独立降低编码冗余度），基于上面，作者猜测自然图像是个稀疏结构，即任何给定图像都可以用大数据里面的少数几个描述符（基）来表示。稀疏编码出生咯，作者开始寻找使得每个系数的概率分布是单模态并且在0处是峰分布的低熵（low-entropy）方法。作者提出稀疏编码的寻找方案可以通过最小化（公式二）来完成：（公式二）其中第一项就是保持信息的代价（cost），如（公式三）所示：（公式三）当然如果基于基函数重建的图像和原图像I（x,y）一致的话，代价为0(为最小)。（公式二）的第二项则是稀疏价值函数，其中的lambda是个常量正系数，平衡下稀疏系数alpha的重要性，和SVM的常量C有异曲同工之妙。作者提出了三个稀疏价值函数，如（图一）所示：（图一）可以惊喜的发现，现在经常用的L1正则赫然在列，其他两个应该被淘汰了，其实当时LASSO也开始出现了，只是当时的人们没有直接意识到L1正则可以增加稀疏性。至于为什么L1正则可以增加稀疏性，推荐读下MIT的博士pluskid的这篇博文： http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ Pluskid的数学功底雄厚，阅读者也需要一些功底才行。继续我们今天的话题，要最小化公式二，参数变量只有alpha,对其求导，然后用梯度下降法迭代更新alpha即可，更新alpha后，也要继续更新基函数，二者的步骤一并通过（图二）给出：（图二）求出后的参数 alpha 和系数如（图三）所示：（图三）其中a是基函数，b是其系数，c则是验证感受野的特性，d表明系数是在0处单峰。通过图像展示，对于初级视觉细胞的感受野信号的那些属性得到了验证，图像信息得到了保持，而且编码是稀疏的，至此稀疏编码拉开了序幕，衍生了后续各种优化版本和应用。; 1818 次阅读|0 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 稀疏编码

相关帖子

相关日志

关闭安全验证