科学网

 找回密码
  注册

tag 标签: 神经计算

相关帖子

版块 作者 回复/查看 最后发表

没有相关内容

相关日志

[转载]Nature:神经编码和神经计算领域的稀疏编码
duanchengquan 2014-4-3 21:03
参考文献:    emergence of simple-cell receptive field properties by learning a sparse code for nature images. 1996 Sparse Coding with an Overcomplete BasisSet: A Strategy Employed by V1 ? 1997 稀疏编码来源于神经科学,计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起,上来就是找基向量(超完备基),但是我觉得其源头也比较有意思,知道根基的情况下,拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的,大脑对外界的“印象”到底是什么东东。围绕这个问题,哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是从数据理论和实验仿真上推倒、仿真。在神经编码和神经计算领域,我所能查到最早关于稀疏编码的文献是1996年,在此之前的生命科学家的实验观察和假设都不说了,1996年Cornell大学心理学院的Bruno在Nature上发表了一篇题名为:“ emergence of simple-cell receptive fieldproperties by learning a sparse code for nature images ”的文章,大意是讲 哺乳动物的初级视觉的简单细胞的感受野具有 空域局部性、方向性和带通性 (在不同尺度下,对不同结构具有选择性),和小波变换的基函数具有一定的相似性。 当时描述这些性质主要从自然图像编码的统计结构上来理解这些视觉细胞的特性,但是大部分都没有成功,接着Bruno在文章中提出通过 最大化稀疏编码假说 成功描述了上述细胞的性质,然后稀疏编码就火了。先来看看这篇文章的核心思想,作者基于一个基本假设,图像是有一些基的线性组合形成,如(公式一)所示: (公式一) 其中fai(x,y)是基函数,alpha是系数,随着不同的图像变化而变化。有效编码的目标就是为了寻找完备的基函数来生成图像空间,而且要求系数尽可能独立,只所以独立就是为了寻找信号的本质结构。当时的淫们很自然的想到PCA,因为PCA可以找到一些统计结构上的空间轴(类似坐标轴)来构成基函数,但是PCA一对噪声太敏感,也就是只能对一些类似高斯分布的数据有效,这样的干净数据可以很好的找到空间轴,对更复杂分布的数据(比如现在的流形分布)无效,作者受信息论启发 ,即相关变量的联合熵小于个体熵之和(当变量alpha之间互相独立时,二者相等,二者之间差了一个互信息),如果保持图像的联合熵不变,一个使得降低变量相关性的可能方法就是降低个体的熵,因此基于Barlow’s term,作者寻找一个最小熵编码(注:Barlow’s term那本书因年代久远,我找不到源头了,大意是统计独立降低编码冗余度),基于上面,作者猜测自然图像是个稀疏结构,即任何给定图像都可以用大数据里面的少数几个描述符(基)来表示。稀疏编码出生咯,作者开始寻找使得每个系数的概率分布是单模态并且在0处是峰分布的低熵(low-entropy)方法。作者提出稀疏编码的寻找方案可以通过最小化(公式二)来完成: (公式二) 其中第一项就是保持信息的代价(cost),如(公式三)所示: (公式三) 当然如果基于基函数重建的图像和原图像I(x,y)一致的话,代价为0(为最小)。 (公式二)的第二项则是稀疏价值函数,其中的lambda是个常量正系数,平衡下稀疏系数alpha的重要性,和SVM的常量C有异曲同工之妙。作者提出了三个稀疏价值函数,如(图一)所示: (图一) 可以惊喜的发现,现在经常用的L1正则赫然在列,其他两个应该被淘汰了,其实当时LASSO也开始出现了,只是当时的人们没有直接意识到L1正则可以增加稀疏性。至于为什么L1正则可以增加稀疏性,推荐读下MIT的博士pluskid的这篇博文: http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ Pluskid的数学功底雄厚,阅读者也需要一些功底才行 。继续我们今天的话题,要最小化公式二,参数变量只有alpha,对其求导,然后用梯度下降法迭代更新alpha即可,更新alpha后,也要继续更新基函数,二者的步骤一并通过(图二)给出: (图二) 求出后的参数 alpha 和系数如(图三)所示: (图三) 其中a是基函数,b是其系数,c则是验证感受野的特性,d表明系数是在0处单峰。通过图像展示,对于初级视觉细胞的感受野信号的那些属性得到了验证,图像信息得到了保持,而且编码是稀疏的,至此稀疏编码拉开了序幕,衍生了后续各种优化版本和应用。
1818 次阅读|0 个评论
人工神经元和微分方程
热度 1 swordbell 2014-2-2 08:54
从数学的角度,人工神经元的活动可以被描述为这样一种生物-物理的混合系统:神经元的状态连续演变过程可以用某些生物物理方程来描述,这些生物物理方程通常都是微分方程,包括确定性的方程或者随机方程,包括常微方程或者偏微分方程,当方程中与突触相关的某些变量变化时,就会触发神经元,使之进入兴奋状态而激发(放电)。一个神经元的动态特性可以用微分(差分)方程描述如下: d X t /d t = f ( X t ) X t = g i ( X t -1 ) 方程中, X t 是 t 时刻一个神经元 X 的状态向量。从理论上,考虑到神经元的电生理活动会导出偏微分方程,但是在实践中,人们通常采用近似方法耦合突触相接处的区位电势,这就导出了与时间区段相关的离散事件差分方程。 当某 些阈值条件满足时,神经元进入兴奋状态 被被激发,例如在 积分-激发神经元 模型中,当 V m ≥ θ 时神经元激发,这里 V m 是神经元的膜电位,它可以是向量 X 的第一个分量,在 Hodgkin–Huxley( 霍奇金-赫胥黎,也可简写成 HH )的电导模型中,当d V m /d t ≥θ时,神经元激发。这种模型可以概括成, 当某个神经元 X ∈A这个条件被满足时 ,这个神经元X激发。对于积分-激发模型, 当神经元产生激发后,它的 膜电位 V m 将会因重置而复位或者进入静息状态(复位或者静息电位可记为 V m =0)。复位后(静息)的神经元从形式上开始积分,也就是从与其它神经元连接的突触累积其它神经元产生并传导过来的激发电势,这个过程可以用数学式标记为 X = g i ( X ), i =0,1,2..., i 是神经元X的突触编号。 对于这种类型的数学方程,如果不考虑累积的膜电位随时间递减,与时间相关的激发电位并不需要被神经元记忆。考虑下边的积分-激发神经元模型 V ( t )=∑ w i ∑ K ( t - t i )+ V rest 其中 V ( t ): 膜电位, V rest :静息电位, w i :突触 i 的权重, t i :突触 i 的激发尖峰电位到来的时刻, K ( t − t i ) = exp( − ( t − t i ) / τ ) − exp( − ( t − t i ) / τ s ) 这是突触后电位(P ost-Synaptic Potential: PSP),它由所有与之相连的突触电位累加而成。该模型可以重新表述为一个两变量离散事件的差分方程系统: τ (d V /d t )= V rest - V + J t τ s (d J t /d t )=- J t J t = J t- 1 +(( τ - τ s )/ τ ) w i
5239 次阅读|2 个评论
神经计算和神经形态芯片
swordbell 2014-1-28 14:54
神经计算的一大类问题是学习。在神经计算看来,学习的目的是要神经网络能够对刺激做出正确的反应。刺激-反应是神经细胞通过突触连接传导尖峰放电来实现的,学习就是帮助神经网络的突触建立起正确的联结。怎样建立正确的连接?神经计算中有一个主要方法,就是在学习过程中对神经网络之间突触的正确连接予以加强。 这个方法来源于著名的海明假设,也可以看作是海明原理:当一个神经元兴奋时,与之连接的另一个神经元也随之兴奋,那么这两个神经元的连接会得以加强。 在软性神经计算中,神经元之间的突触连接由转换(移)矩阵构成,神经计算的核心就是在学习阶段对转换矩阵中的每个元素值,也就是突触,进行运算,以调整突触或者神经元之间的连接强度。除了线性感知器之外,运算都比较复杂,不过最后调整突触值时,就是加或者减。神经形态芯片是软性神经计算的硬件化,芯片也有一个突触矩阵,只不过是用晶体管构成的电路矩阵。同样,神经形态芯片也需要在学习阶段调整突触矩阵的连接强度。从IBM数字式芯片来看,突触矩阵是用8晶体管锁存器阵列组成,每个8管锁存单元要么锁存一个高电平1,要么锁存一个低电平0,构成了01矩阵。对突触阵列的调整,就是调整锁存器单元中锁存的电平高低. 欧洲的突触矩阵是模拟电路。
3514 次阅读|0 个评论
神经元雪崩和学习模型之间的联系
lysciart 2013-2-21 13:12
大脑的神经元之间是由被称为神经元回路的庞大而复杂的神经网络连接而成的。然而,尽管有其复杂性,这些神经元回路却能够展现出惊人地集体行为,例如“神经元雪崩”行为:在一个相互连接的神经元小组中短暂的爆发活动,引起了越来越多应激反应的级联效应。汇聚了中国大陆、香港和澳大利亚的一个国际研究小组,深入研究了神经元雪崩效应和大脑学习模型之间的连接规则—神经元如何“选择性”的连接彼此对刺激的反应,其研究成果发表在AIP Journal 《混沌》(Chaos) 上。这种大脑的学习模式,又称为尖峰时间依赖可塑性,是基于大脑中真实行为的观察而实现的。 研究人员通过模拟计算表明,从大脑学习模式中获得的复杂神经元回路也非常擅于产生神经元雪崩效应。这种模型和经过证实的、真实的神经元行为具有一致性,这种一致性表明,大脑学习模型是一种精确的描述大脑如何处理信息的方法。作者说,他们的工作有助于理解“学习过程”是如何导致大脑皮质结构形成的,以及由此产生的这种结构为何可以如此有效的处理大量信息。“虽然这些研究成果与现有的神经生理学完全一致,但我们的工作首次提供了这方面的具体环节”,文章的作者之一,西澳大利亚大学的Michael Small 说,“对于如此复杂的大脑皮层系统如何能产生惊人的集体行为,我们的工作提供了一种简单的,或许应该说是神奇的解释。” Article: “Neuronal avalanches of a self-organized neural network with active-neuron-dominant structure” is published in Chaos. 文章“神经元主导的自组织神经网络结构的神经元雪崩”发表在“chaos”上。 Authors: Xiumin Li (1,2) and Michael Small (3,2). (1)College of Automation, Chongqing University, China 自动化学院,重庆大学,中国 (2) Department of Electronic and Information Engineering, Hong Kong Polytechnic University 电子信息工程系,香港理工大学 (3) School of Mathematics and Statistics, University of Western Australia 数学与统计学院,西澳大利亚大学 本科研工作由香港大学教育资助委员会,竞争性专项研究资助项目的支持完成。 原文地址http://chinese.eurekalert.org/zh/pub_releases/2012-05/aiop-wfa052412.php
个人分类: 神经计算|4227 次阅读|0 个评论
媒体神经认知计算
热度 1 lysciart 2013-2-6 10:19
媒体神经认知计算
媒体计算( Multimedia Computing, MC ) : 是指以研究视觉、听觉、触觉、味觉、嗅觉等各类感觉媒体信息的采集、表示和展示的方法和理论,探索以文本、图形、图像、音频、MIDI、视频、动画等各种表示媒体的传输、处理、内容分析与识别算法等共性的基础计算理论和应用技术。 认知计算( Cognitive Computing, CC ) : 旨在探索大脑信息加工的机理,包括感觉、知觉、注意、记忆、语言、思维、表象、意识等认知过程,并建立可实施的仿脑计算模型和相关功能的算法。模仿大脑实现逻辑推理和记忆等功能,从上下文信息中学习和发现不同对象之间的联系 。 神经计算( Neural Computing , NC ) : 指研究神经网络机制,模拟生物神经系统的结构网络和功能网络的结构特征,探索生物神经皮层信息的处理机理,构造神经网络的计算模型和相关算法 。 媒体神经认知计算(Multimedia Neural Cognitive Computing, MNCC) :MNCC 是一种类脑计算(Brain-Inspired Computing, BIC)框架。MNCC旨在针对非结构化的、海量多模态的、复杂时空分布的多媒体信息处理中的语义 智能 处理问题,结合宏观的系统行为层面的认知计算思想,以及微观的生理机理层面的神经计算思想,建立新一代的多媒体信息处理模型及算法 。 跨媒体神经认知计算(Cross-media Neural Cognitive Computing, CNCC) :CNCC 是一种类脑跨媒体智能(Brain-inspired Cross-media Intelligence, BCI)方法。在MNCC框架的基础上,CNCC结合多感觉神经信息集成和多模态协同认知机制,进一步设计跨媒体类脑智能的信息处理模型,以解决复杂的跨媒体语义计算问题,实现不同通道的相同模态的媒体语义相似性计算,以及多源异构的跨模态的媒体语义相关性度量。 刘扬,涂春龙,郑逢斌. 面向视听跨媒体检索的神经认知计算模型研究 .计算机科学,2015,42(3):19-25,30. 刘扬,左宪禹.关于媒体神经认知计算跨学科研究的思考 . 计算机教育, 2014, (23):48-52.
个人分类: 媒体神经认知计算|7796 次阅读|2 个评论
智能科学-神经计算
shizz 2012-10-25 11:46
为了模拟大脑信息处理的机理,人工神经网络具有非线性、非局域性、非定常性、非凸性等特点。人工神经网络把算法和结构统一为一体的系统,可以看作是硬件和软件的混合体。
个人分类: 智能科学|3582 次阅读|0 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-23 16:37

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部