科学文化足迹分享 http://blog.sciencenet.cn/u/lvnaiji 邮箱:naijilv@gmail.com

博文

反向传播与陪审团 精选

已有 3142 次阅读 2023-11-29 07:48 |个人分类:交叉|系统分类:观点评述

吕乃基

近日看到一篇专访AI大腕辛顿的文章

https://mp.weixin.qq.com/s/GIIrdp9lG7yUHBWGigzOcw 其可读性自不待言,其中关于“反向传播”的介绍印象深刻。以下是笔者稍加删减的文字。

 

把神经网络的上层想象成一个永远审理着案件陪审团。在陪审团刚做出判决时,法官告诉陪审员,他们的判决错误,将受到惩罚,直到他们改过自新。陪审员们发现,他们当中有三人在引领大家走上错误的道路时影响特别大。这种责任分摊是反向传播的第一步。

下一步,这三个陪审员要确定他们自己是如何被误导的——父母、老师、专家学者等,并找出误导他们的人。继续回溯,这些应受指责的影响者也必须找出他们的影响者,并在那些影响者之间分摊责任,形成反向。最后,一旦知道谁误导了谁,误导了多少,神经网络就会按比例自我调整,让每个人少受一点“坏”影响,多受一点“好”影响。整个过程以数学上的精确度一次又一次地重复,直到所有判决(不仅仅是在这个案例中,而是在所有案例中)都尽可能地“正确”。

 

笔者的第一感是,引文作者说的是人工智能中的一项技术,其实人类社会亦然。古今中外,或位于神经网络上层寥若晨星之精英,或处于神经网络下层默默无闻之芸芸众生,无不在不同程度上充任陪审团,审视,在某种意义上也就是参与所经历的一切,并由此影响他人与未来,自己却未必意识到。反向传播表明,往事并非如烟,出来混总是要还的。最终需要追溯,追责,纠错。

问题是,谁是“法官”?判决之对错又如何辨别?

再者,以陪审团追责溯源比喻反向传播是否贴切?在AI可以明辨是非,穷追不舍,一追到底;在人类社会能做到如此这般吗?二者之间又为何有此区别?AI的反向传播与人类社会的反向传播,这两种反向传播是否可以互动?

换言之,能否将反向传播的思路和技术应用于历史学?虽然人类历史错综复杂,历史文献浩如烟海,加上各色“陪审团”等有意无意遮蔽扭曲而迷雾重重,人类或许无力穷尽和条分缕析,但人工智能能,不仅可以一览无遗阅尽人间春色,或许还有助于打开一扇扇“罗生门”,揭示背后的真相,至少提供相对权威和独立的解释。从此,让历史摆脱“任人打扮的侍女”之名。细思极……

再者,涌现,也是GPT演化过程中的重要事项,然而业内人士却说不清其中之机理。反向传播,能否探明涌现,将涌现之所以发生,置于光天化日之下?

上述种种,敬请大咖解惑释疑。



https://m.sciencenet.cn/blog-210844-1411645.html

上一篇:隐性知识再议——不要试图在微信群劝说对方
下一篇:东方甄选和董宇辉事例的知识论解读

16 宁利中 郑永军 武夷山 李剑超 孙颉 尤明庆 晏成和 王成玉 周钰 杨正瓴 周忠浩 徐明昆 许培扬 谢钢 赵凤光 李沣

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-2-24 00:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部