关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者903人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

塞维与16岁小将续约,该小将系68岁大股东儿子、现主席弟弟

懂球帝 浏览 692

特朗普谈筹备"泽普会":就像让"油醋融合"一样困难

环球网资讯 浏览 1215

张本智和惨遭逆转!痛失4个赛点+连丢3局,无缘法国冠军赛男单8强

乒谈 浏览 1026

限时补贴价28.99万起 2026款传祺向往M8上市

网易汽车 浏览 966

北京大学重磅推出Lumen:让视频重新打光变得像换背景一样简单

科技行者 浏览 1073

马德兴:张瑷晖因脚踝受伤没参加U23国足第二日的合练

懂球帝 浏览 899

83亿港元“互持”,顺丰与极兔的双向奔赴能否实现1+1>2?

征探财经 浏览 1695

全力向上!重庆铜梁龙赛季最后一个主场将展示全场拼图TIFO

懂球帝 浏览 1015

光伏企业3季报里的秘密:反内卷之下,行业真的触底反弹了吗?

赶碳号 浏览 1929

奥迪A6L e-tron四驱版公布 双电机爆发405 kW

网易汽车 浏览 981

下周关注|进博会等多个重要活动将举办, 这些投资机会最靠谱

第一财经资讯 浏览 2152

遭美国施压 卡尼:加拿大无意与中国达成自由贸易协定

环球网资讯 浏览 872

韩星在内娱吃相越来越难看?

萌神木木 浏览 988

大量iPhone 17系列新机无法激活 苹果客服回应

界面新闻 浏览 1084

男子花4万为父母升头等舱 手机遗失被安全员占为己有

鲁中晨报 浏览 1054

北京外援动态!马帝昂或已打完最后一场,正与麦基谈判,状态拉满

篮球资讯达人 浏览 918

股份行AIC扩容至三家

北京商报 浏览 3026

街道办设专门办公室处理"续面"事件 律师:店主涉违法

澎湃新闻 浏览 1255

百亿龙头股董事长获刑,已上诉!IPO关键期行贿官员,过程曝光

深蓝财经 浏览 1791

中国留学生在德国遭袭反击致对方受伤 警方认定"防卫"

红星新闻 浏览 909

小萨博尼斯适合勇士吗? 三大缺点阻碍他加盟

仰卧撑FTUer 浏览 965
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4