关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者754人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

她说“友谊万岁”的这个夜晚,揽胜已经等了五十六年

禾颜阅车 浏览 661

特朗普称庞大舰队驶向伊朗 已超委内瑞拉

财联社 浏览 760

章子怡醒醒给汪峰打电话:哈尔滨冷记着多穿衣服

观察鉴娱 浏览 850

鸿蒙版微信一周年:从“能用”到“好用” 超2000万下载量背后的进化史

快科技 浏览 944

男子驾车被落石砸中身亡 妻子:吃面制品发酵测出酒驾

极目新闻 浏览 1056

老娘们不会完蛋的

江湖人称艾掌门 浏览 862

2025中国金帅奖候选名单:邵佳一、于根伟在列,常卫魏入选

懂球帝 浏览 823

女子卷走公司2000万欲跑路 最后一刻害怕被抓放弃登机

环球网资讯 浏览 882

欧盟调整“禁燃”,堵死自己的路

汽车公社 浏览 797

台娱渣男“脱口秀”大赏:全身最硬的只剩嘴?

仙女事件簿 浏览 892

疑张亮儿子塌房,留学致女同学怀孕?

观察鉴娱 浏览 907

五旬老人上综艺,有时候比年轻人更有看点。

伊周潮流 浏览 905

俄主动向美通报:核动力巡航导弹上天 射程"几乎无限"

上观新闻 浏览 856

陈奕迅,7年带着抑郁,唱满182场

江湖人称艾掌门 浏览 975

塞纳河“上岸”不易:20年合约、赔350万成为失信人、抑郁症也要赔钱…小偶像们那些年打过的官司

仙女事件簿 浏览 858

全球首个太空AI诞生,H100在轨炼出!马斯克爆赞

新智元 浏览 799

“五菱宏光家族焕新:燃油、增程、纯电三动力,5.48 万元起

IT之家 浏览 783

携程涉嫌垄断被立案调查 尾盘跳水大跌超6%

Daily每日财报 浏览 1806

百度李彦宏:萝卜快跑 Robotaxi 转向纯视觉才有机会

IT之家 浏览 1126

牛弹琴:美国人大吃一惊 特朗普牵涉到了战争罪行

现代快报 浏览 781

内地第一美人,也塌房了

独立鱼 浏览 827
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4