关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者541人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

跟队:萨尔可代表切尔西出战英联杯,但今晚不太可能出场

懂球帝 浏览 535

马斯克“押宝”押错了?调查:特斯拉FSD功能反而令更多买家望而却步

财联社 浏览 837

开扒女明星穿了5年以上的外套,原来都有一个共同点

黎贝卡的异想世界 浏览 623

极越汽车或迎新生机!

电动知家 浏览 593

BBA大促混战,谁是真性价比之王?

百姓评车 浏览 553

白敬亭带着无限流杀回来了,这剧真的很好看!

伊周潮流 浏览 751

黄仁勋与李飞飞,让AI不止于“动嘴”

首席商业评论 浏览 1575

赵丽颖、黄晓明《小城大事》配角团“杀疯了”

肆季娱乐 浏览 604

李嘉欣:从"富豪狙击手"到豪门贤妻,她的人生比电影更精彩!

娱乐白名单 浏览 851

宗馥莉陷资产纠纷被起诉 三名原告自称是同父异母弟妹

环球时报 浏览 944

苹果CEO库克抖音首秀直播带货,iPhone Air国行版10月17日开启预售

环球网资讯 浏览 739

夏天千万别只穿黑色,这三种颜色更适合夏天,清爽高级又减龄

静儿时尚达人 浏览 823

胡润百富榜发布!刘永行、朱义、刘永好、刘汉元、张勇排川商前五

红星资本局 浏览 2863

掘金除约基奇都上货架!穆雷成引援筹码?美媒模拟湖掘魔三方交易

颜小白的篮球梦 浏览 348

兰博基尼Athon概念车:破产边缘的设计奇迹

老爷车 浏览 717

开张了,加纳乔斩获切尔西生涯处子球

懂球帝 浏览 658

伊朗:驱逐美以大使可自由通过霍尔木兹海峡

界面新闻 浏览 435

92岁陶玉玲去世,身患3癌丧女又丧夫

疯说时尚 浏览 600

限时补贴价9.28-10.98万 MG 4X正式上市

网易汽车 浏览 343

号称“能拍能打”,努比亚 Z80 Ultra 手机官宣 10 月 22 日发布

IT之家 浏览 750

特朗普挥关税大棒强索格陵兰岛 冯德莱恩正式回应

新华社 浏览 565
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4