关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者238人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

小米通报与“大熊”合作处理结果:辞退涉事经办人员

三言科技 浏览 262

郝蕾跟辛芷蕾杠上了?

大龄女一晓彤 浏览 375

看来看去还是这些穿搭最适合夏天,不沉闷、不显老,舒适减龄

静儿时尚达人 浏览 479

主打运动与智能 零跑Lafa5内饰首发亮相

网易汽车 浏览 404

"淘宝第一个程序员"新去处披露 新公司合伙人发声

红星新闻 浏览 569

E句话 | 王鹤棣方回应网传“神秘女友”录音

仙女事件簿 浏览 495

7月欧洲18国中国汽车品牌销量TOP10揭晓:比亚迪第二

智车情报局 浏览 473

以军称对黎巴嫩真主党目标发动新一轮空袭

上观新闻 浏览 433

莫雷托:那不勒斯曾2500万欧求购&4队想租借,米兰不放A-希门尼斯

直播吧 浏览 501

荷甲副班长阿尔梅罗大力神8-2横扫兹沃勒,霍恩坎普帽子戏法

懂球帝 浏览 352

中国科技股深夜爆发,腾讯飙升9%,首批“政务龙虾”已上线

21世纪经济报道 浏览 187

让多图对话AI不再"搞混":首尔多所大学发现分隔符背后的秘密

科技行者 浏览 217

50+女人快跳出“扮嫩”误区,学会4个技巧,就能穿出高级

静儿时尚达人 浏览 327

特朗普被指非常重视"和平峰会" 以色列哈马斯或不参加

环球网资讯 浏览 376

原来最适合亚洲人的单品之一,是它

黎贝卡的异想世界 浏览 340

美突袭委内瑞拉动用神秘武器:委士兵跪倒在地吐血

扬子晚报 浏览 273

官方:利物浦签下15岁曼城青训门将阿尔菲-杜利

懂球帝 浏览 395

出行场景升级/还支持餐厅排队 方程豹钛7推送第二次OTA

网易汽车 浏览 259

委内瑞拉国防部长:已做好捍卫祖国的准备

海外网 浏览 280

只待官宣!欧篮记者:霍顿-塔克与费内巴切签下1年100万美元合同

直播吧 浏览 404

高盛建议高配中国股票,4000点会是A股牛市的新起点吗?

郭施亮 浏览 867
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4