关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者359人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

理查兹:道曼和萨卡位置重叠,为球员未来发展应该将他外租

懂球帝 浏览 477

金价跌破3900美元 大学女生下跌时补仓结果亏得更多

每日经济新闻 浏览 444

迪马济奥:亚特兰大中卫斯卡尔维尼左腿屈肌拉伤,将缺阵3周

懂球帝 浏览 494

遭美国施压 卡尼:加拿大无意与中国达成自由贸易协定

环球网资讯 浏览 362

新鹏城豪取两连胜!7分领先保级在望,中超首胜三镇,连破4魔咒

奥拜尔 浏览 495

彭小苒的逆袭不止“紫衣杀”

小小敏娱乐 浏览 501

鸿蒙智行"9系"扩容 首款MPV智界V9来了

网易汽车 浏览 400

张馨予晒妈妈织的围巾!被称呼为宝宝好幸福

阿雹娱乐 浏览 375

这些才是真正适合普通人的穿搭!舒适减龄,整体形象得到美化

静儿时尚达人 浏览 505

阔腿裤失宠了,今年的“显瘦小黑裤”更时髦百搭!

LinkFashion 浏览 367

这届10后真会玩!以AI为笔,绘网络文明新图景

南方都市报 浏览 632

陈道明说的没错,不拍戏就消失的欧豪,已经走上了另外一条道路

豆哥记录 浏览 395

文旅上市潮,进入Next Level

斑马消费 浏览 1363

海上风电产业发展提速

商业观察杂志社 浏览 9570

全国16城交警联合美团启动交通安全文明“小红花”宣传活动

大象新闻 浏览 647

56岁陈红颜值回春,参加路演不惧高清镜头,她满脸皱纹依旧美丽

温柔娱公子 浏览 487

高市成日本史上首位女首相 石破茂曾抱怨当首相太累

鲁中晨报 浏览 495

官方:陕西联合签下前国安U21门将李宸、前江西庐山门将陈俊旭

懂球帝 浏览 847

“小度”“小爱”能当AI老师吗?小小“数字原住民”出现“幼儿主体性”危机

上观新闻 浏览 449

推广|| 张曼玉穿着优衣库上了热搜!这个混搭法则太好用了

黎贝卡的异想世界 浏览 629

米体:罗马全力追求卡拉斯科,已向利雅得青年提交首份报价

懂球帝 浏览 372
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4