关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者360人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

10岁抗癌小王子豪豪化疗17次后去世 爸爸:孩子解脱了

潇湘晨报 浏览 331

女护士被同居男友杀害 家属:放弃赔偿希望判男方死刑

纵览新闻 浏览 444

悉尼海滩枪击事件已致16死 两名枪手1死1伤系父子关系

扬子晚报 浏览 378

马筱梅首次公开孕肚!自曝生产全都自己安排,暗示对汪小菲失望

萌神木木 浏览 381

倪虹洁自曝:曾因前夫负债千万被迫接戏

韩小娱 浏览 261

王家卫持续被扒

萌神木木 浏览 514

理想i6“涨价”:现金减免从1万元调整为5000元

电动知家 浏览 481

主打新潮科技 smart精灵#6内饰官图发布

车质网 浏览 274

镜报:阿联酋财团准备收购曼联股份,小贝或任此次收购代言人

懂球帝 浏览 482

伊朗外长抵俄谈美伊局势 将提交结束战争谈判报告

极目新闻 浏览 189

女子产后55天被丈夫殴打:只是要求他搬走空气净化器

封面新闻 浏览 128

清华REMA框架:透视AI推理错误根源

科技行者 浏览 471

吴京因为说坦克是没有后视镜遭人恶评

七公子娱乐 浏览 586

高市"反击计划"全面出炉 日方"动手"前问中国一个问题

博览历史 浏览 384

汪小菲全家出游乐开花,箖箖戒游戏玥儿显淡定!

可乐谈情感 浏览 683

美媒晒NBA最强斗殴阵容 追梦&大本&阿泰&罗德曼&隆多在列

直播吧 浏览 592

彻底改写Transformer!「能量驱动架构」横空出世,通用推理时代要来了?

新智元 浏览 680

高市早苗曾叫嚣台湾有事日本必入

极目新闻 浏览 467

特朗普在专机上提到与高市早苗通话:她是安倍的好朋友

红星新闻 浏览 443

本田全新缩小版“CR-V”上市!限时售价10.99万起,搭载1.5T+CVT

小史谈车 浏览 363

海豹06 EV首秀:天神之眼+溜背造型 BYD标不土了?

网易汽车 浏览 863
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4