关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者136人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

日本自民党高官窜访台湾 外交部:"媚日谋独"令人不齿

澎湃新闻 浏览 204

高市政府迟迟不道歉还发出战争威胁 中方8个字宣告结局

时时有聊 浏览 236

冬季穿搭越简单越好看!衣服不多买、搭配彩色围巾,真的耐看

静儿时尚达人 浏览 128

特朗普表示希望尽快访华 外交部回应

北京日报客户端 浏览 411

法兰克福的六号位仍是敏感话题

绿茵情报局 浏览 160

新款比亚迪夏限时19.68万起售!上车天神之眼B激光版,支持城市NOA

车东西 浏览 239

刘亦菲更新初雪美图,穿12W外套雪中遛狗

观察鉴娱 浏览 217

国防部:美方应切实约束一线部队

界面新闻 浏览 440

LV高管空降泡泡玛特,年薪300万港元

YOUNG财经 浏览 3237

茅台跌落价格神坛!53度飞天茅台补贴价跌破1700元,释放信号明显

火山诗话 浏览 1468

今年冬天最时髦保暖的4组搭配,照着穿美出新高度!

LinkFashion 浏览 170

印媒:印度将在印巴边境地区启动大规模三军联合演习

环球网资讯 浏览 275

美欲推动加沙停火计划第二阶段 专家:既想占好处又不愿担责

环球网资讯 浏览 300

11国做出选择后特朗普喊话"中国将服软" 高市处境堪忧

胥言 浏览 152

从39%到15%,瑞士对美关税协议达成

环球网资讯 浏览 7813

媒体:一份非官方的美国就业数据 把美国投资者吓坏了

财联社 浏览 263

苏丹总理呼吁相关国家及武装组织停止在苏丹部署雇佣兵

国际在线 浏览 425

男子给女友买的金镯子被放在门口丢了 顺丰只赔200元

潇湘晨报 浏览 195

香港旅行|和妈妈一起逛街是件幸福的事

黎贝卡的异想世界 浏览 422

唐嫣站位风波升级!被扒不分场合爱站C位

萌神木木 浏览 62

波兰斥资38亿美元升级全部F-16战斗机

国际在线 浏览 431
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4