关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者236人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

腾势D9将迎来第30万辆交付

大象新闻 浏览 298

异构系统实现大模型推理加速与成本优化能力提升

科技行者 浏览 132

2026款奔驰EQE上市 售价47.8-62.7万元

车质网 浏览 320

台媒:岛内首家“超级电池工厂”发生火灾,三元电池产线全线停工,爆炸原因曝光

环球网资讯 浏览 646

特斯拉在华重要招聘!

电动知家 浏览 279

章子怡醒醒给汪峰打电话:哈尔滨冷记着多穿衣服

观察鉴娱 浏览 327

巴平民被枪杀 特朗普扬言“冲进加沙铲除哈马斯”

参考消息 浏览 394

别克至境L7:新能源赛道,没有人能靠旧身份活下去

AutoBusiness 浏览 410

媒体人解读:辽宁官宣确认了这笔交易是张镇麟主动想离开

直播吧 浏览 506

德国央行行长:与中企的竞争 该让所有欧企彻底醒醒了

澎湃新闻 浏览 410

安理会爆发激烈争吵,中方罕见寸步不让

浏览 742

伊姐周日热推:电视剧《超感迷宫》;电视剧《风与潮》......

伊周潮流 浏览 280

外卖,彻底变天!美团、京东、饿了么,都宣布了!

侃见财经 浏览 3583

也门胡塞武装以间谍罪判处18名受雇于联合国人员死刑

北京日报 浏览 311

美国政府进入史上"停摆"最长时间 特朗普表态

红星新闻 浏览 327

从0度穿到20度,这件衣服才是今年冬天的“顶流”!

LinkFashion 浏览 269

父亲辞职带9岁多动症儿子徒步60天:同行还有2组家庭

潇湘晨报 浏览 431

被传分手仅1年,鹿晗爆雷关晓彤被公开内涵

情感大头说说 浏览 180

撬开大模型黑箱!Anthropic新研究把AI思考过程公开了,隐藏动机发现率涨了4倍

智东西 浏览 76

Cariad不再是“灵魂”担当,大众请外援能否赌赢未来?

禾颜阅车 浏览 420

娶妻当娶贤,郭晶晶让霍启刚婚后步步高升

老搽学科普 浏览 670
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4