关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者604人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

檀健次恋爱风波越演越烈!本人日本上学经历被扒,全家被质疑亲日

萌神木木 浏览 694

美国务院批准向波兰出售“标枪”导弹系统

国际在线 浏览 690

自研AI进展缓慢,苹果被曝已就收购Mistral、Perplexity进行讨论

IT之家 浏览 799

350亿vs25000亿!国产模型正打破美国AI编程垄断

无相商业趋势 浏览 1388

奔驰CEO急了 康林松抨击欧盟燃油车禁令

车视头条 浏览 836

今年秋天最火的4条裙子,配玛丽珍鞋绝美!

LinkFashion 浏览 753

再创历史新高!2025年粮食产量达14298亿斤

央视财经 浏览 2917

理想汽车8月交付2.8万辆 历史累计交付140万辆

网易科技报道 浏览 836

莫斯科底牌打出来了,15个师进入边境

浏览 1092

谢林汉姆:雅克松经验丰富,切尔西不应该放他离开

懂球帝 浏览 735

泰国柬埔寨边境起冲突有人丧生 在柬华人:炮弹满天飞

潇湘晨报 浏览 577

2025年最适合大馋丫头小子的综艺出现了!

时尚COSMO 浏览 955

再冷的天也拆不散我和九分裤组CP

Yuki女人故事 浏览 766

男子自带3瓶茅台被服务员调包 摸酒瓶辨温度识破伎俩

封面新闻 浏览 678

时隔十年上证指数重返3900点 四季度A股“开门红”

商业观察杂志社 浏览 723

手握2.57亿美金,康迪科技“一体两翼”战略渐入佳境

雷达财经 浏览 826

惊现哈基米!广东四川CBA比赛中场地内跑进一只小猫

懂球帝 浏览 524

许利民:争取让赵睿在窗口期前打两场,曾凡博腰伤因训练不系统

懂球帝 浏览 622

李斌喊话余承东:做爆胎测试!余承东最新回应

第一财经资讯 浏览 1103

粤浦科技韩毓祥:AI对传统资产有三方面价值

观察者网 浏览 480

图片报:巴黎有意科隆19岁边锋赛义德-马拉,已与球员方面接触

懂球帝 浏览 729
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4