关闭广告

清华大学提出NHA:让AI语言模型既快又准的"双重记忆"新架构

科技行者989人阅读


这项由清华大学杜举森、胡佳熹、张涛教授,上海人工智能实验室孙维高研究员,以及香港中文大学程余教授共同完成的研究发表于2025年10月的arXiv预印本平台,论文编号为arXiv:2510.07019v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你使用ChatGPT或其他AI语言模型时,有没有想过它是如何记住你前面说过的话的?就像人类既有短期记忆又有长期记忆一样,AI模型也需要处理眼前的信息和遥远的上下文。但现有的AI模型在这方面存在一个两难问题:要么像传统的Transformer模型一样记住所有细节但速度极慢,要么像线性模型一样速度很快但容易忘记重要信息。

研究团队提出了一种名为"原生混合注意力"(Native Hybrid Attention,简称NHA)的全新架构,巧妙地解决了这个难题。这就好比给AI配备了一套"双重记忆系统":一个像照相机一样精确记录最近发生的事情,另一个像日记本一样压缩保存长期的重要信息。更巧妙的是,这套系统能够根据当前需要自动决定更多地依赖哪种记忆,而不需要人工设定固定的规则。

传统的混合模型通常是将两种不同的注意力机制分别计算,

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

AI落地加速中,底层架构却成最大绊脚石?丨ToB产业观察

钛媒体APP 浏览 987

快手亮出流量底牌

虎嗅APP 浏览 1759

阿奇姆彭遭成都球迷种族歧视,队长王上源发文声援

懂球帝 浏览 969

CounterPoint称2025Q4印度手机市场联发科斩获48%份额

IT之家 浏览 750

厦门翔安:侨商越海疆 展翼共翱翔——一场以侨为桥招商大会背后的千亿机遇

中国商报 浏览 2598

预售22.99万起!阿维塔06T 2.78秒破百+旅行车大空间

网易汽车 浏览 754

上映6天,把26天票房冠军动物城2打懵了

糊咖娱乐 浏览 872

华为 nova 14 Pro / Ultra 预计今年 12 月升级支持 AI 辅助构图

IT之家 浏览 1046

蔡卓妍林俊贤结婚,3枚婚戒超65万,男主搬入女方豪宅同居生活

素素娱乐 浏览 736

极氪8X实车现身,大过宝马X5+5/6座可选,配1401马力+双腔空悬?

燕赵女司机 浏览 906

极摩客EVO - T2迷你主机亮相:本季度上市,配置强大

IT之家 浏览 917

马伊琍新年第一天晒全家福!和大女儿合影好温馨

隔壁灵妹妹 浏览 912

临近年关,凤凰传奇高调官宣喜讯,网友:恭喜

阿废冷眼观察所 浏览 842

实弹射击 禁止驶入 山东潍坊发布警告

极目新闻 浏览 897

钱志敏突然当庭认罪震动旁听席 刑期或减免三分之一

封面新闻 浏览 1025

"女首相梦"悬了的高市公开支持赖清德 日本亲华派翻脸

梁讯 浏览 1079

耶鲁大学AI团队突破:让机器人团队像人类团队一样相互指导学习

科技行者 浏览 863

张雪峰团队峰学蔚来复播,全网泪目!

销售与管理 浏览 740

全球限量25台 Bertone Runabout量产版发布

车质网 浏览 869

特朗普向米莱表态:若你们与中国军方合作 我很不高兴

环球网资讯 浏览 1019

聚焦进博|中资银行“金”点子护航进博会

国际金融报 浏览 2204
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4