关闭广告

NYU研究揭示:模型宽度与能力非线性相关

科技行者968人阅读


当我们使用ChatGPT或其他大语言模型时,可能很少想过这样一个问题:这些模型内部那些看似强大的组件,真的在高效地工作吗?就像一家大公司虽然员工众多,但可能存在大量的"摸鱼"现象一样,人工智能模型内部也可能存在类似的资源浪费问题。

纽约大学的研究团队Nandan Kumar Jha和Brandon Reagen在2025年10月发表的这项研究,就像给大语言模型做了一次"内部审计",专门检查模型中一个关键组件——前馈网络的工作效率。这项发表在arXiv预印本平台的研究(论文编号:arXiv:2510.00537v1),首次系统性地揭示了一个令人意外的现象:当我们让这些网络变得更宽时,新增的容量大多数都被浪费了。

这就好比一个餐厅的厨房,老板以为增加更多的炉灶就能提高出菜效率,但实际情况却是新增的炉灶大多数时间都在闲置,真正发挥作用的仍然是那几个核心炉灶。研究团队通过一套巧妙的"检测工具",发现了大语言模型中存在的这种"不对称浪费"现象,这个发现可能会彻底改变我们设计和优化人工智能模型的方式。

一、什么是前馈网络,为什么它如此重要?

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

12万人挤爆,成都跨年集体狂欢

深蓝财经 浏览 2921

再现巨额压单!A股跳水,官媒给“题材炒作”降温,商业航天跌停潮

看财经show 浏览 1490

妓女身份被揭穿,喝药自杀,褚韶华却助力康二妞实现蜕变新生!

电和影 浏览 1097

窦泽成下赛季重返美巡赛

体坛周报 浏览 943

美方拟禁止中国航司飞越俄罗斯领空 中国航司联名回复

澎湃新闻 浏览 1019

全新平台打造 奔驰“小G”有望2027年投产

车质网 浏览 605

一汽夏利、华晨自主、众泰等8家老牌车企被工信部移出车企名录

IT之家 浏览 603

秋天上班族应该怎么穿衣?衬衫为主、打造腰线,利落又得体

静儿时尚达人 浏览 971

图片报:巴黎有意科隆19岁边锋赛义德-马拉,已与球员方面接触

懂球帝 浏览 1018

端侧AI赋能千行百业 2025 Ceva技术研讨会助力产业升级

爱集微 浏览 981

伊朗高级军官:以色列威胁言论暴露其“动荡和软弱”

上观新闻 浏览 893

官方:乌兹别克斯坦裁判纳贾法列夫将执法海港客战武里南联

懂球帝 浏览 983

传祺向往S9上市,四驱+华为全家桶+宁德电池

SUV大百科 浏览 1082

俄美元首会晤当天 俄乌双方交火仍在持续

北青网-北京青年报 浏览 1165

一年狂揽60亿融资!13大玩家厮杀无人配送,阿里京东美团都入局了

车东西 浏览 856

美国防长下令每年削减8%国防预算 美媒:重大转变

环球网资讯 浏览 1408

卫宁健康实控人周炜犯单位行贿罪一审获刑一年半,其子被提名为非独董

红星资本局 浏览 1847

阿莫林:利马已经接近参加合练;踢三中卫对马奎尔有好处

懂球帝 浏览 1020

迟重瑞放弃继承陈丽华百亿遗产,他终于解脱了!

东方不败然多多 浏览 843

高市早苗求见特朗普要聊聊中国 美国没憋住开口"帮腔"

观察者网 浏览 978

泰军摧毁6个柬埔寨诈骗基地 称要斩断跨国犯罪根源

扬子晚报 浏览 935
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4