关闭广告

MIT最新发现:这十年,算法进步被高估了

机器之心Pro899人阅读



机器之心报道

机器之心编辑部

在过去十年中,AI 的进步主要由两股紧密相关的力量推动:迅速增长的计算预算,以及算法创新。

相比之下,计算量的增长较容易衡量,但我们仍然缺乏对算法进步的清晰量化,究竟哪些变化带来了效率提升,这些提升的幅度有多大,以及它们在不同计算规模下是否依然成立。

2024 年,有研究通过分析数百个语言模型,他们估计在过去十年里,算法进步在所谓的有效计算量(effective compute)方面贡献了超过 4 个数量级的提升;而根据对历史 AI 文献的分析,计算规模本身增长了 7 个数量级。

具体而言,所有算法创新加起来使模型的效率提高了大约 22,000 倍,这意味着在理论上可以用少得多的浮点运算次数(FLOPs)达到相同的性能水平。

然而,我们仍然缺乏对这类进步的精确分解,而关于算法进步来源的许多关键问题仍未得到充分研究。例如:各种算法改进之间是如何相互作用的?算法进步是由一系列小

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

纯电/增程双动力 一汽悦意08正式上市售9.99万起

网易汽车 浏览 551

本轮巴以冲突已致加沙地带61330人死亡

国际在线 浏览 1161

"地表最难乒乓球赛"上 全运会卫冕冠军王曼昱差点输了

澎湃新闻 浏览 963

破亿品牌数增长,3万品牌成交翻倍,今年双11的商业变革悄然开始

一点财经 浏览 1977

演员黄璐将惊喜现身明日艺术影院映后❤️

幕味儿 浏览 861

“我们已无路可退”,AI架构师被评为《时代》杂志年度人物

观察者网 浏览 911

高圆圆、宋佳、陈妍希最近美出圈!她们的穿搭普通人也可以借鉴

LinkFashion 浏览 882

德容:梅西曾是我的偶像,对我来说他是史上最佳

懂球帝 浏览 1018

意甲12月最佳候选:霍伊伦、劳塔罗、普利希奇、弗拉希奇在列

懂球帝 浏览 884

DO:布伦特福德拒绝了纽卡对维萨的4000万英镑最新报价

懂球帝 浏览 1130

李纯马頔机场被偶遇,有说有笑画面温馨

大龄女一晓彤 浏览 890

牛弹琴:两中资外卖企业在巴西打官司 别再让全球看笑话

大象新闻 浏览 1029

吉利发布全域AI 2.0 千里浩瀚G-ASD全面进化

网易汽车 浏览 893

韩军队兵力6年缩减20% 韩议员:有必要增多女性服役机会

红星新闻 浏览 1164

上海集成电路产业版图再落一子,长电科技今天在沪投产

上观新闻 浏览 783

海港战町田泽维亚海报:象棋将军局,谋定后动

懂球帝 浏览 1048

纳赛尔:登贝莱会赢得金球奖吗?当然会,他是一位非凡的球员

懂球帝 浏览 1069

女生醉驾撞死3人最小死者未满3岁 至今未接触死者家属

极目新闻 浏览 1156

爱奇艺2025年Q2财报:收入66.3亿 运营利润5870万

网易科技报道 浏览 956

国债被"抛售"债市遭暴击 日本或在未来面临金融风暴

红星新闻 浏览 907

美拉德+黑白蓝,太好看了!

Yuki女人故事 浏览 375
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4