关闭广告

微信AI团队,悄悄干了件大事,算力消耗暴降44%!

智东西989人阅读


智东西
作者 陈骏达
编辑 李水青

智东西11月5日报道,近日,腾讯微信AI团队发布的一篇论文在海外AI圈引发广泛关注。论文提出了一种名为“连续自回归语言模型(CALM)”的新颖架构。与传统Transformer相比,CALM直接将训练大模型所用的计算量减少了44%,推理时的计算量也减少了34%。

CALM的核心逻辑是,将连续的K个token压缩成一个语义向量,并在生成时直接预测“下一个向量”而非“下一个token”。假设K=4,那么原本需要逐步生成4次的内容,现在只需1步即可完成,使其能在一次生成中输出更多信息,大幅提升效率。

这项研究的相关讨论在社交媒体平台X的阅读量累计已经超过100万次,在评论区引起热议。

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

【进博时刻】每天训它几百遍,这份枯燥的工作并非冷冰冰

上观新闻 浏览 1025

缅北四大电诈头目被押解回国 特写画面首次披露

大风新闻 浏览 922

消息称6.3英寸小屏机或为OPPO Find X9s,将搭载双2亿镜头

IT之家 浏览 910

"四无公司"申领超100万生育保险:15名员工中13人生育

澎湃新闻 浏览 907

冬天还是“羽绒服”最保暖!看看这些穿搭,简单舒适又不老气

静儿时尚达人 浏览 911

那些开口谈「性」的女性,决定不忍了

她刊 浏览 702

吴启华:后悔演反派,来内地定居还交社保

失宠的小野猪 浏览 932

华为WATCH GT5 Pro手表获鸿蒙6.0.0.20更新:支付宝碰一下升级

IT之家 浏览 1015

洋河股份董事长顾宇首次交出季度成绩单:日均亏掉400万

财经众议院 浏览 1881

蔡依林演唱会被举报"搞邪教仪式" 30米机械蛇等引争议

扬子晚报 浏览 909

杨家玉夺全运第2金!马拉松竞走混合接力:北京一队刷PB夺冠

全景体育V 浏览 959

官方:切尔西19岁前锋杰伊-摩根租借至英甲彼得堡联 租期一个赛季

直播吧 浏览 1096

赵丽颖新剧翻车!热搜宣传是朱媛媛遗作,网友怒斥剧方吃人血馒头

萌神木木 浏览 945

冬天穿衣其实很简单!上短下长、加点亮色,高级舒适又耐看

静儿时尚达人 浏览 864

林清轩IPO之路:爆款依赖、营销豪赌与国货高端梦

Daily每日财报 浏览 8369

航拍画面披露:日本被指昼夜赶建军事基地

环球网资讯 浏览 956

到了秋天才知道,年纪大的女人要告别“小脚裤”,这样穿显瘦

静儿时尚达人 浏览 968

N7单月交付破万,东风日产成功“续命”

汽扯扒谈 浏览 1070

IU的脸,真的有自己的时间线

时尚COSMO 浏览 723

来搞笑的?超级杯花名册漏洞百出:照片古早且粗糙,译名叠词

懂球帝 浏览 815

尼克斯129-101送黄蜂7连败,布伦森33分,哈特22+8+7

懂球帝 浏览 954
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4