关闭广告

港科大广州校区突破大模型训练瓶颈:让AI学习像数学考试高效

科技行者914人阅读


这项由香港科技大学广州校区xLeaF实验室团队完成的研究于2026年2月发表在预印本平台,论文编号为arXiv:2601.23000v1。研究团队提出了一种名为Mano的全新优化器,能够大幅提升大型语言模型的训练效率,同时显著降低计算成本和内存消耗。

训练大型语言模型就像是在教授一个拥有数千亿个参数的超级大脑学习语言,这个过程需要消耗巨额的计算资源和电力。现有的训练方法就好比让学生用最笨拙的方式学习数学——要么只看到局部信息而忽视整体结构,要么过度追求完美而丢失了重要细节。当前最流行的AdamW优化器就像一个只会逐个检查每道题目的老师,完全忽略了题目之间的内在联系和整体规律。而另一种叫做Muon的优化器虽然能够统一处理所有维度的信息,但在这个过程中却丢失了宝贵的曲率信息,就像为了保持答题速度一致而忽略了题目的难易程度。

研究团队从一个全新的角度来思考这个问题。他们发现,传统的流形优化方法虽然在数学理论上很优美,但在实际的大模型训练中表现很差,这让很多研究者对这类方法失去了信心。然而,港科大的研究团队没有放弃,而是创新性地改造了这些方法。

他们的核心洞察是这样的

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

卫报:切尔西不愿满足加纳乔的定价;雅克松的要价为8000万镑

懂球帝 浏览 1103

最懂何超琼的人,不是陈百强,不是母亲,而是他

娱说瑜悦 浏览 413

赛力斯今日登陆香港主板 成首家“A+H股”新能源车企

上游新闻 浏览 958

一夜之间,矛盾又升级了!

米筐投资 浏览 1216

自动驾驶真的来了 两款车型分别在北京/重庆获准上路

网易汽车 浏览 969

E句话|福原爱,再婚怀孕

仙女事件簿 浏览 977

冲着陈晓去看《大生意人》,却被满脸狰狞的两位东北跨界演员惊艳

娱乐圈笔娱君 浏览 945

“这顶帽子”太火了,今年流行的风格都离不开它

LinkFashion 浏览 891

小米通报与“大熊”合作处理结果:辞退涉事经办人员

三言科技 浏览 908

苹果发布iPhone 17e与新款iPad Air,定价不变主打中端市场

华尔街见闻官方 浏览 770

美军空袭尼日利亚 至少有4枚"战斧"疑未能引爆

环球网资讯 浏览 896

曝白百何资源受影响!好友还在嘴硬,多位业内下场内涵:太任性了

萌神木木 浏览 1042

李婉华:但凡他跟我求婚,我都不会另嫁他人

艳儿说电影 浏览 1002

上海女士悬赏上海市区一套房 寻找六代单传被拐儿子

扬子晚报 浏览 1197

阔腿裤失宠了?今年这几条裤子最时髦!

LinkFashion 浏览 755

三星再度调侃苹果 iPhone:无法稳定立在桌面

IT之家 浏览 1174

推广|| 用了好几年才推荐,这件单品真的值得投资

黎贝卡的异想世界 浏览 1023

推出3款车型 全新别克GL8陆尊PHEV开启预售

车质网 浏览 1129

电影《寻秦记》番位惹争议,白百何排第三成女主,原版女主变女二

萌神木木 浏览 1006

赖清德被迫取消窜访斯威士兰 更多细节披露

澎湃新闻 浏览 763

春晚主持人阵容曝光,5位都是老面孔

领略非凡 浏览 827
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4