关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro61人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

新中式,才是属于我们的时尚与生活

LinkFashion 浏览 227

台湾歌手千百惠因病离世 享年62岁

极目新闻 浏览 375

北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

篮球资讯达人 浏览 219

颜值能打、空间够用 长安Lumin宝藏版4.79万起

网易汽车 浏览 178

搭载雷神AI电混2.0技术 吉利银河星耀7申报信息发布

网易汽车 浏览 224

吴速玲曝儿子Joe是恋爱脑

韩小娱 浏览 84

快手“午夜惊魂”,4亿用户信任一夜崩塌

深蓝财经 浏览 4527

120公里时速L3破局:广汽昊铂A800引领智能驾驶新赛道

澎湃新闻 浏览 140

享界S9T豪华旅行车亮相成都 9月16日正式上市

网易汽车 浏览 321

大哥承诺每月给1万养家费 小弟把事扛了入狱发现被耍

方圆 浏览 194

打破垄断,光模块巨头,利润大增300%!

飞鲸投研 浏览 1022

养老金增速领跑 险资投资版图更新

北京商报 浏览 1983

里瑟:利物浦的排名会比曼联更高,但后者也需要重返英超前列

懂球帝 浏览 132

"最快女护士"张水华风波后首次公开参赛 获女子组第二

每日经济新闻 浏览 224

媒体:在达沃斯演讲72分钟 特朗普让欧洲心脏停跳两回

看看新闻Knews 浏览 59

推广中奖名单-更新至2026年2月3日推广

黎贝卡的异想世界 浏览 13

贾国龙宣战失败,西贝亏损超6亿元,到底谁的责任?

数字财经智库 浏览 751

中国人聊"美国斩杀线" 居然让新加坡主流媒体彻底破防

沙盘上的战争 浏览 102

芯片圈“大佬”IPO梦碎,牵出千万受贿案!

野马财经 浏览 882

乌武装部队前总司令扎卢日内提议:在乌克兰部署核武器

环球时报国际 浏览 161

现身非洲杯,姆巴佩去看他父亲祖国喀麦隆对阵科特迪瓦的比赛

懂球帝 浏览 127
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4