关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro565人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

塞内加尔队26人名单:34岁马内8年后再战世界杯 18岁拜仁天才入选

我爱英超 浏览 365

小米SU7换代,或涨价2万元,都会有哪些升级?

正在说车 浏览 628

票房从57.7亿跌到1.28亿,我感慨:这块金字招牌算是砸了

靠谱电影君 浏览 576

斥资5.6亿,看完《惊蛰无声》预告片,我想说:张艺谋又赌赢了!

娱乐圈笔娱君 浏览 607

衣服完全没有必要越买越多!准备好这3款单品,百搭又舒适

静儿时尚达人 浏览 562

NBA战报:凯尔特人115-101公牛取NBA4连胜,安芬尼-西蒙斯27+3+3

懂球帝 浏览 584

G7订单增速远超预期 何小鹏:不卷价格卷技术

网易汽车 浏览 846

林允儿新剧遭官媒批评!本人社媒喊话我喜欢,来中国捞金还挑衅

萌神木木 浏览 725

被问与特朗普关系是否已"破裂" 斯塔默回应

环球网资讯 浏览 415

极速养成“四力” 我在长春航展“追”飞机丨去现场做原创

封面新闻 浏览 629

摩洛哥队长赛斯自宣从国家队退役,共代表摩洛哥出场86次

懂球帝 浏览 498

亚马逊大裁员,揭示了AI时代残酷的现实

首席商业评论 浏览 646

不确定的时代里,亚马逊广告如何重构确定性?

有数DataVision 浏览 1364

会“穿”丝巾的女人,美的更高级

LinkFashion 浏览 795

目标直指绝对第一:阿里为淘宝闪购按下份额扩张“加速键”

华尔街见闻官方 浏览 624

优刻得携手华中科技大学探索Agent推理基础设施新路径

财闻 浏览 331

北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

篮球资讯达人 浏览 657

马克·库班抨击OpenAI情色计划:这将会适得其反

鞭牛士 浏览 1412

增长遇阻,捷途汽车连续三个月销量下滑?

车秀小咖 浏览 403

翁青雅被官媒点名,言辞直戳其肺管子

娱乐圈笔娱君 浏览 642

特朗普证实:已授权中情局行动

澎湃新闻 浏览 660
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4