关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro362人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

中国曾经也有一家“OpenAI”

虎嗅APP 浏览 7677

伊姐周日热推:电视剧《耀眼》;电视剧《校园之外第一季》......

伊周潮流 浏览 157

特朗普:乌克兰不该"挑战比自己大十倍的国家"

环球时报国际 浏览 588

未来智能完成亿元级A轮融资,蚂蚁集团领投、启明创投超额跟投

雷科技 浏览 492

胡歌是永远都不会离婚的,原因很简单

TVB的四小花 浏览 560

被判赔偿220万元 海底捞"小便门"当事人登报道歉

上观新闻 浏览 360

对标Meta、苹果,Snap十年研发高端AR眼镜定价2195美元

环球网资讯 浏览 108

圣桐特医再度递表 财务紧绷难解

北京商报 浏览 3203

陈奕迅发声道歉,已下架朱祖儿相关影片,网友不买账评论区沦陷

扒虾侃娱 浏览 602

今年春天流行穿套装,太高级了!

LinkFashion 浏览 820

当年最红的女明星,“孤苦伶仃”?

Yuki女人故事 浏览 342

曼晚:无论卡里克成绩如何,恩里克、纳格尔斯曼顺位在他前面

懂球帝 浏览 256

刘浩存:明媚中绽放

时尚COSMO 浏览 230

章子怡百花晚会偶遇30年好友曾黎

泪满过眼 浏览 335

恩里克:这场比赛对登贝莱有帮助;我们希望继续赢得更多奖杯

懂球帝 浏览 413

互联网的免费时代,结束了

极客公园 浏览 163

空调市场“老二”之争:小米让格力电器“抖了抖”,董明珠岂能坐视不管?

时代周报 浏览 2515

全国第二个提前还债的省份,出现在西部

时代周报 浏览 11921

以总理:将确保哈马斯解除武装

国际在线 浏览 503

快手“沦陷”之夜:1.7万僵尸账号

影像温度 浏览 361

76岁著名演员许绍雄被指病危 多位圈中好友已赶到医院

极目新闻 浏览 458
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4