关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro144人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

“安我股保”假保险的真骗局 传销式推广暗藏陷阱

北京商报 浏览 5008

人到中年别硬凹“少女感”,无龄感穿搭才是王道,优雅显贵

静儿时尚达人 浏览 192

五六十岁的女人,穿衣要讲究和得体,牢记这5个穿搭法则实用

静儿时尚达人 浏览 387

起底狙击宇树科技的日化公司:幕后老板已被限高,掌握专利超120项,涉多起纠纷

红星资本局 浏览 1387

百度发布Q2财报:AI新业务收入破100亿,全栈布局开花结果

澎湃新闻 浏览 411

喜羊羊之父,又要去IPO了

投资家 浏览 2364

55岁郑丽文当选国民党主席 其被视为"非典型国民党人"

中国青年报 浏览 255

美国政府效率部提前解散

北京商报 浏览 2096

报道称明年AI芯片产量拟提高两倍,寒武纪尾盘拉升,深夜“严正声明”:不实

华尔街见闻官方 浏览 5800

将于东京车展首发 全新丰田卡罗拉官图曝光

车质网 浏览 315

TA:德罗认为自己在巴萨没有清晰的发展路径,巴萨对此很无奈

懂球帝 浏览 163

雷军回应内部会议将玄戒O1读成01:鬼使神差念错了

IT之家 浏览 159

4年“伺候”4位总经理,水井坊公关一号位挂印封金

财经众议院 浏览 5454

空客天津第二总装线投产,高端航空制造产业集群成型

华夏时报 浏览 256

女子不喜欢名字"丽春"多次申请改名被拒 县公安局回应

环球网资讯 浏览 300

小区因千万接口费欠款致600户居民3年未供暖 多方回应

大象新闻 浏览 271

康师傅换帅!创始人之子接棒CEO,去年薪酬937万元

中国基金报 浏览 1771

移动、联通押注下一代“手机”

全天候科技 浏览 199

2025秋冬最火的5件外套,今年流行的风格都离不开它们!

LinkFashion 浏览 321

7万+再创造车新势力月销纪录 零跑或成下一个中国前十

道哥说车 浏览 265

这些地铁,在花式搞钱

花朵财经 浏览 399
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4