关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro122人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

房地产市场结构变化催生业务机会

商业观察杂志社 浏览 7558

伦钴突破5万美元关口,出口禁令到期后刚果(金)仍未恢复出口

华尔街见闻官方 浏览 2892

福斯特:曼联看起来很有信心,但争4与曼城相比差距依然明显

懂球帝 浏览 232

球迷态度:颜王刘三人均已34+,李昊今年能否接班国足一门?

懂球帝 浏览 111

追觅官宣造车,首款车型剑指布加迪

汽车公社 浏览 358

记者:黄潜敲定转会协议,阿尔瑙-特纳斯今晚前往西班牙体检

懂球帝 浏览 399

中国留学生目击拦截导弹空中爆炸:不时传来哭声

极目新闻 浏览 52

泽连斯基宣布:或购买150架"鹰狮"战斗机 已签意向书

环球网资讯 浏览 244

男导演曝丑闻 蒋欣的含金量还在上升

刘森森 浏览 244

记者:加拉塔萨雷500万欧年薪报价京多安,达成协议后曼城将放行

直播吧 浏览 385

广汽昊铂GT全新Lite版上市 售价15.38万元起

网易汽车 浏览 221

伊朗:若油气设施遭袭 将摧毁地区所有国家油气设施

红星新闻 浏览 53

硬核风格 奥迪Q6 e-tron越野版假想图曝光

车质网 浏览 206

解决了下雨天穿啥鞋,再来看看背啥包

黎贝卡的异想世界 浏览 414

突然!全线暴跌,发生了什么?

券商中国 浏览 7537

飞天茅台批发价大涨,茅台控量措施会确立白酒行业的价格拐点吗?

郭施亮 浏览 1083

大连有梅花鹿连续2天攻击游客 受伤女子:我没招惹它

极目新闻 浏览 354

邮报:拉亚已成为世界最优秀的门将之一,扑救与脚下技术俱佳

懂球帝 浏览 239

千亿恒力迎来24岁「少东家」

节点财经 浏览 2329

以军空袭加沙 特朗普:哈马斯不守规矩就会被消灭

新京报 浏览 272

3年半亏损289亿,华侨城A换帅,人均薪酬15.5万元

华美财经 浏览 10743
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4