关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro364人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国资入主黑芝麻再进一步:国资委审批落地,约定承诺期净利润累计不低于3.15亿元

红星资本局 浏览 2348

陈奕迅回应患焦虑症:仍在服药看医生,但已好转大半

大象新闻 浏览 456

《红舞鞋》剧组被曝压榨群演!工作11小时仅70元,剧方还威胁学生

萌神木木 浏览 486

弱水时砂预热“锆势”旗舰 TWS 蓝牙入耳式耳机,9 月 25 日上市

IT之家 浏览 486

浙江大学最新突破:AI换脸技术迎来电影级质量革命

科技行者 浏览 374

4年3冠!王牌大比分4-0横扫水星夺冠,阿贾-威尔逊31+9+4

懂球帝 浏览 506

塔帅:欧冠晋级我非常激动,但在那之后我立即转向了西汉姆联

懂球帝 浏览 237

ESPN:若卡塞米罗接受大幅降薪,曼联不排除留下他

懂球帝 浏览 478

62岁何赛飞的“真实”,让多少明星“无地自容”

可乐谈情感 浏览 496

羽绒服+阔腿裤:今年冬天最火搭配,松弛又时髦!

LinkFashion 浏览 483

郭晶晶婆婆的新身份,更让我羡慕了

Yuki女人故事 浏览 478

《新闻女王2》:权力是女人最好的补品

仙女事件簿 浏览 438

“天后前夫”欠债10年后,爆了4颗雷,离了2次婚

大猫财经Pro 浏览 1342

头灯焕新设计 新款宾利飞驰测试谍照曝光

车质网 浏览 236

前东方甄选主播"顿顿"回应被指"娘""女性化":很荣幸

极目新闻 浏览 666

李开复,在成都投了一家“0卡糖”

投中网 浏览 918

王思聪懒懒晒照破“分手”传言?

深析古今 浏览 595

俄知名富商前CEO失踪4天 手机信号消失在沿海悬崖

红星新闻 浏览 390

行驶超7万公里,初代问界M5满足国标涉水、底部撞击、火烧要求

IT之家 浏览 393

内娱又增新赛道,三分钟火出圈的叶祖新,坐着就抢了主角的戏

最爱酷影视 浏览 406

今年春天一定要拥有的4件衣服,太好看了!

LinkFashion 浏览 285
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4