关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro774人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

看来看去还是黑色长裤最受欢迎,不挑年纪、不挑腿型,百搭又耐看

静儿时尚达人 浏览 58

美客机万米高空风挡玻璃破裂 资深机长:或为陨石撞击

红星新闻 浏览 878

60岁的张曼玉又美上热搜,她的珍珠搭配太值得借鉴了

LinkFashion 浏览 982

强化AI编程能力迎战谷歌!OpenAI发布GPT-5.2-Codex,软件工程和网安一把抓

华尔街见闻官方 浏览 2497

62岁千百惠因病去世 上个月刚抱孙子

红星新闻 浏览 1124

癌症的“颠覆性疗法”,中国创新药的“DeepSeek时刻”!最核心的关键词:PD(L)1 bsAb

华尔街见闻官方 浏览 1037

一战再战、王家卫、郑智化风波、杨振宁逝世、白百何等

电影最TOP 浏览 828

走过那个夏天,甜茶终于站上金球奖之巅

时尚COSMO 浏览 760

王心凌吴克群被偶遇,曾多次合体同游逛街,被扒出多个同款饰品

扒虾侃娱 浏览 833

日本前首相石破茂再批"日本拥核"言论

界面新闻 浏览 725

中国移动成功举办“AI赋能医院后勤管理新发展”论坛

北青网-北京青年报 浏览 819

大胜爱沙尼亚!土耳其主帅:我们充分发挥了申京在篮下的作用

直播吧 浏览 1030

60岁温碧霞和同龄人聚会,活成了“小公主”

听风听你 浏览 755

菜鸟与蜜雪集团达成合作,为蜜雪打造AI供应链产品

财闻 浏览 808

三星被曝2026年发新款折叠屏手机,屏幕超7英寸、护照式设计,叫板苹果

智东西 浏览 775

法式浪漫与极致速度 Venturi 400超跑传奇

老爷车 浏览 1061

乐道汽车再陷“强制购车”风波,到底是谁在说谎

汽车天涯 浏览 1252

新增AI试穿场,淘宝510答题免单零点已上线

财闻 浏览 589

加沙超50万人陷入饥荒 以军或9月中旬攻加沙城

新华社 浏览 973

拟收购零跑汽车10%股份?中国一汽官方回应:不实信息

澎湃新闻 浏览 1093

房企开年集体“变阵”:人事调整与架构重塑背后的生存新法则

拾盐士 浏览 1538
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4