关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro907人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

中国色特别策划 | 故宫技艺与古意新生

时尚COSMO 浏览 961

上海这一夜,妖艳四射的热巴和杨幂,败给了全“裹”出镜的宋佳

娱乐圈笔娱君 浏览 1198

女子毕业24年后起诉母校多收4000元学费 要求退一赔十

大风新闻 浏览 945

马斯克:比尔盖茨最好尽快平掉特斯拉空头头寸

鞭牛士 浏览 8038

业务调整、AI广泛应用,印度IT业“无声裁员”冲击数万岗位

环球网资讯 浏览 1382

官方:切尔西19岁前锋吉米-摩根租借加盟彼得堡联

懂球帝 浏览 1035

怒批9人摆烂!穆帅不惧球员造反:你爸一直对你好? 4轮0分非末日

风过乡 浏览 959

11月新车申报爆冷!车企们要集体“躺平”?误会了!

雷科技 浏览 1009

“小红鞋”今年夏天爆火!怎么搭都好看

LinkFashion 浏览 469

美媒:贾马尔-穆雷不会为加拿大出战下届世界杯&奥运会

懂球帝 浏览 685

美军营救飞行员出动155架飞机

新华国际头条 浏览 812

秋天第一件衬衫,试试这样穿!

黎贝卡的异想世界 浏览 1111

特朗普未关麦与马克龙贴耳说悄悄话被披露 马克龙回应

鲁中晨报 浏览 1236

特斯拉你学坏了!发文内涵国内车企,国产纯电轿车、SUV挨个躺枪

小李车评李建红 浏览 899

或命名为AMG GT SUV AMG纯电SUV谍照曝光

车质网 浏览 1025

好莱坞恶魔制片人被判146年 受害女警作证后意外身亡

大风新闻 浏览 994

德天空:福田师王租借加盟德乙卡尔斯鲁厄,买断费100万到150万欧

直播吧 浏览 1112

冲绳命案凸显日本倚美恶果

国际在线 浏览 248

美前驻华大使不装了:凭啥和中国组G2划"势力范围"

观察者网 浏览 1077

央视王炸定档!1月13日50集历史大剧开播

观察鉴娱 浏览 900

安东尼怒批菲尔-杰克逊:你坚持打不适合的三角进攻,却又说我毁了战术

懂球帝 浏览 961
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4