关闭广告

高效训练新标杆!华人开源原生VLM-NEO,以少数据追平顶级模型

DeepTech深科技986人阅读

当下主流的视觉语言模型(Vision-Language Models, VLM),通常都采用这样一种设计思路:将预训练的视觉编码器与大语言模型通过投影层拼接起来。这种模块化架构成就了当前 VLM 的辉煌,但也带来了一系列新的问题——多阶段训练复杂、组件间语义对齐成本高,不同模块的扩展规律难以协调。

由南洋理工大学 S-Lab 助理教授刘子纬领导的联合团队最近提出了 NEO,试图用另一种思路解决这些问题。这项工作试图回答一个根本性问题:如果不依赖预训练的视觉编码器,能否构建出与顶级模块化 VLM 相媲美的原生统一架构?


图丨相关论文(来源:arXiv)

在传统方法中,视觉编码器通常基于 CLIP 或 SigLIP 等预训练模型,这些编码器虽然在视觉理解上表现出色,但其固有的语义偏置会限制模型在特定任务上的灵活性。

更重要的是,视觉编码器和语言模型之间存在天然的“代沟”——前者采用双向注意力机制来捕捉图像中的全局关系,后者则使用因果注意力进行文本的自回归生成。这种架构上的不匹配使得多阶段训练不仅复杂,还需要大量的对齐数据来弥合两个模态之间的鸿沟。

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

今年秋天最流行的5款短发,穿什么都时髦!

LinkFashion 浏览 1103

冯小刚携徐朵亮相芭莎盛典,21岁养女气质蜕变

露珠聊影视 浏览 824

两名国民党民代遭起诉 郑丽文:民进党想团灭在野党

海峡导报社 浏览 983

秦雯袭警风波升级!新剧开播前四天紧急撤档,上星困难唐嫣被牵连

萌神木木 浏览 1059

盈利大考冲刺关头,千亿小鹏被指“虚假宣传”

雷达财经 浏览 927

郑丽文再次公布人事任命朱立伦尴尬了 洪秀柱罕见喊话

策略述 浏览 969

急流勇退?赵丽颖一年多没进组,被传复婚带娃,38岁给自己放长假

萌神木木 浏览 726

00后吴宜泽夺冠 业内:球员赴英国训练 每年花几十万

每日经济新闻 浏览 707

今年最火的4双平底鞋,配白裙子穿好看又松弛!

LinkFashion 浏览 784

礼来下调Zepbound减肥药现金价格,最低至每月299美元,股价下挫1%

华尔街见闻官方 浏览 3587

媒体:美伊紧张局势拉满 沙特、阿联酋对美国"亮红灯"

上观新闻 浏览 864

王晶戳穿了蔡少芬的尴尬处境?

清游说娱 浏览 1208

刚刚确认!Model Y L登陆工信部:史上续航最长

星星car 浏览 1240

俄军空袭乌克兰首都基辅 供电供暖大范围中断

界面新闻 浏览 893

缅甸突袭KK园区后引发"招聘潮" 有人被7万美元"转卖"

红星新闻 浏览 960

欧盟高官:美国对格陵兰岛的威胁“极其令人担忧”

国际在线 浏览 842

前球员:湖人时期的奥尼尔无法统治当今NBA;约基奇会是90年代的独角兽

懂球帝 浏览 931

谁是中国第一吐槽役?

仙女事件簿 浏览 1043

美官员:美伊协议已电子签署 19日将正式签署

界面新闻 浏览 643

强奸大嫂凶手出狱后去大嫂家 大嫂吓得穿内衣跑出求救

澎湃新闻 浏览 825

如此生猛的国产动作片,近二十年少见,是71岁成龙对时光的挑衅

最爱酷影视 浏览 1211
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4