关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元477人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

袁悦苦战182分钟惨胜后遭调侃打球兼项马拉松,吴易昺疑似又伤了

网球之家 浏览 389

E句话| 李艺彤和丝芭居然和平解约了?

仙女事件簿 浏览 436

朱江明和费翔一起发零跑车皇!增程配80度大电池,“全身名牌”登场

车东西 浏览 522

荣耀亲选耳夹式耳机2 Pro曝光:金线充电盒加持,支持空间音频

IT之家 浏览 455

杨振宁回国定居在清华园已超20年 为自家取名"归根居"

南方都市报 浏览 495

巴基斯坦和阿富汗同意立即停火

央视新闻客户端 浏览 507

储能内卷的标准样本:黑马果下科技,究竟是如何速成的?

赶碳号 浏览 1142

日本渣男骗前女友拍全裸写真出轨

孤独的独角兽影视 浏览 372

法新社:姆巴佩与巴黎之间的财务纠纷将在17日举行听证会

懂球帝 浏览 473

泽连斯基:我和印度总理通话 他支持乌方对停火的呼吁

参考消息 浏览 634

奔驰部分车型指导价下调10%,两大行业组织曾发函:经销商库存过高、价格倒挂严重

红星资本局 浏览 1117

一家4口爬山祈福33岁妻子坠亡 丈夫最新回应质疑

都市快报橙柿互动 浏览 312

本科毕业生为了一份更好工作回炉技校 入学一年后退学

南风窗 浏览 639

沙特官员向德黑兰承诺:不会向美军开放领空

红星新闻 浏览 378

央企旗下四川水电开发公司36.79%股权挂牌转让,底价19.3亿元

红星资本局 浏览 3594

官方出手,这一次谁也救不了狂妄自大的张雪峰?

小娱乐悠悠 浏览 415

美联储主席最热人选哈塞特:CPI报告好得令人震惊,美联储有很大空间可以降息

华尔街见闻官方 浏览 1962

鲁本-迪亚斯:经验告诉我们,如果不在最佳状态就无法夺冠

懂球帝 浏览 389

记者:曼市双雄尚未和森林谈安德森,若欧联夺冠森林希望留人

懂球帝 浏览 213

花粉四大喜:提名三大奖,收视拿年冠,大饼吃到饱,姐姐不恋爱

仙女事件簿 浏览 158

女子被堂妹邀请合伙做生意发现不对劲:我可是你姐姐啊

1818黄金眼 浏览 205
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4