关闭广告

GUI自动化的新突破:ServiceNow让AI更准确定位屏幕界面元素

科技行者1019人阅读


这项由ServiceNow、魁北克人工智能研究院、蒙特利尔大学、约克大学、蒙特利尔理工学院和麦吉尔大学联合进行的研究发表于2025年10月,论文编号为arXiv:2510.03230v1。研究团队由王苏宇辰、张天宇、Ahmed Masry、Christopher Pal、Spandana Gella、刘邦和Perouz Taslakian等学者组成,他们致力于解决人工智能在GUI(图形用户界面)自动化中面临的核心难题。有兴趣深入了解的读者可以通过论文编号arXiv:2510.03230v1查询完整论文。

现代生活中,我们每天都要与各种软件界面打交道——从手机应用到电脑程序,从网页浏览到办公软件。如果能让人工智能像人类一样准确地识别和操作这些界面元素,将会极大提升工作效率。然而,要让AI准确找到屏幕上的按钮、文本框或菜单项,就像要求一个从未见过地图的人在陌生城市中找到特定建筑物一样困难。

这项研究的核心贡献在于解决了当前视觉语言模型在GUI定位任务中的一个根本性问题:如何将自然语言指令准确转换为屏幕上的像素坐标。研究团队发现,现有方法就像让一个盲人通过触摸来画地图一样效率低下,因为AI模型需要在没有明确参照物的

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

海底捞向董事长张勇提供1亿元借款,称可增加利息收入

财视传播 浏览 72518

旧金山大停电,谷歌无人车Waymo乱作一团,特斯拉赢麻了

华尔街见闻官方 浏览 899

富勒姆怒斥曼联第一球不应存在,炮轰天大误判!英超官方解释原因

罗米的曼联博客 浏览 887

北约名存实亡!美警告欧洲,不要指望美军保护

浏览 1358

参观了设计师花7年打磨的家,太开眼了!

黎贝卡的异想世界 浏览 715

利空突袭!凌晨,全线大跌!

券商中国 浏览 3553

"南拳妈妈"成员帕劳潜水遭韩国籍潜导袭击:被拳打脚踢

扬子晚报 浏览 233

天空:联赛杯新规出台,塞门约可出战纽卡斯尔

懂球帝 浏览 821

国产光刻胶攻坚提速,2026年有望爆发!扬帆新材等企业领跑突围

览富财经网 浏览 2364

苹果折叠屏iPhone Fold细节曝光:钛合金机身,售价超2000美元

IT之家 浏览 1062

佟丽娅最新古装近照曝光!比李沁还漂亮,42岁第一次演仙侠剧

温柔娱公子 浏览 1018

不是第一次了,穆斯卡特两年前曾率队在天皇杯输给町田泽维亚

懂球帝 浏览 941

“长+短”穿法今年冬天又火了!照着穿时髦又显高

LinkFashion 浏览 978

基准新规划定过渡期!近75%基金“及格线”或需调整

券商中国 浏览 1728

特朗普试图重建长期关税壁垒 民主党将阻止

华尔街见闻官方 浏览 6821

端侧AI赋能千行百业 2025 Ceva技术研讨会助力产业升级

爱集微 浏览 981

美联储理事沃勒:CEO们称AI将致大量裁员,3月利率决议取决于2月劳动力数据

华尔街见闻官方 浏览 6702

这样的“恶女”人设,真太爽了!

伊周潮流 浏览 920

记者:尤文、巴萨旧将卡塞雷斯将与乌拉圭球队尤文图德签约

懂球帝 浏览 840

白宫发了张图:“痛击加拿大鹅”

大风新闻 浏览 782

她实名爆料,这场丑闻彻底盖不住了

独立鱼 浏览 1208
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4