关闭广告

从需求分析到代码生成,LLM都能干点啥?一文读懂291个软工Benchmark!

新智元1164人阅读


新智元报道

编辑:LRST

【新智元导读】大语言模型正加速重塑软件工程领域的各个环节,从需求分析到代码生成,再到自动化测试,几乎无所不能,但衡量这些模型到底「好不好用」、「好在哪里」、「还有哪些短板」,一直缺乏系统、权威的评估工具。浙江大学、新加坡管理大学、加拿大渥太华大学等机构的研究团队,首次对291个用于评估LLMs在软件工程任务中的Benchmark进行了系统综述,为AI4SE社区绘制了一份详尽的「基准地图」与方法指南。

近年来,ChatGPT、Llama等大语言模型在软件工程领域的能力突飞猛进,从需求分析、代码生成到测试与维护几乎无所不能。但一个核心问题是:我们如何客观评估这些模型在不同软件工程任务中的表现?

在SE领域,Benchmark既是分数卡,让不同模型在同一标准下比拼;也是方向盘,引导技术改进与未来研究方向。

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

随着日本3-0,韩国4-2,U23亚洲杯最新形势:2支6分队未提前晋级

侃球熊弟 浏览 942

以色列称炸毁黎南部博福特岭地区地下通道设施

国际在线 浏览 552

这一次,新剧惨遭抵制的黄奕,终是付出了代价?

白面书誏 浏览 1134

媒体:对胡塞武装发动连串打击 以趁联大开幕前放大招

新民周刊 浏览 1154

截至9月底 全国累计发电装机容量同比增长17.5%

央视财经 浏览 1596

"刘国梁女儿夺冠没奖金"冲上热搜 18万元冠军奖归亚军

封面新闻 浏览 208

近11战1胜10负!哈登缺阵快船惨败雷霆 近两战合计净负39分

Emily说个球 浏览 947

小德:我的25个大满贯冠军和C罗的1000个进球也许能一起实现

懂球帝 浏览 931

江苏村镇银行改革现罕见案例,一村行吞并三家兄弟行后改名

湘财Plus 浏览 1152

日本经济长期疲软,日元购买力跌至53年来最低

环球网资讯 浏览 6705

内塔尼亚胡向特朗普赠送金色鸽子雕塑

国际在线 浏览 1031

加总理在中国说了美国最不爱听的话 2000亿协议拿到手

北回归线 浏览 905

搭激光雷达/纯电续航506km 长安启源全新Q05开启盲订

网易汽车 浏览 1041

ESPN:德容已与巴萨就续约达成协议,他的薪水将降低

懂球帝 浏览 1008

实探安世半导体东莞工厂:限制出货 员工将"上四休三"

每日经济新闻 浏览 1128

清华姚班大神陈立杰,联手00后逆向破局!颠覆50年计算机难题

新智元 浏览 973

人工智能如何赋能传统工艺?成都大学这场学术活动深入求解

封面新闻 浏览 1015

频曝食安问题、高管IPO前套现1.3亿!鸣鸣很忙上市太急?

互联网那些事 浏览 2696

千匹V8越野新豪华 捷尼赛思X Scorpio Concept

鳯眼观车 浏览 800

让AI的"隐形思维"也能越练越强,这项突破或将重写推理效率的边界

科技行者 浏览 476

深度复盘:大疆是如何成为影像领域新巨头的?

极客公园 浏览 943
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4