新智元报道
编辑：LRST
【新智元导读】大语言模型正加速重塑软件工程领域的各个环节，从需求分析到代码生成，再到自动化测试，几乎无所不能，但衡量这些模型到底「好不好用」、「好在哪里」、「还有哪些短板」，一直缺乏系统、权威的评估工具。浙江大学、新加坡管理大学、加拿大渥太华大学等机构的研究团队，首次对291个用于评估LLMs在软件工程任务中的Benchmark进行了系统综述，为AI4SE社区绘制了一份详尽的「基准地图」与方法指南。
近年来，ChatGPT、Llama等大语言模型在软件工程领域的能力突飞猛进，从需求分析、代码生成到测试与维护几乎无所不能。但一个核心问题是：我们如何客观评估这些模型在不同软件工程任务中的表现？
在SE领域，Benchmark既是分数卡，让不同模型在同一标准下比拼；也是方向盘，引导技术改进与未来研究方向。
