南京大学团队最新研究发现,现在各类 Coding agent 自己写的测试用例普遍不靠谱,直接造成大家常看到的 AI 代码合格率虚高,被高估接近一倍。过去行业大多只用单一参考答案去验证测试好不好,这种方式很容易踩坑:测试只要能跑通标准答案,就被判定合格,但放到多种合法实现、带 bug 的代码上,就会大量出错。研究拿出了 TestPrism 新评测基准,一共 300 个任务、3000 份不同代码实现,同时引入 JSF 联合成功率这个新标准,要求测试既能放过所有正确写法、又能拦下所有错误写法,不再只盯着单一答案。测评覆盖 6 个模型家族、14 组 Coding agent 配置,就算是表现最好的 Claude Fable 5.1,在旧的单参考评测里成功率 59.67%,但真实 JSF 联合成功率只有 28%,差距非常明显;其余主流模型的 JSF 大多只有 11%~25%。Agent 写出来的测试主要有两类问题,一类是标准太严,把参考代码的实现细节当成硬性需求,拒绝别的完全合规的写法;另一类是标准太松,漏掉边界条件,放过本身有缺陷的代码。这个结论也给开发团队提了醒,不能完全信任 AI 自动产出的测试,更不能直接用 AI 自写测试去验收 AI 生成代码,需要搭配多版本实现、人工复核、多 Agent 交叉校验的方式,才能拿到靠谱的验证结果。
核心评测指标说明
| 指标 | 简称 | 含义 |
|---|---|---|
| 单参考评测成功率 | RAR | 只用一份标准答案检验测试能不能通过,是目前行业主流旧指标 |
| 联合成功率 | JSF | 测试同时做到接纳全部正确实现、拦截全部错误实现,本次研究核心真实指标 |
| 正确接纳率 | IRR | 测试能识别、接纳不同写法的正确代码的比例 |
| 错误拒绝率 | VAR | 测试可以成功拦截有 bug 错误代码的比例 |
主流模型实测数据清单
- Claude Fable 5.1:RAR 59.67%,JSF 28.00%
- Kimi K3:RAR 55% 左右,JSF 24% 左右
- Qwen3.8 Max:RAR 57% 左右,JSF 25% 左右
- GPT 5.6 sol-max:RAR 54% 左右,JSF 23% 左右
- DeepSeek V4 Pro:RAR 未高亮,JSF 13.33%
- GLM 5.3:RAR 未高亮,JSF 11.33%
Coding agent 写测试的两类典型故障
- 过严故障(占比更高):混淆需求本身和参考代码写法,写法不一样但逻辑正确的代码,会被测试误判失败
- 过松故障:用例覆盖不全、缺少边界场景,有漏洞、逻辑错误的代码,依然可以通过测试
落地优化步骤
- 抛弃只拿一份标准答案验证测试的旧评测方式,改用 TestPrism 这类多实现基准
- 校验测试用例时,准备多份写法不同、逻辑合规的正确代码,还有多版本 bug 代码交叉验证
- 采用多 Agent 互测方案,不同 Coding agent 互相写用例、互相校验
- 关键业务代码,AI 生成的测试必须由开发人工复核补充边界用例
【相关 FAQ】
问题 1:Coding agent 生成测试集体翻车,为什么会造成 AI 代码合格率被高估一倍?
回答 1:因为过去评测 Coding agent 产出的测试,只对照一份参考代码,RAR 数值好看,但 JSF 真实联合成功率很低,很多看似合格的测试没办法分辨多样化代码,导致统计出来的 AI 代码通过率虚高,出现被高估一倍的现象。
问题 2:Coding agent 写测试的 JSF 指标和传统 RAR 指标差别在哪?
回答 2:RAR 也就是单参考评测成功率,只看测试能不能跑通标准答案;JSF 联合成功率要求测试同时识别全部正确实现、拦下全部错误代码,更贴近真实开发场景,也是这次 Coding agent 测试翻车研究里的核心指标。
问题 3:Coding agent 写测试最容易出现的错误是标准过严吗?
回答 3:是的,本次研究 6 个模型配置里有 5 个 IRR 高于 VAR,说明 Coding agent 写出的测试高频问题就是标准过严,把参考实现的细节当成强制需求,误伤其他合法正确代码。
问题 4:想要规避 Coding agent 写测试带来的 AI 代码合格率虚高,有什么简单办法?
回答 4:不能只用单一参考答案校验,要准备多版正确、错误代码做交叉验证,搭配多 Agent 互相校验,高优先级代码还要人工审查 AI 产出的测试用例。
【参考资料】
[2026-11-13](Your coding agent shouldn't grade its own homework)Stack Overflow
[2026-11-12](Coding agent 写测试集体失败,AI 代码合格率被高估一倍)36 氪
[2026-11-12](AI Coding Agents Failed to Generate Valid Test Cases: 100% Overestimation of AI-Generated Code Pass Rate)36 氪英文站
【免责声明】
本内容仅为学术研究资讯整理,相关数据来自南京大学 TestPrism 研究与公开媒体报道,不代表所有 Coding agent 产品的全部表现,也不构成选型、采购、生产落地建议;不同模型版本、提示词、任务场景下结果会存在差异,开发者在生产环境使用 Coding agent、AI 自动测试工具时,务必做好独立验证。
本文来自作者[静核回响]投稿,不代表品途网立场,如若转载,请注明出处:https://bbs.pintu360.com/kjxx/202611/1485421.html
评论列表(4条)
我是品途网的签约作者“静核回响”!
希望本篇文章《Coding agent 生成测试集体翻车,AI 代码合格率被高估一倍》能对你有所帮助!
本站[品途网]内容主要涵盖:范文、经验、百科
本文概览:南京大学团队最新研究发现,现在各类 Coding agent 自己写的测试用例普遍不靠谱,直接造成大家常看到的 AI 代码合格率虚高,被高估接近一倍。过去行业大多只用单一参考答案去验证测试好不好,这种方式很容易踩坑:测试只要能跑通标准答案,就被判定合格,但放到多种合法实现、带 bug 的代码上,就会大量出错。研究拿出了 TestPrism 新评测基准,一共 300 个任务、3000 份不同代码实现,同时引入 JSF 联合成功率这个新标准,要求测试既能放过所有正确写法、又能拦下所有错误写法,不再只盯着单一答案。测评覆盖 6 个模型家族、14 组 Coding agent 配置,就算是表现最好的 Claude Fable 5.1,在旧的单参考评测里成功率 59.67%,但真实 JSF 联合成功率只有 28%,差距非常明显;其余主流模型的 JSF 大多只有 11%~25%。Agent 写出来的测试主要有两类问题,一类是标准太严,把参考代码的实现细节当成硬性需求,拒绝别的完全合规的写法;另一类是标准太松,漏掉边界条件,放过本身有缺陷的代码。这个结论也给开发团队提了醒,不能完全信任 AI 自动产出的测试,更不能直接用 AI 自写测试去验收 AI 生成代码,需要搭配多版本实现、人工复核、多 Agent 交叉校验的方式,才能拿到靠谱的验证结果。