Coding agent 生成测试集体翻车,AI 代码合格率被高估一倍

南京大学团队最新研究发现,现在各类 Coding agent 自己写的测试用例普遍不靠谱,直接造成大家常看到的 AI 代码合格率虚高,被高估接近一倍。过去行业大多只用单一参考答案去验证测试好不好,这种方式很容易踩坑:测试只要能跑通标准答案,就被判定合格,但放到多种合法实现、带 bug 的代码上,就会大量出错。研究拿出了 TestPrism 新评测基准,一共 300 个任务、3000 份不同代码实现,同时引入 JSF 联合成功率这个新标准,要求测试既能放过所有正确写法、又能拦下所有错误写法,不再只盯着单一答案。测评覆盖 6 个模型家族、14 组 Coding agent 配置,就算是表现最好的 Claude Fable 5.1,在旧的单参考评测里成功率 59.67%,但真实 JSF 联合成功率只有 28%,差距非常明显;其余主流模型的 JSF 大多只有 11%~25%。Agent 写出来的测试主要有两类问题,一类是标准太严,把参考代码的实现细节当成硬性需求,拒绝别的完全合规的写法;另一类是标准太松,漏掉边界条件,放过本身有缺陷的代码。这个结论也给开发团队提了醒,不能完全信任 AI 自动产出的测试,更不能直接用 AI 自写测试去验收 AI 生成代码,需要搭配多版本实现、人工复核、多 Agent 交叉校验的方式,才能拿到靠谱的验证结果。

核心评测指标说明

指标简称含义
单参考评测成功率RAR只用一份标准答案检验测试能不能通过,是目前行业主流旧指标
联合成功率JSF测试同时做到接纳全部正确实现、拦截全部错误实现,本次研究核心真实指标
正确接纳率IRR测试能识别、接纳不同写法的正确代码的比例
错误拒绝率VAR测试可以成功拦截有 bug 错误代码的比例

主流模型实测数据清单

  1. Claude Fable 5.1:RAR 59.67%,JSF 28.00%
  2. Kimi K3:RAR 55% 左右,JSF 24% 左右
  3. Qwen3.8 Max:RAR 57% 左右,JSF 25% 左右
  4. GPT 5.6 sol-max:RAR 54% 左右,JSF 23% 左右
  5. DeepSeek V4 Pro:RAR 未高亮,JSF 13.33%
  6. GLM 5.3:RAR 未高亮,JSF 11.33%

Coding agent 写测试的两类典型故障

  • 过严故障(占比更高):混淆需求本身和参考代码写法,写法不一样但逻辑正确的代码,会被测试误判失败
  • 过松故障:用例覆盖不全、缺少边界场景,有漏洞、逻辑错误的代码,依然可以通过测试

落地优化步骤

  1. 抛弃只拿一份标准答案验证测试的旧评测方式,改用 TestPrism 这类多实现基准
  2. 校验测试用例时,准备多份写法不同、逻辑合规的正确代码,还有多版本 bug 代码交叉验证
  3. 采用多 Agent 互测方案,不同 Coding agent 互相写用例、互相校验
  4. 关键业务代码,AI 生成的测试必须由开发人工复核补充边界用例

【相关 FAQ】

问题 1:Coding agent 生成测试集体翻车,为什么会造成 AI 代码合格率被高估一倍?

回答 1:因为过去评测 Coding agent 产出的测试,只对照一份参考代码,RAR 数值好看,但 JSF 真实联合成功率很低,很多看似合格的测试没办法分辨多样化代码,导致统计出来的 AI 代码通过率虚高,出现被高估一倍的现象。

问题 2:Coding agent 写测试的 JSF 指标和传统 RAR 指标差别在哪?

回答 2:RAR 也就是单参考评测成功率,只看测试能不能跑通标准答案;JSF 联合成功率要求测试同时识别全部正确实现、拦下全部错误代码,更贴近真实开发场景,也是这次 Coding agent 测试翻车研究里的核心指标。

问题 3:Coding agent 写测试最容易出现的错误是标准过严吗?

回答 3:是的,本次研究 6 个模型配置里有 5 个 IRR 高于 VAR,说明 Coding agent 写出的测试高频问题就是标准过严,把参考实现的细节当成强制需求,误伤其他合法正确代码。

问题 4:想要规避 Coding agent 写测试带来的 AI 代码合格率虚高,有什么简单办法?

回答 4:不能只用单一参考答案校验,要准备多版正确、错误代码做交叉验证,搭配多 Agent 互相校验,高优先级代码还要人工审查 AI 产出的测试用例。

【参考资料】

[2026-11-13](Your coding agent shouldn't grade its own homework)Stack Overflow

[2026-11-12](Coding agent 写测试集体失败,AI 代码合格率被高估一倍)36 氪

[2026-11-12](AI Coding Agents Failed to Generate Valid Test Cases: 100% Overestimation of AI-Generated Code Pass Rate)36 氪英文站

【免责声明】

本内容仅为学术研究资讯整理,相关数据来自南京大学 TestPrism 研究与公开媒体报道,不代表所有 Coding agent 产品的全部表现,也不构成选型、采购、生产落地建议;不同模型版本、提示词、任务场景下结果会存在差异,开发者在生产环境使用 Coding agent、AI 自动测试工具时,务必做好独立验证。

本文来自作者[静核回响]投稿,不代表品途网立场,如若转载,请注明出处:https://bbs.pintu360.com/kjxx/202611/1485421.html

赞 (3)
3 4

发表回复

本站作者后才能评论

评论列表(4条)

  • 静核回响
    静核回响 2026年11月15日

    我是品途网的签约作者“静核回响”!

  • 静核回响
    静核回响 2026年11月15日

    希望本篇文章《Coding agent 生成测试集体翻车,AI 代码合格率被高估一倍》能对你有所帮助!

  • 静核回响
    静核回响 2026年11月15日

    本站[品途网]内容主要涵盖:范文、经验、百科

  • 静核回响
    静核回响 2026年11月15日

    本文概览:南京大学团队最新研究发现,现在各类 Coding agent 自己写的测试用例普遍不靠谱,直接造成大家常看到的 AI 代码合格率虚高,被高估接近一倍。过去行业大多只用单一参考答案去验证测试好不好,这种方式很容易踩坑:测试只要能跑通标准答案,就被判定合格,但放到多种合法实现、带 bug 的代码上,就会大量出错。研究拿出了 TestPrism 新评测基准,一共 300 个任务、3000 份不同代码实现,同时引入 JSF 联合成功率这个新标准,要求测试既能放过所有正确写法、又能拦下所有错误写法,不再只盯着单一答案。测评覆盖 6 个模型家族、14 组 Coding agent 配置,就算是表现最好的 Claude Fable 5.1,在旧的单参考评测里成功率 59.67%,但真实 JSF 联合成功率只有 28%,差距非常明显;其余主流模型的 JSF 大多只有 11%~25%。Agent 写出来的测试主要有两类问题,一类是标准太严,把参考代码的实现细节当成硬性需求,拒绝别的完全合规的写法;另一类是标准太松,漏掉边界条件,放过本身有缺陷的代码。这个结论也给开发团队提了醒,不能完全信任 AI 自动产出的测试,更不能直接用 AI 自写测试去验收 AI 生成代码,需要搭配多版本实现、人工复核、多 Agent 交叉校验的方式,才能拿到靠谱的验证结果。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们