OpenAI 称不再评测 SWE-bench Verified，因污染与错误测量使该基准失真
Why we no longer evaluate SWE-bench Verified
精选评分 68
导读
OpenAI 说明其不再评测 SWE-bench Verified，理由是这一基准日益被污染、会错误衡量前沿模型的编码进展。其分析指出存在有缺陷的测试与训练数据泄漏，并推荐使用 SWE-bench Pro。
推荐理由
它用测试污染与训练数据泄漏两项问题分析一个常用基准为何失真，做模型评测的人可据此调整参照。
主体与标签
openai#评测/基准#编码#论文/研究
正文
SWE-bench Verified is increasingly contaminated and mismeasures frontier coding progress. Our analysis shows flawed tests and training leakage. We recommend SWE-bench Pro.