OpenAI 称不再评测 SWE-bench Verified,因污染与错误测量使该基准失真
Why we no longer evaluate SWE-bench Verified
OpenAI 说明其不再评测 SWE-bench Verified,理由是这一基准日益被污染、会错误衡量前沿模型的编码进展。其分析指出存在有缺陷的测试与训练数据泄漏,并推荐使用 SWE-bench Pro。
推荐理由:它用测试污染与训练数据泄漏两项问题分析一个常用基准为何失真,做模型评测的人可据此调整参照。
第 2 / 3 页 · 共 47 条