评测的信号与噪音：OpenAI 发布一项新分析，指出流行的编程基准 SWE-Bench Pro 存在问题，引发对其评估 AI 模型时可靠性与准确性的担忧
Separating signal from noise in coding evaluations
精选评分 64
导读
OpenAI 发布一篇关于编程评测的分析，题为「在编程评测中分辨信号与噪音」，分析揭示常用编程基准 SWE-Bench Pro 存在的问题（issues），并就其在评估 AI 模型时的可靠性（reliability）与准确性（accuracy）提出担忧。属于对主流基准的公开批评。
推荐理由
直接质疑一个被广泛引用的编程基准的可信度，是有公共价值的评测批评；但它单方给出，尚待基准维护方回应。
主体与标签
#评测/基准#编码
正文
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.