评测基准

这一门下的精选 · 37 条

21:00OpenAI News精选评分 64

评测的信号与噪音：OpenAI 发布一项新分析，指出流行的编程基准 SWE-Bench Pro 存在问题，引发对其评估 AI 模型时可靠性与准确性的担忧

Separating signal from noise in coding evaluations

OpenAI 发布一篇关于编程评测的分析，题为「在编程评测中分辨信号与噪音」，分析揭示常用编程基准 SWE-Bench Pro 存在的问题（issues），并就其在评估 AI 模型时的可靠性（reliability）与准确性（accuracy）提出担忧。属于对主流基准的公开批评。

论文

推荐理由：直接质疑一个被广泛引用的编程基准的可信度，是有公共价值的评测批评；但它单方给出，尚待基准维护方回应。

08:00OpenAI News精选评分 63

GeneBench-Pro：OpenAI 推出一个新基准，用复杂、真实世界的数据集来测试 AI 在基因组学、生物学与科学研究上的表现

Introducing GeneBench-Pro

OpenAI 发布 GeneBench-Pro，这是一个新基准（benchmark），用复杂、真实世界的数据集来测试 AI 在基因组学（genomics）、生物学与科学研究上的能力。属于面向科研评测的基准建设。

论文

推荐理由：以真实数据集建基准，评测口径比合成题更可用，对科研方向的模型评估有直接价值；但材料未给榜单结果。

18:00OpenAI News精选评分 68

GPT-5.6 Sol 预览：OpenAI 预览这一代新模型，其在编码、科学与网络安全三方面能力更强，并配套它最先进的一套安全栈（safety stack）

Previewing GPT-5.6 Sol: a next-generation model

OpenAI 发布 GPT-5.6 Sol 的预览，这是一个能力更强的下一代模型，落在编码（coding）、科学（science）与网络安全（cybersecurity）三条线，并配上其最先进的安全栈。属于旗舰型号的预告性发布。

模型

推荐理由：预告具体型号与三条能力线，并点明安全栈同步升级，是判断这一代走向的直接材料；但预览阶段未给完整评测。

08:00OpenAI News精选评分 63

LifeSciBench：OpenAI 推出一个由专家撰写、经专家评审的生命科学基准，用于评测 AI 系统处理真实世界生命科学研究任务与决策的能力

Introducing LifeSciBench

OpenAI 发布 LifeSciBench，这是一个专家撰写、专家评审（expert-authored, expert-reviewed）的基准，评测 AI 系统在真实世界生命科学研究（life science research）任务与决策上的表现。属于生命科学的评测基础设施。

论文

推荐理由：「专家评审过的真实科研任务」直指现有基准的短板，评测口径可信度较高；材料未给任务规模与首轮结果。

08:00OpenAI News精选评分 68

发布前的预演：OpenAI 提出 Deployment Simulation 这一方法，它用真实对话数据在部署之前模拟并预测模型的行为，用以改进安全与评测的准确性

Predicting model behavior before release by simulating deployment

OpenAI 发布方法介绍：Deployment Simulation，这是一种在模型部署前预测其行为的做法，依据是真实对话数据（real conversation data），提高安全评估与评测准确性。属于评测方法上的新工具。

论文

推荐理由：「部署前用真实数据模拟行为」是安全评测的具体方法论，可被同行复用；材料未给误差范围与验证结果。

08:00OpenAI News精选评分 60

Parameter Golf 的教训：OpenAI 复盘这场竞赛，有 1000 多名参与者与 2000 多份提交，在严格约束下检验 AI 辅助的机器学习研究——包括编码智能体、量化（quantization）与新的模型设计

What Parameter Golf taught us about AI-assisted research

OpenAI 发布一篇关于 Parameter Golf 的复盘，这场竞赛有超过 1000 名参与者（1,000+ participants）与超过 2000 份提交（2,000+ submissions），在严格约束下检验 AI 辅助的机器学习研究，涉及编码智能体、量化与新模型设计。属于把 AI 做研究的能力放进竞赛环境检验。

论文

推荐理由：参赛者与提交数给出了真实的实验规模，比单点演示更可评估；材料偏总结，未给冠军方案细节。

21:00OpenAI News精选评分 60

可信网络防御接入：OpenAI 扩展其 Trusted Access for Cyber 计划到 GPT-5.5 与 GPT-5.5-Cyber，帮助经过核验的防守方（verified defenders）加速漏洞研究并保护关键基础设施

Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber

OpenAI 发布一条安全计划扩展：Trusted Access for Cyber 扩大到 GPT-5.5 与 GPT-5.5-Cyber 两档能力，该计划面向经过核验的安全防守方，加速漏洞研究（vulnerability research）并保护关键基础设施。属于高能力模型的可控准入机制。

行业

推荐理由：「经核验防守方 + 专用型号」的准入安排是其网络能力治理的实际执行；材料未给核验标准与参与规模。

18:00OpenAI News精选评分 72

默认模型换血：OpenAI 用 GPT-5.5 Instant 更新 ChatGPT 的默认模型，更聪明、更准确的回答、减少幻觉（hallucinations），并改进个性化控制

GPT-5.5 Instant: smarter, clearer, and more personalized

OpenAI 发布 ChatGPT 默认模型的更新：GPT-5.5 Instant，这一版带来更聪明、更清晰的回答与更高的准确性，减少幻觉（reduced hallucinations）与改进个性化控制（personalization controls）。默认模型换代会影响全体用户。

模型

推荐理由：默认模型换代 + 明确减少幻觉的口径，是覆盖面最大的模型更新之一；材料未给幻觉率的具体数字。

19:00OpenAI News精选评分 60

OpenAI 提出 IH-Challenge，训练前沿模型分清指令优先级

Improving instruction hierarchy in frontier LLMs

OpenAI 介绍 IH-Challenge，用来训练模型优先处理可信指令，从而改进指令层级、安全可控性，并增强对提示注入攻击的抵抗。

论文#openai

推荐理由：它用一套训练方法让模型优先听从可信指令，材料指向可被引导、抗提示注入这一安全目标。

00:35Google DeepMind精选评分 65

Gemini 3.1 Flash-Lite 发布：$0.25/$1.50 每百万 token，Arena.ai Elo 1432、GPQA Diamond 86.9%

Gemini 3.1 Flash-Lite: Built for intelligence at scale

Google DeepMind 发布 Gemini 3.1 Flash-Lite，称其为 Gemini 3 系列里最快、最具成本效益的型号，面向大规模高并发的开发者负载，已在 Gemini API（Google AI Studio）开放预览、企业侧走 Vertex AI。口径很实：定价每百万输入 token 0.25 美元、输出 1.50 美元；按 Artificial Analysis 基准，较 2.5 Flash 首 token 响应快 2.5 倍、输出速度高 45%，质量持平或更好；Arena.ai 榜 Elo 1432，GPQA Diamond 86.9%、MMMU Pro 76.8%。

模型#Google

推荐理由：单价、速度对比与基准分数一次给全，批量推理选型可直接算账。

18:00OpenAI News精选评分 60

太平洋西北国家实验室与 OpenAI 推出 DraftNEPABench，评估 AI 编码代理加速联邦审批

Pacific Northwest National Laboratory and OpenAI partner to accelerate federal permitting

OpenAI 与太平洋西北国家实验室（PNNL）推出新基准 DraftNEPABench，用来评估 AI 编码代理能否加快美国联邦审批，其结果有可能把 NEPA 起草时间最多减少约 15%，从而让基础设施审查现代化。

论文#openai

推荐理由：它把编码代理放到联邦审批起草这一具体任务上，材料给出可能节省约 15% 时间的量级，为评估代理的实际价值提供了一个参照。

19:00OpenAI News精选评分 68

OpenAI 称不再评测 SWE-bench Verified，因污染与错误测量使该基准失真

Why we no longer evaluate SWE-bench Verified

OpenAI 说明其不再评测 SWE-bench Verified，理由是这一基准日益被污染、会错误衡量前沿模型的编码进展。其分析指出存在有缺陷的测试与训练数据泄漏，并推荐使用 SWE-bench Pro。

论文#openai

推荐理由：它用测试污染与训练数据泄漏两项问题分析一个常用基准为何失真，做模型评测的人可据此调整参照。

08:00OpenAI News精选评分 60

OpenAI 与 Paradigm 推出 EVMbench，考察 AI 代理对智能合约漏洞的检测、修补与利用

Introducing EVMbench

OpenAI 与 Paradigm 推出 EVMbench，这是一个评估 AI 代理检测、修补与利用高严重级智能合约漏洞能力的基准。

论文#openai

推荐理由：它把智能体的能力放到高严重级智能合约漏洞这一具体靶上，做合约安全的人可用它衡量检测、修补与利用三类能力。

00:12Google DeepMind精选评分 71

用 Gemini Deep Think 做科研：Google DeepMind 连发两篇论文，在专家指导下求解数学、物理与计算机科学的专业级难题

Accelerating Mathematical and Scientific Discovery with Gemini Deep Think

由 Thang Luong 与 Vahab Mirrokni 署名的研究文：2025 年夏某个进阶版 Gemini Deep Think 达到 IMO 金牌水准，随后升级版在国际大学生程序设计竞赛上也取得相近成绩；此后 Deep Think 模式推向科学、工程与企业工作流，去啃更开放更复杂的问题。文中说的是近一周内团队发表两篇论文、记录一场跨学科协作——数学家、物理学家与计算机科学家一起用 Gemini Deep Think 求解专业研究问题。作者点出关键难点：研究级数学不像 IMO 题，需要广袤文献里的进阶技巧，基础模型虽有知识储备但数据稀缺会导致理解浅、出现幻觉，他们为此构建了一个数学研究智能体。

论文#Google

推荐理由：从 IMO 金牌跨到真实研究题这一段最能说明推理能力的迁移边界，值得完整读。

19:58Google DeepMind精选评分 67

Gemini 3 Flash 发布：定位为速度而生的前沿智能，首发至今 API 日处理超 1 万亿 token

Gemini 3 Flash: frontier intelligence built for speed

Google DeepMind 扩展 Gemini 3 家族，发布 Gemini 3 Flash——以更低的成本提供其上那一档前沿智能的速度版本，并把 Gemini 3 这一代能力铺到全线 Google 产品。文章披露 Gemini 3 首发以来的生态数据：API 日处理已超 1 万亿 token；用户拿 Gemini 3 做过的事情包括 vibe code 仿真来学习复杂概念、搭交互式游戏、理解各类多模态内容。Flash 保留了 Gemini 3 在复杂推理、多模态与视觉理解、智能体与 vibe coding 上的底子。

模型#Google

推荐理由：把这一档模型的定位、保有数据与成本取向讲清，是选型时判断便宜档能顶多少的参考。

19:29Google DeepMind精选评分 63

与 Kaggle 联手推出 FACTS Benchmark Suite：参数化、搜索与多模态三项基准，系统评估 LLM 的事实性

FACTS Benchmark Suite: Systematically evaluating the factuality of large language models

LLM 正成为各类场景下的主要信息来源，所以回答的事实准确性变得关键；要持续改善这一行业性难题，必须先弄清模型在哪些用例上答不准、并能量化那些场景的事实性表现。在既有 FACTS Grounding Benchmark 的基础上，Google DeepMind 与 Kaggle 一起推出 FACTS Benchmark Suite，新增三项基准：参数化基准衡量模型在事实性问题上准确调用自身内部知识的能力；搜索基准检验模型把搜索当工具来检索并正确综合信息的能力；以及多模态基准。

论文#Google

推荐理由：把事实性拆成内部知识、用工具与多模态三格来量，评测设计上确实更实用。

00:06Google DeepMind精选评分 72

Google 发布 Gemini 3：Sundar Pichai 称其为最智能模型，AI Overviews 月活 20 亿、Gemini app 月活超 6.5 亿

A new era of intelligence with Gemini 3

Google 与 Alphabet CEO Sundar Pichai 署名宣布 Gemini 3：在公司看来这是 Gemini 时代以来最大的科学与产品投入之一。文中给出一组规模数据——AI Overviews 月活 20 亿、Gemini app 月活超过 6.5 亿、逾七成云客户在用其 AI、1300 万开发者基于其生成模型构建；Gemini 3 Pro 称在各项主要基准上较前代有跨越式结果，代码上超过 2.5 Pro，覆盖智能体工作流与复杂零样本任务。

模型#Google

推荐理由：CEO 署名的发布主文把规模数据与定位一次讲清，是判断这一代模型分量与可用面的首选引用。

第 2 / 2 页 · 共 37 条

主题由这一份内容包的词表定义（标签词与判定抽出来的分类、主体对词）， 读数与「精选」那一屏同一把尺子。范围始终只有当前工作区的行业包。