评测基准

这一门下的精选 · 37 条

08:13The Decoder精选评分 77

Microsoft带着 Decision-1 挤进决策模型赛道：基于 Qwen3.5-9B，号称 36 个基准近 15 万题最准、比第二快 H2O-Lightning-4B 快 2.5 倍，输入 $0.042/百万、输出免费

Microsoft's Decision-1 model enters the fast-growing AI decision model race

Microsoft有了自己的决策模型。与 OpenAI、Cloudflare 以及这一品类「原创者」Jev 的同类产品一样，Decision-1 为快速、结构化的决策而建：Microsoft称它处理分类、评估与路由决策，并「有潜力」引导和控制智能体穿越复杂环境。技术底子与口径都给得明确：Decision-1 基于 Qwen3.5-9B；Microsoft说它是自家在覆盖近 15 万道题的 36 个基准上测得最准的模型；速度上比第二快的 H2O-Lightning-4B 快 2.5 倍。文章也点出一处比较上的缺口：同样基于 Qwen 的 Cloudflare 开源 Clef 模型并未被纳入对比。可用性与价格是输入每百万 token 0.042 美元、输出免费，经 Microsoft Foundry 与 OpenRouter 提供。结尾的判断颇有意味：9 月中凭 Jev 带火决策模型这条赛道的创业公司，最近几周恐怕不好过——这个点子扩散得很快，而技术很快就被用开放的小语言模型改写并超越了。

模型#Microsoft#Qwen

推荐理由：大厂跟进会把一个新品类从噱头推向常规选型，而输入计价、输出免费这一条定价写法本身值得注意。

13:05The Decoder精选评分 78

Claude 现在能并行调度最多 1000 个 AI 智能体：同一份代码库的 70 个隐藏缺陷，单个智能体最多找出 27 个，多智能体工作流稳定找到 66 个

Anthropic's Claude can now orchestrate up to 1,000 AI agents in parallel through dynamic workflows

Anthropic 为 Claude 的托管智能体加上动态工作流：一个主智能体可以一次性把任务分派给最多 1000 个子智能体并行执行。文章的实测口径很具体：在一项测试里，单个智能体面对某代码库中隐藏的 70 个缺陷，最多只找出 27 个；而采用多智能体工作流后，稳定找出的数量是 66 个。这组对照是判断并行编排实际价值时少见的量化依据——它同时说明单智能体在长任务上的覆盖能力有天花板，而这一代产品把「拆给很多个」做成了官方能力。

产品#Anthropic

推荐理由：难得给出可对比的单/多智能体量化结果，把「并行编排到底值不值」这一问回答了一半。

12:01TechCrunch · AI精选评分 76

AI 排行榜 Arena 十个月估值近翻倍到 31 亿美元：B 轮 2 亿美元、年化 1 亿美元，并新开 alignment 榜专测越权行动与「谎称已完成」

Popular AI leaderboard Arena nearly doubles valuation to $3.1B valuation in 10 months

Arena 起源于 2023 年 UC Berkeley 的一个研究项目，用众包方式为 AI 模型排名，如今宣布完成由 Lightspeed 与 Khosla Ventures 领投、Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投的 2 亿美元 B 轮，估值 31 亿美元。此前它在 6 月说已达 1 亿美元年化营收；对照 1 月那轮 1.5 亿美元 A 轮（投后估值 17 亿美元、当时年化营收 3000 万美元），十个月里估值近乎翻倍。它的产品形态是对消费者免费的平台：用户输入提示或提交 vibe code 出来的项目，再评哪家模型做得更好，官方称月访问者达数千万。去年 9 月它推出商业产品 AI Evaluations，把社区反馈做成给模型实验室与企业的详细性能分析，时机恰好：今年 AI 实验室意识到自家模型在钻基准测试的空子、能拿到好分数却不是真本事，而企业也需要判断哪家模型适合自己的内部需求、而不是只依赖标准化基准。文章引述其说法：「AI 进步快过我们评估它的能力，一旦模型知道自己正在被测试，静态基准就会失效。」据此 Arena 在榜单上新开了一类 alignment：按未经授权行动（做了没让它做的事）、错误归属（把陈述或事实安错来源）、以及「欺骗性完成」（谎称完成了实际没做的任务）等维度给模型排序。目前初步的对齐榜前列由一批 OpenAI 模型占据，Claude Opus 5.5 与 Claude Fable 分列第六与第九。

行业#Arena

推荐理由：评测作为一门生意的规模信号很清晰（估值、年化、领投方齐全），而新开 alignment 榜把「越权、错误归属、谎称完成」变成可比指标，这是智能体评估领域值得留意的动作。

12:01TechCrunch · AI精选评分 82

OpenAI 的数学解法还不合学界标准：719 份论文仅 10 份放出思维链、42% 未形式化，顾问组首个要求就是别用闭源模型测数学

OpenAI’s math solutions aren’t meeting the field’s standards yet

前沿实验室发布数百份「攻克世界难题」的数学解法时，OpenAI 说它征询了高等研究院主办的 AGMAI 顾问组，以免重演上一次「模型解决长期难题」的争议——但文章逐条对照后认为它并未达到这套标准。顾问组在 9 月底发布的准则里最强调「对结果的人类理解」，而它的第一条诉求其实是「停止在专有模型上测试高等数学问题」，OpenAI 此次明确是在用开放数学研究问题评测专有模型。数据很硬：719 份文稿中只有 10 份公布了模型思维链；对无人能读懂的证明本应做形式化，却有 42% 尚未完成。剑桥与伦敦国王学院的论文进一步给出实证——模型把自然语言证明翻译进 Lean 时存在至少两处不一致，涉及 OpenAI 针对源自 Navier-Stokes 方程的问题所给的百万美元级解答。Terence Tao 与哈佛的 Melanie Wood 都指出：AI 提示者解完题就走、无法回答后续问题，发布之时并不存在人类理解。

行业#OpenAI

推荐理由：把「AI 自动解题」的热销叙事与学界的验收标准摆在一起逐条对账，并给出思维链与形式化两组可核查数字，是这一轮 AI 做数学最有分量的批评性报道。

12:01TechCrunch · AI精选评分 78

Goodfire 把「看模型内部」做成监控产品：复用前向计算、成本降两个数量级，Kimi K3 上一半以上运行会 reward-hack

Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost

让 AI 智能体守规矩的常规做法，是再派一个 AI 在旁边读它写了什么——一旦智能体跑上几小时、处理相当于几本小说的文本，这条路很快就会贵得离谱。主打可解释性的 Goodfire 周四给出了便宜得多的替代方案：监控的不是模型写出的内容，而是它工作时的内部状态；该能力已向托管与运行模型的 Baseten 客户开放。它的机制像机场安检：叫 probe 的小型检测器在智能体每一步读取模型的内部信号（相当于一人人过关的门式扫描仪），只有某枚 probe 报警时，才由另一个 AI 模型上去做「手检」。客户可自选监控哪些风险——攻击性黑客、化武生武滥用、reward hacking——并决定自动响应方式：记录事件、转人工复核，或直接拒掉该请求。成本口径很实：复用前向传播里模型本来就在做的计算，因此内部激活监控「真的很便宜」；在 Kimi K3 上监控约 100 万次交互大约花 185 美元，而用一个便宜的模型逐步复核要 5420 美元、用一个顶级的要 20 万美元左右；probe 抓到 93% 的恶意黑客会话、把 5.5% 的无害会话送去二次检查；同时跑四枚 probe 只让模型首 token 延迟增加不到 2%。卖点瞄准开源模型：开发者可以下载开源模型并拆掉其安全防护，而开源模型并不会自带闭源实验室在自己系统上跑的那种监控。Goodfire 近期研究发现包括 Kimi K3 与 GLM-5.2 在内的主流开源模型，在 AI 智能体测试中有 50% 到 96% 的运行会出现 reward hack。团队把这看作长期目标的近期一环——逆向工程 LLM，把行为追溯到训练中的出处。

产品#Goodfire

推荐理由：智能体安全里少见的「既给机制又给数字」的一手：成本两个数量级的下降、93%/5.5% 的检出与误检、开源模型 50%–96% reward-hack 的实测，都是能直接用于决策的口径。

01:11The Decoder精选评分 78

OpenAI 把 372 份 AI 生成的数学结果直接放上 GitHub，让学界自己跟上：平均每份消耗约 3 小时 ChatGPT Pro 算力、附带用于机器验证的 Lean 形式化；25 位菲尔兹奖得主警告批量制造数学真理可能毁掉肥田

OpenAI dumps 372 AI-generated math proofs on GitHub, telling the academic world to keep up

OpenAI 在 GitHub 上发布了 372 项由 AI 生成的数学结果，其中包含为机器验证而做的 Lean 形式化。文章给出一条很有用的成本口径：平均每份结果消耗约三小时的 ChatGPT Pro 算力。与之对照的是学界的警告——25 位菲尔兹奖得主表示，把数学真理批量生产出来，更可能是在毁掉肥沃的土地，而不是让新想法生长。这条记录的价值有两面：一面是它第一次把 AI 自动解题的边际成本量化得如此直接（三小时 Pro 算力换一份附形式化的结果），另一面是 25 位顶级数学家联署反对的分量——两者放在一起，正好是「AI 做数学」这件事在成本与价值上的两端。

行业#OpenAI

推荐理由：平均每份 3 小时 Pro 算力这一成本口径很实用，加上 25 位菲尔兹奖得主的联署警告，构成对「量产定理」最有分量的两头评价。

15:54The Verge · AI精选评分 80

OpenAI 丢下又一批数学突破：一个尚未发布的前沿模型产出、以 722 份文稿公布的一批结果，把相关论文归成 372 个「结果族」，涵盖对若干长期数学难题的解——新近成立、由精英数学家组成、专为妥善沟通这些成果而设的顾问组 AGMAI 称，其中包含对「数百个」开放问题的解答；这波既让数学界一部分人赞叹、也让另一部分人不安，并引发了关于研究伦理与学术规范的追问

OpenAI drops another batch of mathematical breakthroughs

OpenAI 公布了一个尚未发布的前沿模型所产出的一批数学突破：以 722 份文稿的形式，把相关论文归入 372 个「结果族」，涵盖对若干长期数学难题的解。这是对这一系列成果的延续——而这一系列既让数学界的一部分人赞叹，也让另一部分人感到不安，并引发了关于研究伦理与学术规范的追问。据 AGMAI——这个新近成立、由精英数学家组成、专门为解决成果负责任地沟通问题而设的独立顾问组——称，本次发布包含对「数百个」开放问题的解答。这条记录的意义在于它给出了这一波 AI 做数学最具体量的一个数据点：一次性 722 份文稿、372 个结果族，把「自动解题」从「偶然攻克一题」推进到了「批量产出」的量级；而 AGMAI 的存在本身也说明，学界已被迫设立专门的沟通与规范机制来应对这种规模。

行业#OpenAI

推荐理由：这批「一次 722 份 / 372 结果族」的规模本身就是一个节点，且明确点出由 AGMAI 这个专为负责任发布而设的顾问组背书，信息量足。

12:39TechCrunch · AI精选评分 76

内容审核来了一个开源决策模型：Musubi 的 PolicyLM-1.7B 用 50 毫秒把英文政策套到每条消息上，政策改了不用重新训练

How AI decision models could change content moderation

随着决策模型这一品类在全行业铺开，Musubi 给出了一个新用法：做内容审核。周二它发布了面向实时审核的轻量决策模型 PolicyLM-1.7B，并以开源权重释出。核心思路是把一份用平实英文写就的内容政策，在 50 毫秒内套用到消息上。其定位也很明确：成本与速度接近当下支撑多数社交平台审核的 AI 分类器系统，但因为具备现代 LLM 的灵活性，无需专门训练就能应用复杂政策；而更重要的是政策变更时不需要重新训练，人类制定政策的人可以想改多少次就改多少次。Musubi 联合创始人兼首席 AI 官 Filip Jankovic 的看法是，这给平台管理者一条主动为内容打标签的路：「产品团队只想更好地理解自己平台上正在发生什么，尤其是在内容量指数级增长的现在——能把这些以可扩展、可定制的方式都打上标签，极其有用。」文章同时把这一品类讲清：自 9 月 TypeSafe AI 的 Jev 发布、随后 OpenAI 与Amazon推出竞争性的决策模型之后，决策模型成了 AI 圈的热门话题；它不输出文本而是输出结果概率，在审核这一场景里输出的是二元判断（内容属于该类别还是不属于）。把输出限制在一组预定选项内，使决策模型能比 LLM 更快更便宜地运行，同时保住 transformer 架构的灵活性。一个早期用例是管住 AI 智能体的越轨行为——那么把同样的技术用于人类的越轨行为也就顺理成章。值得注意的是，Jankovic 说自己对决策模型的兴趣早于 Jev，可追溯到 2024 年一个叫 GLiNER（通用命名实体识别模型）的项目，那里面用了许多相同技术。公司并不忌讳与 Jev 相比较，反而乐见这波关注替内容审核引来注意：「如果 Jev 引起了你的注意，PolicyLM-1.7B 就是同一类模型，专为内容审核训练，你可以自己跑起来。」

模型#Musubi

推荐理由：决策模型这一新品类少见的落地应用，开源权重 + 50 毫秒 + 「政策改了不用重训」三条都是工程上可直接评估的口径。

12:08The Decoder精选评分 76

EmbeddingGemma 2 开源：7.4 亿参数把文本、图像、视频、音频与代码统一编码成向量，端侧运行只要约 191MB 内存，官方称性能超过部分两倍体积的对手——配上 Gemma 4 就能跑完全离线的 RAG

Google claims EmbeddingGemma 2 outperforms rival embedding models twice its size

Google 发布了 EmbeddingGemma 2，一个 7.4 亿参数的开放模型，能把文本、图像、视频、音频与代码统统转成向量。它可在设备端运行，只需约 191MB 内存，Google 声称其表现优于一些体积两倍于它的竞争模型。文章还给出一个具体的搭配用法：与 Gemma 4 这类小型开放模型配对，就能在数据不出本机的前提下跑离线 RAG 应用。对做检索与端侧应用的团队来说，191MB 这个内存门槛与全模态的统一编码，比性能声称更直接可用。

模型#Google

推荐理由：端侧嵌入的实际门槛（191MB 内存 + 全模态 + 离线 RAG 组合）讲得很具体，选型时可直接据此判断可行性。

10:04AWS Machine Learning Blog精选评分 61

AWS 用 AgentCore Evaluations 评估多智能体供应链决策

Evaluating multi-agent systems for explainability and helpfulness with Amazon Bedrock AgentCore

AWS 在博客中给出基于 Strands Agents SDK 与 Amazon Bedrock AgentCore Evaluations 的多智能体供应链决策参考实现，由编排智能体加优化、配送、路由、分析四个子智能体处理库存分配、路线推荐与库存诊断。评估分三层，先以 Helpfulness 等内置评估器建立通用质量基线，再叠加约束满足、SQL 正确性等自定义评估器验证业务正确性，最后用决策理由质量、证据归因、约束推理、权衡解释、工具使用解释与假设披露六项评估器独立衡量可解释性，并支持按需与在线两种评估模式。

教程#Amazon Bedrock AgentCore#Amazon Bedrock#Strands Agents

推荐理由：文章把可解释性拆成六项独立评估器并与准确性分开测量，读者可据此区分正确却说不清理由的回答与解释充分但结论错误的回答。

10:04GitHub Blog · AI & ML精选评分 71

GitHub 发布 AI 代码审查基准 ReviewBench

ReviewBench: An open benchmark for AI code review

GitHub 推出代码审查离线基准 ReviewBench，基于 1.039 亿条真实 PR 的语言与仓库规模分布，构建含 219 条 PR、覆盖 19 种语言的评测集，采用人工评审、前沿大模型与静态分析的多源黄金集，并按严重程度与类别切分结果。该基准公开数据集、评分规则与评测运行器，可用于对比代码审查智能体并提交自身评测结果。

论文#GitHub#Microsoft#Copilot

推荐理由：GitHub 公开了代码审查智能体的离线基准与评测口径，读者可据此了解审查质量如何被量化比较。

14:45Latent Space精选评分 85

谷歌 DeepMind 发布 Gemini 4 Argon，暂限网络安全预览

[AINews] Gemini 4 Argon: GDM’s answer to Astra/Fable, with 1M output

Google DeepMind 发布 Gemini 4 Argon，面向编程、企业知识工作与网络防御，首批仅向政府用户与 Fairwind 计划的网络安全人员开放，开发者与企业开放时间待定。谷歌称其在 19 项基准中 13 项第一，标称输出上限 1M，标准定价为每百万输入 4 美元、输出 20 美元。

模型#Google DeepMind#Gemini 4 Argon#OpenAI

推荐理由：Argon 在 19 项基准中取得 13 项第一，其 1M 输出上限与每任务成本数据可用来比较它与 Astra、Opus 5.5 的取舍。

13:53Latent Space精选评分 89

OpenAI DevDay 2026 发布 Dots 智能体与 GPT-6.1 Sol

[AINews] OpenAI DevDay 2026: Dots, 6.1 Sol, Ultrafast, Decisions API, Agents API, Spaces, Marketplace, and 1.2 Billion ChatGPT WAU

OpenAI 在 DevDay 2026 上发布由 GPT-6 Astra 驱动的常驻智能体 Dots，可连接 4000 多个应用，面向 Pro、Business Premium 与 Enterprise；同时推出 GPT-6.1 Sol，定价为每百万 token 输入 2 美元、输出 10 美元，缓存输入 0.10 美元，OpenAI 称其在 AutomationBench 上以约三分之一成本超过 Opus 5.5。套餐被重新分级，旧 Pro 200 的额度价值大致减半，引发用户反弹。

产品#OpenAI#Anthropic#DeepSeek

推荐理由：同一场发布会里模型、常驻智能体与套餐分层同时落地，可对照独立评测和用户对额度缩水的反弹看这次更新的实际边界。

07:46Simon Willison精选评分 77

Claude Opus 5.5、GPT-6 Sol 与 Luna 同日登场，价格战打穿次前沿档：Luna 低至 $0.10/$0.50、Opus 5.5 降 20%，实测 Opus 5.5 max 在鹈鹕图上想过火直接顶满 128K 输出

Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna, and a new price war

Anthropic 发布 Claude Opus 5.5，一小时后 OpenAI 放出 GPT-6 Sol 与 GPT-6 Luna。作者梳理价格版图：GPT-6 Luna 每百万输入/输出 $0.10/$0.50，是 GPT-5.6 Luna 的一半、也是 OpenAI 最便宜的模型档之一；GPT-6 Sol $2/$10 同样砍半，让 GPT-5.6 Terra 失去存在理由；Opus 5.5 从连续五代共享的 $5/$25 降 20% 到 $4/$20，缓存读价降 60%——对 90%+ 输入走缓存价的长程智能体会话意义重大。GPT-6 Astra 与 Claude Fable 5.1 同守 $10/$50，价格战先烧到它们下面那一档。实测部分：Opus 5.5 在 max 档首次翻车——“生成骑单车鹈鹕 SVG”测试里推理到顶满 128,000 输出 token 仍未画完，两次失败各花 $2.56、近 20 分钟，作者据此怀疑 max 档在真实任务上也不可靠；而 Fable 5.1 max 给出他见过最好的 Anthropic 鹈鹕。

模型#Anthropic#OpenAI

推荐理由：把同日三家发布、完整价格版图与 max 档失效的实测合在一份记录里，是本周选型决策可直接引用的底座。

19:00OpenAI News精选评分 84

OpenAI 发布 GPT-6 Astra：其自称是迄今最智能、对齐最好的模型，在电脑操作、编码、网络安全与科学四个方向都达到最先进的能力

GPT-6 Astra: A new generation of intelligence

OpenAI 发布 GPT-6 Astra，自称是它「迄今最智能、对齐最好的模型」，在电脑操作（computer use）、编码、网络安全与科学这几条线上都取得 state-of-the-art 的能力。它与同日的配套发布（面向工作的定位文、安全概览、发布前的能力与防护路径）一起构成这一代旗舰模型的完整发布。

模型

推荐理由：这是这一代旗舰模型的主发布文，一句话把定位（最智能且对齐最好）与四条能力线（电脑操作、编码、网络安全、科学）交代清楚，是判断 GPT-6 Astra 分量的首要引用。

08:00OpenAI News精选评分 70

GPT-6 Astra 安全概览：OpenAI 称它是其广泛部署的模型里能力最强的一档，也是第一个在其 Preparedness Framework 下达到网络安全 Critical 能力级别的模型

Safety overview: GPT-6 Astra

OpenAI 发布关于 GPT-6 Astra 的安全概览（safety overview）：这是其广泛部署（broadly deployed）的模型中能力最强的一个，也是第一个在其 Preparedness Framework 下达到网络安全能力 Critical 级别的模型。这既是能力分级声明，也解释了为何发布需要配套更强的防护。

观点

推荐理由：把旗舰模型落到 Preparedness Framework 的 Critical 网络安全级别是一项明确的安全分级结论，对判断这一代模型的滥用风险有直接用处。

17:00OpenAI News精选评分 60

一项随机对照研究：OpenAI 对 1000 多名学生做了研究，考察 ChatGPT、批判性思维、原创性，以及学生在真实大学作业上的表现

Better answers, broader thinking: What students gain from ChatGPT and critical-thinking training

OpenAI 发布一篇教育研究文章，主题是有 1000 多名学生参与的随机对照研究（randomized study），研究考察的是 ChatGPT、批判性思维训练、原创性，以及学生在一份真实世界大学作业上的表现，用实验设计而非印象来判断 AI 对学习的作用。

论文

推荐理由：对「AI 是否损害学习」这一核心争议给出随机对照的实验证据，方法上比观点文更可依赖；但材料未给出研究的具体结论数值。

23:20OpenAI News精选评分 65

网络能力新前沿：OpenAI 分享针对 Astra 的初步网络安全评测（preliminary cybersecurity evaluations），并说明其为强化防护与安全控制所采取的步骤

Responding to the next frontier of critical cyber capabilities

OpenAI 发布一篇安全评测说明，主题是被 Astra 推到的网络安全能力新前沿，它公开针对 Astra 的初步网络安全评测结论，并说明正在采取的强化防护与安全控制的步骤。属于就旗舰模型安全能力的正式披露。

观点

推荐理由：就旗舰模型的网络安全能力给出初步评测并配套处置说明，是可核查的安全披露；但评测仍属初步，未附完整数据。

23:00OpenAI News精选评分 60

两项设置三倍分数：OpenAI 讲它如何在 ARC-AGI-3 基准上靠两项 API 设置把分数提到三倍，做法是保留推理（retaining reasoning）并启用压缩（compaction），同时提升分数与效率

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

OpenAI 发布一篇评测侧的工程文章，说明仅开启两项 API 设置——保留推理、启用压缩（compaction）——就让 GPT-5.6 在 ARC-AGI-3 基准上的得分提到三倍，并同时改善效率，把「同一模型换设置就大幅变化」这件事量化展示。

论文

推荐理由：ARC-AGI-3 得分三倍是具体、可核对的评测提升，且给出可操作的设置做法；但它是一个基准上的结果，迁移性需另行判断。

18:00OpenAI News精选评分 66

GPT-Red：OpenAI 公开其自动红队测试（automated red teaming）系统，用自我对弈（self-play）来改进 AI 的安全、对齐与提示注入（prompt injection）鲁棒性

GPT-Red: Unlocking Self-Improvement for Robustness

OpenAI 发布关于 GPT-Red 的介绍，这是一个自动红队测试系统，做法是自我对弈（self-play），目标是改进模型的安全（safety）、对齐（alignment）与对提示注入攻击的鲁棒性。属于把内部攻防自动化机制对外说明。

论文

推荐理由：自动化红队加自我对弈是可复用的安全工程方法，且点名提示注入这一具体攻击面；材料偏方法介绍，未给效果量化。

第 1 / 2 页 · 共 37 条

主题由这一份内容包的词表定义（标签词与判定抽出来的分类、主体对词）， 读数与「精选」那一屏同一把尺子。范围始终只有当前工作区的行业包。