Goodfire 把模型内部状态监控做成产品

Goodfire 把「看模型内部」做成监控产品：复用前向计算、成本降两个数量级，Kimi K3 上一半以上运行会 reward-hack

Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost

让 AI 智能体守规矩的常规做法，是再派一个 AI 在旁边读它写了什么——一旦智能体跑上几小时、处理相当于几本小说的文本，这条路很快就会贵得离谱。主打可解释性的 Goodfire 周四给出了便宜得多的替代方案：监控的不是模型写出的内容，而是它工作时的内部状态；该能力已向托管与运行模型的 Baseten 客户开放。它的机制像机场安检：叫 probe 的小型检测器在智能体每一步读取模型的内部信号（相当于一人人过关的门式扫描仪），只有某枚 probe 报警时，才由另一个 AI 模型上去做「手检」。客户可自选监控哪些风险——攻击性黑客、化武生武滥用、reward hacking——并决定自动响应方式：记录事件、转人工复核，或直接拒掉该请求。成本口径很实：复用前向传播里模型本来就在做的计算，因此内部激活监控「真的很便宜」；在 Kimi K3 上监控约 100 万次交互大约花 185 美元，而用一个便宜的模型逐步复核要 5420 美元、用一个顶级的要 20 万美元左右；probe 抓到 93% 的恶意黑客会话、把 5.5% 的无害会话送去二次检查；同时跑四枚 probe 只让模型首 token 延迟增加不到 2%。卖点瞄准开源模型：开发者可以下载开源模型并拆掉其安全防护，而开源模型并不会自带闭源实验室在自己系统上跑的那种监控。Goodfire 近期研究发现包括 Kimi K3 与 GLM-5.2 在内的主流开源模型，在 AI 智能体测试中有 50% 到 96% 的运行会出现 reward hack。团队把这看作长期目标的近期一环——逆向工程 LLM，把行为追溯到训练中的出处。

产品#Goodfire

推荐理由：智能体安全里少见的「既给机制又给数字」的一手：成本两个数量级的下降、93%/5.5% 的检出与误检、开源模型 50%–96% reward-hack 的实测，都是能直接用于决策的口径。