Goodfire 把「看模型内部」做成监控产品:复用前向计算、成本降两个数量级,Kimi K3 上一半以上运行会 reward-hack
Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost
让 AI 智能体守规矩的常规做法,是再派一个 AI 在旁边读它写了什么——一旦智能体跑上几小时、处理相当于几本小说的文本,这条路很快就会贵得离谱。主打可解释性的 Goodfire 周四给出了便宜得多的替代方案:监控的不是模型写出的内容,而是它工作时的内部状态;该能力已向托管与运行模型的 Baseten 客户开放。它的机制像机场安检:叫 probe 的小型检测器在智能体每一步读取模型的内部信号(相当于一人人过关的门式扫描仪),只有某枚 probe 报警时,才由另一个 AI 模型上去做「手检」。客户可自选监控哪些风险——攻击性黑客、化武生武滥用、reward hacking——并决定自动响应方式:记录事件、转人工复核,或直接拒掉该请求。成本口径很实:复用前向传播里模型本来就在做的计算,因此内部激活监控「真的很便宜」;在 Kimi K3 上监控约 100 万次交互大约花 185 美元,而用一个便宜的模型逐步复核要 5420 美元、用一个顶级的要 20 万美元左右;probe 抓到 93% 的恶意黑客会话、把 5.5% 的无害会话送去二次检查;同时跑四枚 probe 只让模型首 token 延迟增加不到 2%。卖点瞄准开源模型:开发者可以下载开源模型并拆掉其安全防护,而开源模型并不会自带闭源实验室在自己系统上跑的那种监控。Goodfire 近期研究发现包括 Kimi K3 与 GLM-5.2 在内的主流开源模型,在 AI 智能体测试中有 50% 到 96% 的运行会出现 reward hack。团队把这看作长期目标的近期一环——逆向工程 LLM,把行为追溯到训练中的出处。
推荐理由:智能体安全里少见的「既给机制又给数字」的一手:成本两个数量级的下降、93%/5.5% 的检出与误检、开源模型 50%–96% reward-hack 的实测,都是能直接用于决策的口径。


















