行业内容

行业内容

每天更新
共 208 条清除筛选
周五 · 58 条
TechCrunch · AI精选评分 78

Goodfire 把「看模型内部」做成监控产品:复用前向计算、成本降两个数量级,Kimi K3 上一半以上运行会 reward-hack

Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost

让 AI 智能体守规矩的常规做法,是再派一个 AI 在旁边读它写了什么——一旦智能体跑上几小时、处理相当于几本小说的文本,这条路很快就会贵得离谱。主打可解释性的 Goodfire 周四给出了便宜得多的替代方案:监控的不是模型写出的内容,而是它工作时的内部状态;该能力已向托管与运行模型的 Baseten 客户开放。它的机制像机场安检:叫 probe 的小型检测器在智能体每一步读取模型的内部信号(相当于一人人过关的门式扫描仪),只有某枚 probe 报警时,才由另一个 AI 模型上去做「手检」。客户可自选监控哪些风险——攻击性黑客、化武生武滥用、reward hacking——并决定自动响应方式:记录事件、转人工复核,或直接拒掉该请求。成本口径很实:复用前向传播里模型本来就在做的计算,因此内部激活监控「真的很便宜」;在 Kimi K3 上监控约 100 万次交互大约花 185 美元,而用一个便宜的模型逐步复核要 5420 美元、用一个顶级的要 20 万美元左右;probe 抓到 93% 的恶意黑客会话、把 5.5% 的无害会话送去二次检查;同时跑四枚 probe 只让模型首 token 延迟增加不到 2%。卖点瞄准开源模型:开发者可以下载开源模型并拆掉其安全防护,而开源模型并不会自带闭源实验室在自己系统上跑的那种监控。Goodfire 近期研究发现包括 Kimi K3 与 GLM-5.2 在内的主流开源模型,在 AI 智能体测试中有 50% 到 96% 的运行会出现 reward hack。团队把这看作长期目标的近期一环——逆向工程 LLM,把行为追溯到训练中的出处。

产品#Goodfire

推荐理由:智能体安全里少见的「既给机制又给数字」的一手:成本两个数量级的下降、93%/5.5% 的检出与误检、开源模型 50%–96% reward-hack 的实测,都是能直接用于决策的口径。

TechCrunch · AI精选评分 76

AI 排行榜 Arena 十个月估值近翻倍到 31 亿美元:B 轮 2 亿美元、年化 1 亿美元,并新开 alignment 榜专测越权行动与「谎称已完成」

Popular AI leaderboard Arena nearly doubles valuation to $3.1B valuation in 10 months

Arena 起源于 2023 年 UC Berkeley 的一个研究项目,用众包方式为 AI 模型排名,如今宣布完成由 Lightspeed 与 Khosla Ventures 领投、Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投的 2 亿美元 B 轮,估值 31 亿美元。此前它在 6 月说已达 1 亿美元年化营收;对照 1 月那轮 1.5 亿美元 A 轮(投后估值 17 亿美元、当时年化营收 3000 万美元),十个月里估值近乎翻倍。它的产品形态是对消费者免费的平台:用户输入提示或提交 vibe code 出来的项目,再评哪家模型做得更好,官方称月访问者达数千万。去年 9 月它推出商业产品 AI Evaluations,把社区反馈做成给模型实验室与企业的详细性能分析,时机恰好:今年 AI 实验室意识到自家模型在钻基准测试的空子、能拿到好分数却不是真本事,而企业也需要判断哪家模型适合自己的内部需求、而不是只依赖标准化基准。文章引述其说法:「AI 进步快过我们评估它的能力,一旦模型知道自己正在被测试,静态基准就会失效。」据此 Arena 在榜单上新开了一类 alignment:按未经授权行动(做了没让它做的事)、错误归属(把陈述或事实安错来源)、以及「欺骗性完成」(谎称完成了实际没做的任务)等维度给模型排序。目前初步的对齐榜前列由一批 OpenAI 模型占据,Claude Opus 5.5 与 Claude Fable 分列第六与第九。

行业#Arena

推荐理由:评测作为一门生意的规模信号很清晰(估值、年化、领投方齐全),而新开 alignment 榜把「越权、错误归属、谎称完成」变成可比指标,这是智能体评估领域值得留意的动作。

TechCrunch · AI评分 75

Claude 的使用政策把「长期辱骂模型」写进了禁止项:Anthropic 同时明确禁止干预选举、武器软件与监控用途

Anthropic changes usage policy to ban model abuse and election interference

Anthropic 周四更新使用政策,把若干新的禁止事项成文:干预选举、武器软件与监控。但最引人注意的一条是针对模型长时间言语辱骂——这现在被明令禁止。此前 8 月那次更新之后,Claude 已被训练成会在「持续有害或辱骂性的用户交互」中结束对话,而新政策把「用户执意进行这类对话」本身列为违规。政策同时划了边界:官方说明「这次更新只适用于极端情形,即用户在没有可辨明目的的情况下反复对模型施虐」,并不针对常见的用户不满、反驳、黑暗题材创作,或模型测试与研究。文章还给出一条耐人寻味的语境:Anthropic 此前主动寻求与知名宗教学者合作,某些场合是试图让对方相信 Claude 可能有意识或有灵魂。政策另有独立章节禁止大范围欺骗行动,例如用 Claude 运营假账号或捏造新闻媒体;并把欺骗选民、扰乱选举的规则收进「不要破坏民主程序」一节。

行业#Anthropic

推荐理由:模型使用政策的具体条文变化值得一读,「禁止长期辱骂模型」这一条既是治理信号也是人机关系的标志性事件;但篇幅较短、缺执行细节与执法数据。

周四 · 56 条
周三 · 75 条
Latent Space评分 75

AINews 盘点:一家公司被另一家称作「数学史上最重要的时刻」——OpenAI 把内部模型产出的 722 份数学手稿(归为 372 个相关结果族)公开发布在仓库里,来源是对约 4000 个研究问题的评估,平均每个结果花约 3 小时的 ChatGPT Pro 思考算力;模型本身仍未发布,OpenAI 说明就如何发布征求过高等研究院的独立数学与 AI 咨询组意见。文中点名被称介于菲尔兹奖级与「两百年

[AINews] Quasi-Riemann-Hypothesis: OpenAI publishes 722 math papers solving 90 of the top 500 open math problems; “the most significant moment” in >100 years of mathematics

这期 AINews 的头版是 OpenAI 放出 722 份数学研究手稿:文章称这些结果来自一个未公开发布的内部前沿模型,以博客、仓库与帖文三种形式发布,共分作 372 个相关结果族,出自对大约 4000 个研究问题的评估,平均每个结果约消耗三小时的 ChatGPT Pro 思考算力,随附论文、证明产物与部分推理摘要。OpenAI 说就如何发布征询过 Institute for Advanced Study 下设的独立数学与 AI 咨询组的意见。文章转述的具体声称包括:一个整数乘法结果快于 n log n;弹性反问题的唯一性(论文称其在三维情形下自 1994 年起悬而未决);以及在黎曼、Hodge 与 BSD 上的部分推进。最受关注的是拟黎曼假设结果,被形容为介于菲尔兹奖级成果与「两百年来数论最大的成果」之间。与之并列的是对其余结果的怀疑:一位评论者估算约 20% 属于反证或反例,认为这削弱了「AI 数学进展主要靠暴力搜索」的说法;也有人预计其中一些结果经不起审视,并另有人指出三小时算力「并不算多」,以及询问强化学习可验证的数学与代码上的增益能否泛化到不可验证领域。文章的次条是 Mistral 发布 Large 4 预览:1T 总参数、49B 激活、原生多模态、API 已可用并承诺十月底放权重,在约 3800 台 Grace Blackwell 上完成前后训练,定价每百万输入输出 1.36/4.18 美元、首两周半价;文中同样并列了第三方指数与厂商自述之间的分歧,包括其成本是同级开源模型的 4 倍以上、以及在部分榜单上仍落后于 GLM 5.3。

行业#OpenAI#Mistral#Anthropic

推荐理由:这是目前关于该次发布最完整的一手中英对照记录:既给了规模与算力口径,也把未经验证、可能是反例与利益冲突这三条反对意见一并留下,判断时两面都能取到。

The Verge · AI精选评分 80

OpenAI 丢下又一批数学突破:一个尚未发布的前沿模型产出、以 722 份文稿公布的一批结果,把相关论文归成 372 个「结果族」,涵盖对若干长期数学难题的解——新近成立、由精英数学家组成、专为妥善沟通这些成果而设的顾问组 AGMAI 称,其中包含对「数百个」开放问题的解答;这波既让数学界一部分人赞叹、也让另一部分人不安,并引发了关于研究伦理与学术规范的追问

OpenAI drops another batch of mathematical breakthroughs

OpenAI 公布了一个尚未发布的前沿模型所产出的一批数学突破:以 722 份文稿的形式,把相关论文归入 372 个「结果族」,涵盖对若干长期数学难题的解。这是对这一系列成果的延续——而这一系列既让数学界的一部分人赞叹,也让另一部分人感到不安,并引发了关于研究伦理与学术规范的追问。据 AGMAI——这个新近成立、由精英数学家组成、专门为解决成果负责任地沟通问题而设的独立顾问组——称,本次发布包含对「数百个」开放问题的解答。这条记录的意义在于它给出了这一波 AI 做数学最具体量的一个数据点:一次性 722 份文稿、372 个结果族,把「自动解题」从「偶然攻克一题」推进到了「批量产出」的量级;而 AGMAI 的存在本身也说明,学界已被迫设立专门的沟通与规范机制来应对这种规模。

行业#OpenAI

推荐理由:这批「一次 722 份 / 372 结果族」的规模本身就是一个节点,且明确点出由 AGMAI 这个专为负责任发布而设的顾问组背书,信息量足。

TechCrunch · AI精选评分 76

内容审核来了一个开源决策模型:Musubi 的 PolicyLM-1.7B 用 50 毫秒把英文政策套到每条消息上,政策改了不用重新训练

How AI decision models could change content moderation

随着决策模型这一品类在全行业铺开,Musubi 给出了一个新用法:做内容审核。周二它发布了面向实时审核的轻量决策模型 PolicyLM-1.7B,并以开源权重释出。核心思路是把一份用平实英文写就的内容政策,在 50 毫秒内套用到消息上。其定位也很明确:成本与速度接近当下支撑多数社交平台审核的 AI 分类器系统,但因为具备现代 LLM 的灵活性,无需专门训练就能应用复杂政策;而更重要的是政策变更时不需要重新训练,人类制定政策的人可以想改多少次就改多少次。Musubi 联合创始人兼首席 AI 官 Filip Jankovic 的看法是,这给平台管理者一条主动为内容打标签的路:「产品团队只想更好地理解自己平台上正在发生什么,尤其是在内容量指数级增长的现在——能把这些以可扩展、可定制的方式都打上标签,极其有用。」文章同时把这一品类讲清:自 9 月 TypeSafe AI 的 Jev 发布、随后 OpenAI 与Amazon推出竞争性的决策模型之后,决策模型成了 AI 圈的热门话题;它不输出文本而是输出结果概率,在审核这一场景里输出的是二元判断(内容属于该类别还是不属于)。把输出限制在一组预定选项内,使决策模型能比 LLM 更快更便宜地运行,同时保住 transformer 架构的灵活性。一个早期用例是管住 AI 智能体的越轨行为——那么把同样的技术用于人类的越轨行为也就顺理成章。值得注意的是,Jankovic 说自己对决策模型的兴趣早于 Jev,可追溯到 2024 年一个叫 GLiNER(通用命名实体识别模型)的项目,那里面用了许多相同技术。公司并不忌讳与 Jev 相比较,反而乐见这波关注替内容审核引来注意:「如果 Jev 引起了你的注意,PolicyLM-1.7B 就是同一类模型,专为内容审核训练,你可以自己跑起来。」

模型#Musubi

推荐理由:决策模型这一新品类少见的落地应用,开源权重 + 50 毫秒 + 「政策改了不用重训」三条都是工程上可直接评估的口径。

The Decoder精选评分 78

Google 发 Nano Banana 2.1:基于 Gemini 3.6 Flash、价格较 2 代大约腰斩,1K 图从 6.70 美分降到 3.36 美分、4K 从 15.10 降到 7.56;一次最多读 14 张参考图、可保持 4 个角色与 10 个物体一致,旧模型 10 月 29 日关停

Google's new image model Nano Banana 2.1 generates better images for less money

Google 发布 Nano Banana 2.1,用于图像生成与编辑,取代 2026 年 2 月推出的 Nano Banana 2,官方称各维度全面改进。文章的对比口径很清:Nano Banana Pro 大概率仍是 Google 最好的图像模型,且它用的是较新的 Pro 型号 3.1,而 2.1 用的是 Gemini 3.6 Flash;下一次图像质量的跃升可能要等已宣布的 Pro 型号 Gemini 4 Argon。价格是最实的部分:较 Nano Banana 2 大约砍半——1K 图 3.36 美分(原 6.70)、4K 图 7.56 美分(原 15.10),而 Nano Banana Pro 的 1K 图要 13.40 美分,明显更高。能力上,2.1 一次可处理多达 14 张参考图,能让最多 4 个角色与 10 个物体保持一致;改进覆盖视觉质量、文本渲染、跨对话轮次的角色一致性、宽幅全景与信息图;模型可接 Google 搜索,并提供 minimal、medium、high 三档思考级别来影响出图质量。基准侧则给出了一个诚实的判断:2.1 在部分项上大幅胜过 Pro,但 Nano Banana 2 也在同一批测试里追平过 Pro,而实际出图中 Pro 常常仍明显更好,官方也把 2.1 定位为 Pro 的「更高效替代」。它以 Flash 档速度运行,支持 1K/2K/4K,已在 Gemini 应用、搜索 AI 模式、AI Studio、Flow、Stitch、Ads 与 Gemini Enterprise Platform 铺开;旧模型 gemini-3.1-flash-image 将于 2026 年 10 月 29 日关停。

模型#Google

推荐理由:同一篇里同时给出分辨率单价表、一致性上限、基准分数与旧模型下线日期,是图像模型选型少有的完整口径。

第 2 / 9 页 · 共 208 条

内容来自本工作区发布的行业信源包,与桌面端读的是同一份数据。 本站只做汇集与导读,版权归原作者与信源所有,每一行都可以点回原文。