这期访谈的对象是 TypeSafe 的 CEO Diogo Almeida——InstructGPT 论文的共同作者。他这些年一直在说一件事:由于 ChatGPT 过于成功,整个行业把除自回归对话式大语言模型之外的其他形态都丢掉了,而前沿模型的路线从对齐到拒绝到可靠性都是错的路。文中给出的传播数字是:介绍 Jev 的发布视频被看了约 4000 万次(对照文中所列 GPT-4o 的 2200 万、F
Jev: System One models for Prod, not God — with Diogo Almeida, CEO, TypeSafe AI
这期访谈的对象是 TypeSafe 的 CEO Diogo Almeida,他是 InstructGPT 论文的共同作者,也在 OpenAI 参与开创后训练这一工作。节目开场给出的量级是:他介绍 Jev 的发布视频被观看约 4000 万次(文中并列的对照数字是 GPT-4o 的 2200 万、Fable 5 的 1500 万、Navier-Stokes 的 7400 万),发布后立刻占据 AI 圈的讨论。文章把重点放在 Jev 为什么被造出来。Almeida 把 RLHF 的三个源头追到 Christiano 等人 2017 年的机器人后空翻演示、Stiennon 等人 2020 年的学习做摘要,以及他自己的 Ouyang 等人 2022 年的 InstructGPT,并认为从那之后的每一项创新——从函数调用到结构化输出到推理——都只是在字符串式序列到序列预测这个范式上打补丁。他自述在 2023 到 2024 年因为个人与组织的双重低估而没能训出他想解决的核心问题:把大语言模型当作软件的心脏所带来的可靠性问题。文中把 Jev 的核心创新称为 RLCD——面向校准决策的强化学习,一种尚未发表的技术,优化目标是「在 System One 类任务上给出带诚实认识论概率的答案」,理由是人类打分的反馈会带来幻觉、谄媚与对人类的永久依赖,而按评分规则可编程验证的输出虽然解出了 Navier-Stokes,却会加剧参差的智能并且难以与其他软件组合。其余章节列出了大量用法(游戏与电脑操作这类速度导向的场景、语音加浏览器控制、驱动游戏里的车、代码检查与工具调用压缩、实体消解与自然语言检索),以及他明确拒绝的第 55 个低质量 API 克隆与通用 JevBench。
观点#OpenAI
推荐理由:把「校准决策模型」从产品宣传拔到了训练范式的层面(RLCD 对 RLHF 与 RLVR 的双重批评),是一手的架构主张而非转述;但它仍是访谈,不含可核查的新数字。