多模态

这一门下的精选 · 11 条

10:37OpenAI News精选评分 76

GPT-6 带智能界面向所有人推送：OpenAI 称 GPT-6 正在 ChatGPT 上全球推出，同时上线 Intelligent UI，响应更快，并给出可以直接探索与使用的可视化内容和交互体验

GPT-6 and Intelligent UI for everyone

OpenAI 宣布 GPT-6 正在 ChatGPT 上向全球推送，并一并带来 Intelligent UI（智能界面）。按其说法，这次推送是「更快的响应，加上你可以直接探索和使用的可视化内容与交互体验」，也就是回复不再只有纯文本，而是能把可交互的界面元素直接铺进对话。面向的是全体 ChatGPT 用户、覆盖范围是全球。

产品

推荐理由：GPT-6 全球推送叠加智能界面，是对话产品形态的一次明确改变，覆盖面最广、入口最现成，是这一批里最该收录的一条。

00:24Google DeepMind精选评分 68

DiffusionGemma 开源：26B MoE 文本扩散模型一次并行生成整段文本、单卡 H100 超 1000 token/秒

DiffusionGemma: 4x faster text generation

Google DeepMind 发布实验性开源模型 DiffusionGemma（Apache 2.0）：跳出自回归逐 token 生成，以文本扩散一次并行生成整段文字，在专用 GPU 上把生成速度提到 4 倍——单张 H100 超 1000 token/秒、RTX 5090 超 700 token/秒。它是 26B 总参数的 MoE、推理时只激活 3.8B，量化后可进消费级高端卡的 18GB 显存。双向注意力让每个 token 关注全块，擅长行内编辑、代码填充等非线性任务，并能整块自我纠错。官方提醒其质量低于标准 Gemma 4，追质量仍用 Gemma 4；权重已上 Hugging Face，支持 MLX、vLLM、Transformers 与 llama.cpp 等。

模型#Google DeepMind

推荐理由：把文本扩散做成可用的开源模型，给出明确的并行解码与量化显存口径，本地高速场景可据此评估迁移。

23:16Google DeepMind精选评分 68

Gemini 3.5 Live Translate：近实时语音到语音翻译覆盖 70+ 语言、边说边译不等待，进 Google 翻译、Meet 与 Live API

Fluid, natural voice translation with Gemini 3.5 Live Translate

Google DeepMind 发布 Gemini 3.5 Live Translate，一款近实时语音到语音翻译的最新音频模型。它自动识别 70+ 语言，生成的译文语音保留说话人的语调、语速与音高；不同于等对方说完才回应的回合制，它边听边持续生成，把译文始终控制在说话人之后几秒、没有生硬停顿。今日开始在多款 Google 产品铺开：开发者可在 Gemini Live API 与 Google AI Studio 公开预览，企业本月起在 Google Meet 私密预览，所有人都能在 Android 与 iOS 的 Google 翻译中使用；Meet 从原来仅五种语言扩展到 70+ 语言、支持一场会内 2000+ 语言组合。所有生成音频均带 SynthID 水印。

产品#Google DeepMind

推荐理由：把语音同传从回合制推进到边说边译，并给出语言数、落地产品与水印口径，实时翻译类应用可据此评估替换。

22:10Google DeepMind精选评分 71

Gemma 4 12B 开源：去掉多模态编码器、把图像与音频直灌进 LLM 主干，16GB 内存即可笔记本本地跑、性能接近 26B MoE

Introducing Gemma 4 12B: a unified, encoder-free multimodal model

Google DeepMind 发布 Gemma 4 12B，一款把 agentic 多模态智能带到笔记本的开源模型，填补面向边缘的 E4B 与更强的 26B MoE 之间的空档，也是首个支持原生音频输入的中型 Gemma。架构上的关键是无编码器：视觉用一个单次矩阵乘加位置编码与归一化的轻量嵌入模块替换掉原视觉编码器，音频则彻底移除编码器、把原始音频信号投影到与文本 token 同一维度空间，由 LLM 主干直接处理，从而降低延迟与显存。它在标准基准上逼近 26B MoE、内存占用不到一半，16GB 显存即可本地运行；以 Apache 2.0 发布、配 Multi-Token Prediction 草稿器降延迟。Gemma 4 系列下载量已破 1.5 亿。

模型#Google DeepMind

推荐理由：用一个反直觉的无编码器设计把音频与视觉并入主干，同时给出 16GB 与逼近 26B 的量化口径，端侧多模态选型可据此直接对比。

00:03Google DeepMind精选评分 61

Gemini 3.1 Flash TTS 发布：自然语言 audio tags 可精细控制语速、音色与场景，Artificial Analysis TTS 榜 Elo 1211，支持 70+ 语言

Gemini 3.1 Flash TTS: the next generation of expressive AI speech

Google DeepMind 发布 Gemini 3.1 Flash TTS，新一代文本转语音模型，在可控性、表现力与音质上均有提升。今日起铺开：开发者可在 Gemini API 与 Google AI Studio 预览，企业在 Vertex AI 预览，Workspace 用户经 Google Vids 使用。官方称其音质更自然、更具表现力——在 Artificial Analysis TTS 排行榜（汇总数千次人类盲评）拿到 1211 的 Elo 分，并被 Artificial Analysis 归入高音质与低成本的具吸引力象限。模型原生支持多说话人对话、70+ 语言，并引入 audio tags：在文本输入里嵌入自然语言指令来精确操纵语音风格、节奏与演绎，配场景调度、说话人级 Audio Profiles 与 Director notes 等控制。

产品#Google DeepMind

推荐理由：把语音合成从念对字推进到可导演：自然语言标签控制语速音色与场景，且给出第三方榜单的量化位次。

00:00Google DeepMind精选评分 83

Gemma 4 开源家族发布：E2B/E4B/26B MoE/31B 四档、Apache 2.0，31B 登上 Arena AI 开源榜第3、系列累计下载破4亿

Gemma 4: Byte for byte, the most capable open models

Google DeepMind 发布 Gemma 4——迄今最智能的开源模型家族，专为高级推理与 agentic 工作流打造，主打破纪录的每参数智能，以 Apache 2.0 许可广泛开放。自初代发布以来开发者已下载 Gemma 超 4 亿次、社区衍生出逾 10 万个变体。Gemma 4 提供四种尺寸：Effective 2B(E2B)、Effective 4B(E4B)、26B 混合专家(MoE)、31B Dense，全系列从简单对话跃升到处理复杂逻辑与 agent 流程；31B 在业界标准的 Arena AI 文本排行榜上位列全球开源模型第3、26B 位列第6，在同榜上跑赢比自身大 20 倍的模型。它与 Gemini 互补，覆盖从数十亿 Android 设备、笔记本 GPU 到工作站与加速器的硬件。文中举例 INSAIT 据此做出保加利亚语优先的 BgGPT、与 Yale 合作的 Cell2Sentence-Scale 用于发现癌症疗法新路径。

模型#Google DeepMind

推荐理由：把开源模型的每参数智能推上新高度，并给出榜单位次与生态规模，端侧到工作站全档覆盖，选型可直接据此比较。

17:00OpenAI News精选评分 61

ChatGPT 借助 Agentic Commerce Protocol 加入沉浸式商品发现与比价

Powering product discovery in ChatGPT

ChatGPT 引入由 Agentic Commerce Protocol 驱动的沉浸式购物体验，支持商品发现、并排比价与商家集成。

产品#openai

推荐理由：它给对话产品接入商品发现与商家集成，并点出所用的 Agentic Commerce Protocol，零售与技术读者各有可看的角度。

18:00OpenAI News精选评分 81

OpenAI 发布 GPT-5.4，主打编码、计算机操作、工具搜索与 100 万 token 上下文

Introducing GPT-5.4

OpenAI 发布 GPT-5.4，定位为其在专业工作上能力最强、效率最高的前沿模型，具备领先的编码、计算机操作与工具搜索能力，并支持 100 万 token 上下文。

模型#openai

推荐理由：它把编码、计算机操作、工具搜索与 100 万 token 上下文合并进同一档前沿模型，读者可据此评估专业工作流是否迁移。

18:39Google DeepMind精选评分 62

Google DeepMind 发布 D4RT：一个统一模型搞定跨时空的 4D 场景重建与追踪

D4RT: Teaching AI to see the world in four dimensions

由 Guillaume Le Moing 与 Mehdi S. M. Sajjadi 署名：今天我们介绍 D4RT（Dynamic 4D Reconstruction and Tracking），把动态场景重建统一到单个高效模型里。文章从一个观察切入——人看世界时同时在记忆与预测：你既看见此刻的样子，也知道它上一刻如何、下一刻会怎样，脑中的模型维护着一份持续的现实表征，并据此直觉地推出过去、现在与未来的因果关系。要让机器也这样看，装摄像头只解决了输入；真正的难题是从一串扁平的 2D 投影序列还原出丰富、立体且在运动中的 3D 世界——一个复杂的逆问题。

论文#Google

推荐理由：把 4D 重建到底难在哪里讲得比一般发布稿清楚，适合作为该方向的入门引用。

19:49Google DeepMind精选评分 62

登 Nature：把模型的视觉表征重排成更像人看世界的方式，鲁棒性与可靠性随之提升

Teaching AI to see the world more like we do

视觉 AI 已无处不在——分类照片、识别没见过的花、控制汽车，但这些强大系统并不总像人那样看世界，行为也时有出人意料：比如一个能识别几百种汽车厂商与型号的系统，可能仍抓不住汽车与飞机之间的共通之处，也就是两者都是主要由金属构成的大型载具。为了厘清这类差异，团队今天在 Nature 发表论文，分析 AI 系统组织视觉世界的方式与人不同的关键之处，给出让系统更好地对齐人类知识的方法，并证明弥合这些差异能改善其鲁棒性。

论文#Google

推荐理由：一个具体的失败案例把抽象问题讲活了：认得出几百种车型，却不懂大型金属载具。

16:00OpenAI News精选评分 60

OpenAI 发布 Sora：把视频生成模型当作世界模拟器——在时长、分辨率、宽高比各异的视频与图像上联合训练文条件扩散模型，最大模型能生成一分钟高保真视频

Video generation models as world simulators

OpenAI 研究团队发表《作为世界模拟器的视频生成模型》一文，介绍在大规模视频数据上训练生成式模型的进展。具体做法是在时长、分辨率与宽高比各异的视频和图像上，联合训练文条件的扩散模型；架构上用一个作用于视频与图像隐码时空 patch 的 Transformer。其最大模型 Sora 能生成一分钟的高保真视频。团队认为，扩展视频生成模型是通向构建通用物理世界模拟器的一条有前景的路径。

模型#OpenAI

推荐理由：把文生视频定位为世界模拟器，是这一代视频生成路线的标志性一手；发布主文与论断俱在。

第 1 / 1 页 · 共 11 条

主题由这一份内容包的词表定义（标签词与判定抽出来的分类、主体对词）， 读数与「精选」那一屏同一把尺子。范围始终只有当前工作区的行业包。