行业内容

Berkeley 回答"word2vec 到底学了什么"：证明在现实训练域里该学习问题归约为无权重最小二乘矩阵分解——梯度流闭式解、最终表示就是 PCA；从小初始化训练时按秩一步步学

What exactly does word2vec learn?

BAIR 博客：word2vec 作为现代语言模型的前驱，学界长期缺一个定量且可预测的理论描述它"到底怎么学"。新论文补上：证明存在现实、可用的训练域，使学习问题归约为无权重最小二乘矩阵分解，梯度流动力学给出闭式解——最终学到的表示即 PCA。实验观察到：从小初始化训练时，word2vec 以离散的、顺序的步骤学习——权重矩阵按秩逐级递增地吸收信息、每步降低损失。为"最小语言建模任务上的表示学习"提供了可验证的机理图。

论文#BAIR

OpenAI 研究者与 Georgetown 大学的安全与新兴技术中心、Stanford 互联网观察站合作，调查大语言模型可能被滥用于虚假信息的方式。合作包括一场 2021 年 10 月的研讨会，汇集了 30 位虚假信息研究者、机器学习专家与政策分析者，最终产出一份基于一年多研究的合著报告：梳理语言模型若被用于增强虚假信息活动会给信息环境带来的威胁，并给出一个分析潜在缓解手段的框架

Forecasting potential misuses of language models for disinformation campaigns and how to reduce risk

OpenAI 的研究者与 Georgetown 大学的安全与新兴技术中心（CSET）以及 Stanford 互联网观察站合作，调查大语言模型可能被滥用于虚假信息目的的方式。这次合作包含 2021 年 10 月举办的一场研讨会，把 30 位虚假信息研究者、机器学习专家和政策分析者聚到一起；在此基础上经过一年多的研究，最终产出一份合著报告。报告梳理了语言模型若被用来增强虚假信息活动，会给信息环境带来的威胁，并引入了一个用于分析潜在缓解手段的框架。

论文#OpenAI

OpenAI 分析：自 2012 年，把神经网络训练到 ImageNet 同等性能所需算力每 16 个月减半——相比 2012 年，如今只需四十四分之一的算力就能达到 AlexNet 那一档性能（同期摩尔定律只能带来 11 倍的成本改善）

AI and efficiency

OpenAI 发布一篇效率分析，显示自 2012 年以来，把神经网络训练到在 ImageNet 分类上同等性能所需的算力，每 16 个月就减少一半（因子为 2）；相比 2012 年，如今只需四十多分之一（44×更少）就能达到 AlexNet 那一档性能，而按摩尔定律同期只应带来 11 倍的成本改善。作者的结论是：在近期投入很高的 AI 任务上，算法层面的进步所带来的增益，已经超过了经典硬件效率的提升。

论文#OpenAI

推荐理由：和算力翻倍那条互补，给出算法效率增长的量化基线。

OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型做了若干任务的微调，成功匹配上了外部人类标注者的偏好——尽管那些偏好有时并不与 OpenAI 自己的偏好一致。具体地，在摘要任务上标注者偏好整句从输入里照搬过来的句子（OpenAI 只要求他们确保准确性），于是模型就学到了照搬；摘要任务需要 6 万个人类标注，而以多种风格续写文本这类更简单的任务只需要 5 千个。其动机是把安全技术推

Fine-tuning GPT-2 from human preferences

OpenAI 用人类反馈，针对若干任务对 774M 参数的 GPT-2 语言模型做了微调，成功匹配上了外部人类标注者的偏好，尽管那些偏好并不总是与 OpenAI 自己的偏好相符。具体而言，在摘要任务上，标注者偏好的是把输入里整句照搬过来的句子（OpenAI 原本只要求他们确保准确性），于是他们训练出的模型就学会了照搬。摘要任务需要 6 万个人类标注，而以多种风格续写文本这类更简单的任务只需 5 千个标注。作者说明其动机是把安全技术推向更一般的「机器与人交谈」这一任务——他们认为这是从中提取关于人类价值信息的关键。

论文#OpenAI

OpenAI 发表一篇政策研究论文，提出今天就能用的四种策略来提高 AI 行业在安全规范上长期合作的可能性：沟通风险与收益、技术协作、增加透明度、以及为制定标准提供激励。分析认为行业在安全上的合作对确保 AI 系统安全且有益至关重要，但竞争压力可能造成集体行动问题，导致 AI 公司少投安全

Why responsible AI development needs cooperation on safety

OpenAI 发表了一篇政策研究论文，提出四种当下就可采用的策略，以提高 AI 行业在安全规范上达成长期合作的可能性：沟通风险与收益、技术协作、增加透明度，以及为制定标准提供激励。作者的分析指出，行业在安全上的合作对于确保 AI 系统安全且有益是至关重要的，但竞争压力可能带来一个集体行动问题，可能使 AI 公司在安全上投入不足。他们希望这些策略能鼓励在 AI 安全发展上更多的合作，并带来更好的全球结果。

观点#OpenAI

OpenAI 发表一篇论文，主张长期的 AI 安全研究需要社会科学家，以确保 AI 对齐算法在有真实人类参与时能够奏效。论文认为，要把先进 AI 系统妥善对齐到人类价值，需要解决许多与人类理性、情绪与偏见的心理学有关的不确定性。写作目的是促成机器学习研究者与社会科学研究者之间更多的合作，OpenAI 计划招聘全职社会科学家来做这一方向

AI safety needs social scientists

OpenAI 写道，他们完成了一篇论文，主张长期的 AI 安全研究需要社会科学家，以确保 AI 对齐算法在有真实人类参与时能够成功。妥善地把先进 AI 系统对齐到人类价值，需要解决许多关于人类理性、情绪与偏见心理方面的不确定性。这篇论文的目的是激起机器学习研究者与社会科学研究者之间进一步的合作；OpenAI 表示计划招聘社会科学家，在 OpenAI 全职投入这一方向。

观点#OpenAI

OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术：通过示范如何把一个任务分解为更简单的子任务，来指定超出人类尺度的复杂行为与目标，而不是靠标注数据或奖励函数。作者说这一想法尚在很早期、只在简单的玩具算法域上做过实验，但认为它可能是一条可扩展的 AI 安全路径，因此以初步形态发布

Learning complex goals with iterated amplification

OpenAI 提出一种叫作迭代放大（iterated amplification）的 AI 安全技术。它通过示范如何把一个任务分解成更简单的子任务，来指定那些超出人类尺度的复杂行为与目标，而不是靠提供带标注的数据或一个奖励函数。作者说明这一想法还处于非常早期的阶段，他们只在简单的玩具算法领域上完成了实验；之所以选择以初步形态发布，是因为认为它有可能成为一种可扩展的 AI 安全方法。

论文#OpenAI

OpenAI 发布无监督预训练 + Transformer 的语言理解系统（GPT-1）：在一组多样的语言任务上拿到当时最好的结果，并放出了这套可扩展、任务无关的系统

Improving language understanding with unsupervised learning

OpenAI 宣布在一组多样的语言任务上取得了当时最优（state-of-the-art）的结果，用的是一套可扩展、任务无关的系统，并一并将其开源。方法是把两个已有想法结合到一起：Transformer 架构与无监督预训练。作者认为这为「把监督学习方法与无监督预训练搭配起来确实很有效」提供了有说服力的例证——这一思路此前已有多人探索，他们希望这一结果能推动人们在更大、更多样的数据上继续应用这一想法。

模型#OpenAI

推荐理由：GPT 系列的起点，无监督预训练这一范式的第一次系统验证。

OpenAI 分析：2012 年以来最大 AI 训练运行的算力以每 3.4 个月翻倍的速度指数增长，累计超过 30 万倍——作为对照，摩尔定律的翻倍周期是 2 年

AI and compute

OpenAI 发布一篇分析，指出自 2012 年以来，最大规模 AI 训练运行所使用的算力呈指数增长，翻倍时间为 3.4 个月（作为对比，摩尔定律的翻倍周期约为 2 年）。自 2012 年起这一指标已增长了 30 万倍以上（若按 2 年翻倍，同期只有 7 倍增长）。作者认为算力的改进一直是 AI 进展的关键组成部分，只要这一趋势延续，就值得为远超当下能力的系统所带来的影响提前做准备。

论文#OpenAI

推荐理由：这是被反复引用的算力增长曲线，作为行业趋势的量化锚点仍有分量。

OpenAI 提出一个简单可扩展的元学习算法 Reptile：反复采样任务、在其上做随机梯度下降，再把初始参数朝该任务学到的最终参数方向更新。它是 Shortest Descent 算法在元学习场景下的应用，数学上类似一阶 MAML，只需对 SGD 或 Adam 这类优化器的黑盒访问，计算效率与表现相近

Reptile: A scalable meta-learning algorithm

OpenAI 提出了 Reptile——一个简单可扩展的元学习算法。做法是反复采样一个任务、在其上做随机梯度下降，然后把初始参数朝着在该任务上学到的最终参数方向更新。Reptile 相当于把 Shortest Descent 算法应用到元学习场景，数学上与一阶 MAML（MAML 的一个版本）相近，但只需要对某个优化器（如 SGD 或 Adam）的黑盒访问，计算效率和性能都与之相当。

论文#OpenAI

OpenAI 谈多智能体环境：为争夺资源而竞争的 agent 环境是通往 AGI 路上的垫脚石。它有两个有用性质——其一有天然课程，环境难度由对手的强弱决定（与自己的克隆竞争时，难度正好匹配你的水平）；其二没有稳定均衡，agent 再聪明也总有变得更强的压力。这类环境与传统的 RL 环境感觉完全不同，要擅长它还需要大量研究

Learning to cooperate, compete, and communicate

OpenAI 论述多智能体环境（agent 之间为争夺资源而竞争）是通往 AGI 道路上的垫脚石。作者指出这类环境有两个有用性质：第一，它自带一条自然的课程——环境的难度由竞争者的水平决定，如果你与自己的克隆竞争，环境难度就恰好与你的水平相匹配；第二，多智能体环境没有稳定的均衡——无论一个 agent 有多聪明，总有让它变得更强的压力。作者说，这些环境与传统环境感觉非常不同，要真正擅长它们还需要非常多的研究。

论文#OpenAI