OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术：通过示范如何把一个任务分解为更简单的子任务，来指定超出人类尺度的复杂行为与目标，而不是靠标注数据或奖励函数。作者说这一想法尚在很早期、只在简单的玩具算法域上做过实验，但认为它可能是一条可扩展的 AI 安全路径，因此以初步形态发布
Learning complex goals with iterated amplification
评分 44
导读
OpenAI 提出一种叫作迭代放大（iterated amplification）的 AI 安全技术。它通过示范如何把一个任务分解成更简单的子任务，来指定那些超出人类尺度的复杂行为与目标，而不是靠提供带标注的数据或一个奖励函数。作者说明这一想法还处于非常早期的阶段，他们只在简单的玩具算法领域上完成了实验；之所以选择以初步形态发布，是因为认为它有可能成为一种可扩展的 AI 安全方法。
主体与标签
OpenAI#论文/研究#安全/对齐
正文
We’re proposing an AI safety technique called iterated amplification that lets us specify complicated behaviors and goals that are beyond human scale, by demonstrating how to decompose a task into simpler sub-tasks, rather than by providing labeled data or a reward function. Although this idea is in its very early stages and we have only completed experiments on simple toy algorithmic domains, we’ve decided to present it in its preliminary state because we think it could prove to be a scalable approach to AI safety.