OpenAI 研究者与 Georgetown 大学的安全与新兴技术中心、Stanford 互联网观察站合作，调查大语言模型可能被滥用于虚假信息的方式。合作包括一场 2021 年 10 月的研讨会，汇集了 30 位虚假信息研究者、机器学习专家与政策分析者，最终产出一份基于一年多研究的合著报告：梳理语言模型若被用于增强虚假信息活动会给信息环境带来的威胁，并给出一个分析潜在缓解手段的框架
Forecasting potential misuses of language models for disinformation campaigns and how to reduce risk
评分 44
导读
OpenAI 的研究者与 Georgetown 大学的安全与新兴技术中心（CSET）以及 Stanford 互联网观察站合作，调查大语言模型可能被滥用于虚假信息目的的方式。这次合作包含 2021 年 10 月举办的一场研讨会，把 30 位虚假信息研究者、机器学习专家和政策分析者聚到一起；在此基础上经过一年多的研究，最终产出一份合著报告。报告梳理了语言模型若被用来增强虚假信息活动，会给信息环境带来的威胁，并引入了一个用于分析潜在缓解手段的框架。
主体与标签
OpenAI#安全/对齐#政策/监管
正文
OpenAI researchers collaborated with Georgetown University’s Center for Security and Emerging Technology and the Stanford Internet Observatory to investigate how large language models might be misused for disinformation purposes. The collaboration included an October 2021 workshop bringing together 30 disinformation researchers, machine learning experts, and policy analysts, and culminated in a co-authored report building on more than a year of research. This report outlines the threats that language models pose to the information environment if used to augment disinformation campaigns and introduces a framework for analyzing potential mitigations. Read the full report here.