GPT-Red:OpenAI 公开其自动红队测试(automated red teaming)系统,用自我对弈(self-play)来改进 AI 的安全、对齐与提示注入(prompt injection)鲁棒性
GPT-Red: Unlocking Self-Improvement for Robustness
精选评分 66
导读
OpenAI 发布关于 GPT-Red 的介绍,这是一个自动红队测试系统,做法是自我对弈(self-play),目标是改进模型的安全(safety)、对齐(alignment)与对提示注入攻击的鲁棒性。属于把内部攻防自动化机制对外说明。
推荐理由
自动化红队加自我对弈是可复用的安全工程方法,且点名提示注入这一具体攻击面;材料偏方法介绍,未给效果量化。
主体与标签
#安全/对齐#评测/基准
正文
Explore GPT-Red, OpenAI’s automated red teaming system that uses self-play to improve AI safety, alignment, and prompt injection robustness.