OpenAI 提出 IH-Challenge，训练前沿模型分清指令优先级
Improving instruction hierarchy in frontier LLMs
精选评分 60
导读
OpenAI 介绍 IH-Challenge，用来训练模型优先处理可信指令，从而改进指令层级、安全可控性，并增强对提示注入攻击的抵抗。
推荐理由
它用一套训练方法让模型优先听从可信指令，材料指向可被引导、抗提示注入这一安全目标。
主体与标签
openai#安全/对齐#论文/研究#评测/基准
正文
IH-Challenge trains models to prioritize trusted instructions, improving instruction hierarchy, safety steerability, and resistance to prompt injection attacks.