就是再训练一个语言模型，让它来给普通语言模型“下套”，诱导它说出带有危险、敏感词汇的回答。
这样一来就能发现其中的许多隐患，为研究人员微调、改善模型提供帮助。
DeepMind表示，这个新AI模型能够在一个2800亿参数的聊天AI中发现了数以万计的危险回答。
不仅测试速度比人工标注更快，而且问题覆盖的范围也更加广泛，最后的测试结果还能辅助语言模型微调。
不得不说，DeepMind是把“套娃”操作给玩明白了。
AI出题、AI交卷、AI改作业
DeepMind将这次新提出的语言模型命名为“red team”。
它主要包含两个部分：
- 一个是向普通模型不断提问的语言模型——可以被看做是考官；
- 另一个是可以对回答作出判断的分类器——就像是一个阅卷人。
其中，负责提问的语言模型将不断诱导普通模型说出存在危害性的话语，比如政治、犯罪、隐私等敏感话题。
分类器则会对答案进行识别，当检测到存在违禁词、隐私信息时，将会给普通语言模型反馈，告诉它“这么回答不OK”。
举个栗子来看：
