基于散度的理性注意力大语言模型安全度量

摘要

本文提出了一种基于散度的安全度量方法，用于评估大语言模型在嵌入输入攻击下的安全性。该方法利用理性注意力模型与Transformer注意力的等价性，量化了干净与受攻击模型输出分布之间的最坏情况KL散度，并应用于GPT-2和GPT-Neo-125M模型，展示了其区分模型安全特性的能力。