攻擊成功率從3%到接近100%，空格鍵可繞過(guò) Meta AI 模型安全系統

IT之家 7 月 31 日消息，Meta 公司上周在發(fā)布 Llama 3.1 AI 模型的同時(shí)，還發(fā)布了 Prompt-Guard-86M 模型，主要幫助開(kāi)發(fā)人員檢測并響應提示詞注入和越獄輸入。

IT之家在這里簡(jiǎn)要補充下背景知識：

提示詞注入（prompt injection）：將惡意或非預期內容添加到提示中，以劫持語(yǔ)言模型的輸出。提示泄露和越獄實(shí)際上是這種攻擊的子集；

提示詞越獄（prompt jailbreaks）：繞過(guò)安全和審查功能。

不過(guò)根據科技媒體 theregister 報道，這個(gè)防止 AI 提示詞注入和越獄的模型，本身也存在漏洞，用戶(hù)只需要通過(guò)空格鍵就能繞過(guò) Meta 的 AI 安全系統。

企業(yè)人工智能應用安全商店 Robust Intelligence 的漏洞獵人阿曼?普里揚舒（Aman Priyanshu）分析 Meta 的 Prompt-Guard-86M 模型與微軟的基礎模型 microsoft / mdeberta-v3-base 之間的嵌入權重差異時(shí)，發(fā)現了這種安全繞過(guò)機制。

用戶(hù)只需要在字母之間添加空格并省略標點(diǎn)符號，就可以要求 Meta 的 Prompt-Guard-86M 分類(lèi)器模型“忽略之前的指令”。

Priyanshu 在周四提交給 Prompt-Guard repo 的 GitHub Issues 帖子中解釋說(shuō)：

繞過(guò)方法是在給定提示符中的所有英文字母字符之間插入按字符順序排列的空格。這種簡(jiǎn)單的轉換有效地使分類(lèi)器無(wú)法檢測到潛在的有害內容。

Robust Intelligence 首席技術(shù)官海勒姆?安德森（Hyrum Anderson）表示

無(wú)論你想問(wèn)什么令人討厭的問(wèn)題，你所要做的就是去掉標點(diǎn)符號，在每個(gè)字母之間加上空格。

它的攻擊成功率從不到 3% 到接近 100%。