OpenAI將給ChatGPT加水印，幫忙人們分辨哪些是AI 生成文本

那句話(huà)是人工智能寫(xiě)的嗎？OpenAI 的新聊天機器人 ChatGPT 引發(fā)了公家對一個(gè)關(guān)鍵問(wèn)題的討論：我們若何曉得網(wǎng)上的內容是人寫(xiě)的，仍是人工智能寫(xiě)的？

自 2022 年 11 月發(fā)布以來(lái)，已有超越一百萬(wàn)人利用過(guò) ChatGPT。它讓人工智能社區沉迷，并且很顯然，人工智能生成的文本正在收集上肆意傳布。人們用它來(lái)編笑話(huà)、寫(xiě)故事和草擬更好的電子郵件。

ChatGPT 是 OpenAI 的大型語(yǔ)言模子 GPT-* 的衍消費品。針對用戶(hù)提出的問(wèn)題，該模子能夠生成看起來(lái)很像是人類(lèi)做出的答復。

那些大型語(yǔ)言模子的魔力在于，它們的答復看起來(lái)十分實(shí)在。但因為人們難以分辯，由此引發(fā)的準確性錯覺(jué)也可能帶來(lái)危險。

人工智能模子寫(xiě)出的句子看起來(lái)是準確的，它們以準確的挨次利用了準確的詞匯和語(yǔ)法，但人工智能理解不了它們的含義。

那些模子通過(guò)預測句子中最有可能呈現的下一個(gè)詞來(lái)工做，所以他們其實(shí)不曉得本身說(shuō)的是對仍是錯。即便說(shuō)的是錯的，他們也會(huì )用“言之鑿鑿”的語(yǔ)氣表述出來(lái)。

在一個(gè)已經(jīng)兩極分化、充滿(mǎn)政治色彩的收集世界中，那些人工智能東西可能會(huì )進(jìn)一步扭曲我們獲取的信息。若是他們被某些產(chǎn)物接納并風(fēng)行世界，后果可能是撲滅性的。

人工智能草創(chuàng )公司 Hugging Face 的政策總監艾琳·索萊曼 （Irene Solaiman) 暗示，我們迫切需要可以區分人類(lèi)和人工智能編寫(xiě)的文本的辦法，以應對潛在的手藝濫用。

索萊曼曾是 OpenAI 的人工智能研究員，為 GPT-* 的前身 GPT-2 的發(fā)布研究了人工智能模子的輸出檢測。

找到識他人工智能生成代碼的辦法也至關(guān)重要，例如法式員常用的 Stack Overflow 比來(lái)頒布發(fā)表暫時(shí)制止發(fā)布由 ChatGPT 生成的答復。

ChatGPT 能夠自信地生成編程問(wèn)題的謎底，但它并不是完全準確。錯誤的代碼會(huì )招致軟件 bug，在許多范疇，一個(gè) bug 可能帶來(lái)昂揚的代價(jià)并形成紊亂。

Stack Overflow 發(fā)言人暗示，該公司的審核員正在“利用包羅啟發(fā)式和檢測模子在內的多種東西，查抄數千份由社區成員提交的陳述”，但不會(huì )透露更多細節。

現實(shí)上，實(shí)現那一目的十分困難，完全制止人工智能的答復幾乎是不成能的。

研究人員測驗考試了多種辦法來(lái)檢測人工智能生成的文本。一種常見(jiàn)的辦法是利用軟件來(lái)闡發(fā)文本的差別特征——例如閱讀的流利水平、某些單詞呈現的頻次，或者標點(diǎn)符號、句子長(cháng)度能否有規律。

“若是你有足夠多的文本，一個(gè)十分簡(jiǎn)單的線(xiàn)索就是‘the’那個(gè)詞過(guò)于頻繁的呈現，”谷歌大腦的高級研究科學(xué)家達芙妮·伊波利托（Daphne Ippolito）解釋說(shuō)。

因為大型語(yǔ)言模子通過(guò)預測句子中的下一個(gè)詞來(lái)工做，因而它們更有可能利用“the”“it”或“is”等常見(jiàn)詞，而不是不成靠的稀有詞。

伊波利托和谷歌研究人員在 201* 年頒發(fā)的論文中發(fā)現，那恰是主動(dòng)檢測系統擅長(cháng)識此外文本類(lèi)型。

但伊波利托的研究也顯示了一些有趣的工具：人類(lèi)參與者傾向于認為，那種“清潔”的文本看起來(lái)更好，錯誤更少，因而它更像是人類(lèi)寫(xiě)的。

現實(shí)上，人類(lèi)撰寫(xiě)的文本凡是會(huì )有拼寫(xiě)錯誤，而且變化無(wú)窮，包羅差別的氣概和俚語(yǔ)，而“語(yǔ)言模子很少呈現拼寫(xiě)錯誤，他們更擅長(cháng)生成完美的文本，” 伊波利托說(shuō)。

“文本中的錯別字現實(shí)上是一個(gè)很好的目標，表白它是人寫(xiě)的，”她彌補道。

大型語(yǔ)言模子自己也可用于檢測人工智能生成的文本。不列顛哥倫比亞大學(xué)的天然語(yǔ)言處置和機器進(jìn)修研究主席穆罕默德·阿卜杜勒-馬吉德（Muhammad Abdul-Mageed）說(shuō)，最勝利的辦法之一是在一些由人類(lèi)編寫(xiě)的文本和一些由機器創(chuàng )建的文本上從頭訓練模子，使它學(xué)會(huì )區分兩者。

與此同時(shí)，德克薩斯大學(xué)的計算機科學(xué)家斯科特·阿倫森（ Scott Aaronson）不斷在為 GPT-* 等模子生成的較長(cháng)文本開(kāi)發(fā)“水印”機造。他在博客中寫(xiě)道，通過(guò)在詞匯選擇上參加“不惹人留意的奧秘信號”，人們就能夠證明那段文字是 GPT 模子生成的。

OpenAI 發(fā)言人證明，該公司正在研究水印，而且暗示其政策規定用戶(hù)應該“以一種任何人都不會(huì )合理地漏看或曲解的體例”清晰地指出哪些是人工智能生成的文本。

但那些手藝修復勤奮也存在一些問(wèn)題。他們大多尚未有時(shí)機匹敵最新一代的人工智能語(yǔ)言模子，因為它們是成立在 GPT-2 或其他早期模子之上的。

當有大量文本可供檢測時(shí)，許多檢測東西的效果不錯；但它們在某些詳細場(chǎng)景的表示較差，例如聊天機器人或電子郵件助理，因為那些場(chǎng)景只要較短的對話(huà)，無(wú)法供給更多的數據用來(lái)闡發(fā)。

Abdul-Mageed 還指出，利用大型語(yǔ)言模子停止檢測還需要強大的計算機，以及拜候 AI 模子自己，科技公司凡是不會(huì )允許如許做。

索萊曼暗示，模子越大、性能越強大，就越難構建對應的人工智能模子來(lái)檢測哪些文本是人寫(xiě)的，哪些不是。

“如今最令人擔憂(yōu)的是 ，ChatGPT 的輸出量量十分令人印象深入。檢測模子難以企及，只能在后面不斷追逐，”她說(shuō)。

索萊曼說(shuō)，檢測人工智能編寫(xiě)的文本沒(méi)有一個(gè) 100% 準確的辦法。 “檢測模子不會(huì )成為合成文本的過(guò)關(guān)測試，就像平安過(guò)濾器不是減輕成見(jiàn)的獨一手段，”她說(shuō)。

為了有時(shí)機處理那個(gè)問(wèn)題，我們需要改良手藝修復手段并進(jìn)步人類(lèi)與人工智能交互時(shí)的通明度，人們還要學(xué)會(huì )若何識別藏在人工智能締造的文本中的陳?ài)E。

伊波利托說(shuō)：“若是有一個(gè) Chrome 或其他收集閱讀器的插件，或答應以通過(guò)它讓你曉得網(wǎng)頁(yè)上的任何文本能否是機器生成的。那將是一件十分好的工作?！?/p>

一些人已經(jīng)在勤奮。哈佛大學(xué)和 IBM 的研究人員開(kāi)發(fā)了一種名為“大語(yǔ)言模子測試屋 Giant Language Model Test Room （GLTR)” 的東西，它通過(guò)高亮顯示可能由人工智能生成的文字段落來(lái)幫忙人們留意哪里有問(wèn)題。

但是人工智能已經(jīng)在能夠將通俗人玩弄于股掌之間了?？的螤柎髮W(xué)的研究人員發(fā)現，在 66% 的情況下，人們認為 GPT-2 生成的假新聞文章是可信的。

另一項研究發(fā)現，未經(jīng)訓練的人識別 GPT-* 生成文本的準確率低得就像隨機選擇的差不多。

伊波利托說(shuō)，好動(dòng)靜是人們能夠承受訓練，以更好地識別 AI 生成的文本。她開(kāi)發(fā)了一個(gè)游戲來(lái)測試在用戶(hù)意識到之前人工智能模子能夠生成幾句子。她發(fā)現跟著(zhù)時(shí)間的推移，人們會(huì )逐步做得更好。

“若是你查看大量生成文本，并試圖找出此中沒(méi)有意義的處所，你就能夠更好地完成那項使命，”她說(shuō)。一種辦法是發(fā)現那些難以置信的表述，好比人工智能會(huì )說(shuō)煮一杯咖啡需要 60 分鐘。

ChatGPT 的前身 GPT-* 在 2020 年才問(wèn)世。OpenAI 暗示 ChatGPT 只是一個(gè)演示，但開(kāi)發(fā)類(lèi)似功用強大的模子，并將其應用到用于客服聊天機器人等產(chǎn)物中，只是時(shí)間問(wèn)題。

那就是問(wèn)題的癥結所在：該范疇的飛速開(kāi)展意味著(zhù)，識他人工智能生成文本的許多辦法城市很快過(guò)時(shí)。若是那是一場(chǎng)人類(lèi)和人工智能之間的軍備競賽，那么如今人類(lèi)正在失敗。

撐持：Ren

原文：

021yin.com/2022/12/1*/106***6/how-to-spot-ai-generated-text/