用 AI 生成的數據訓練 AI，AI 會(huì )越來(lái)越“傻”
本文來(lái)自*：SF 中文（ID：kexuejiaodian），作者：SF
AI 之所以能“有問(wèn)必答”，在很大程度上是訓練的數據量足夠大的功勞。目前來(lái)看，只要用于訓練 AI 的數據量足夠大，AI 就能繼續扮演好我們的“良師益友”角色。不過(guò)，事情并沒(méi)有這么簡(jiǎn)單和樂(lè )觀(guān)，AI 正在變傻。
現階段，訓練 AI 的數據主要來(lái)自網(wǎng)絡(luò )。網(wǎng)絡(luò )中海量的數據保證了 AI 能更快、更完善、更妥帖地回答我們提出的問(wèn)題，滿(mǎn)足我們的需求。隨著(zhù) AI 的發(fā)展，網(wǎng)絡(luò )中由 AI 生成的數據勢必越來(lái)越多，那么用于訓練 AI 的數據中，由 AI 自己生成的數據也會(huì )越來(lái)越多。這會(huì )給 AI 帶來(lái)一個(gè)大問(wèn)題。
AI 正在變傻
一篇發(fā)表于 2024 年 7 月 24 日的《自然》（Nature）雜志上的文章指出，用由 AI 生成的數據訓練 AI，隨著(zhù) AI 的迭代，可能會(huì )讓 AI 瀕臨“崩潰”。
來(lái)自牛津大學(xué)、劍橋大學(xué)、英國帝國理工學(xué)院、多倫多大學(xué)等高校的研究人員，用先前幾個(gè)版本的大語(yǔ)言模型（LLM，比如 GPT、OPT）生成的數據占多數的網(wǎng)絡(luò )數據訓練了某個(gè)版本的 LLM-n。他們發(fā)現，隨著(zhù) n 的增加，LLM 將會(huì )出現“模型崩潰”（model collapse）現象。
以 Meta 的大語(yǔ)言模型 OPT 為例。研究人員對 OPT-125m 做了測試。他們最早輸入的訓練數據是“根據英國作家波因茨?賴(lài)特（Poyntz Wright）的說(shuō)法，一些在 1360 年之前開(kāi)始建造的中世紀建筑，通常是由經(jīng)驗豐富的石匠和石匠臨時(shí)工完成建造的，當地教區的勞工也會(huì )參與進(jìn)來(lái)。但是，其他作者不這么認為，他們認為是建設團隊的負責人根據早期垂直式建筑的例子設計了這些建筑。”
起初的幾個(gè)版本的 OPT 還能根據訓練數據，給出一些垂直式建筑準確的建筑時(shí)期。由于后期的版本是由之前版本生成的數據訓練的，隨著(zhù)迭代，后期的版本給出的答案就變得越來(lái)越離譜 —— 甚至到了第 9 代，OPT 給出了一群兔子的名字。
2、AI 變傻后會(huì )怎樣？
那么，AI 變傻了，或者說(shuō)它崩潰了，會(huì )帶來(lái)怎樣的后果？研究團隊指出，這種對訓練數據長(cháng)期的“污染”早已經(jīng)發(fā)生了。例如，研究人員觀(guān)察了“巨魔農場(chǎng)”（troll farms，專(zhuān)門(mén)在網(wǎng)絡(luò )中散播不實(shí)言論或煽動(dòng)性言論的組織，可以理解為“水軍”“網(wǎng)絡(luò )噴子”）的形成過(guò)程。巨魔農場(chǎng)給搜索引擎帶來(lái)的“污染”就是，導致搜索結果的改變。而更令人擔憂(yōu)的是，隨著(zhù) AI 大語(yǔ)言模型更多地走進(jìn)網(wǎng)絡(luò )世界，這樣的“污染”的規模將變得更大，傳播速度也會(huì )越來(lái)越快。
為此，谷歌降低了巨魔農場(chǎng)內容的搜索權重，而主打保護用戶(hù)隱私的搜索引擎 DuckDuckGo 干脆刪除了這些內容。但這些做法都不能從根本上解決 AI 變傻的問(wèn)題。為了讓 AI 能進(jìn)行長(cháng)期的“正規學(xué)習”而不是受到“污染”，必須保證網(wǎng)絡(luò )中人工創(chuàng )造的原始數據始終都能訪(fǎng)問(wèn)。研究人員認為，要實(shí)現這一點(diǎn)，關(guān)鍵在于如何將 AI 生成的數據與人工創(chuàng )造的數據區分開(kāi)來(lái)。
這就涉及到了 AI 生成數據溯源的問(wèn)題，但是科學(xué)家目前還不知道如何大規模地追蹤 AI 生成內容的源頭。
在文章中，研究人員給出了一個(gè)可能的解決方案。建立社區層面上的合作，確保 AI 生成內容涉及的方方面面，都能共享解決內容溯源問(wèn)題的信息。
參考文獻：
021yin.com/articles/s41586-024-07566-y#Abs1
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時(shí)間，結果僅供參考，IT之家所有文章均包含本聲明。
