有圖未必是真相！揭開(kāi)利用AI技術(shù)編造謠言真相

近年來(lái)，隨著(zhù)人工智能技術(shù)的日益火爆，在網(wǎng)絡(luò )上編造和傳播謠言的成本也變得更低。利用AI合成技術(shù)編造謠言，甚至生成逼近真實(shí)的圖片、音視頻，顛覆了“有圖就有真相”的常規認知，讓人難辨真假。

今年1月，某網(wǎng)絡(luò )平臺出現一條關(guān)于“西安爆炸”的消息。消息稱(chēng)：1月10日晚11時(shí)48分，突然一聲巨大的爆炸聲在城市中響起。文字下方還配發(fā)了所謂爆炸的圖片。這條看起來(lái)聳人聽(tīng)聞的消息很快在網(wǎng)上傳播，甚至包含了時(shí)間、地點(diǎn)等關(guān)鍵信息，極具迷惑性，那么真相到底如何呢？

警方調查到，消息的發(fā)布賬號歸屬于江西南昌的一家MCN機構。這家公司的實(shí)際控制人為王某某。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：我們接到西安警方的通報，說(shuō)我們轄區有一個(gè)MCN機構，西安發(fā)生了一個(gè)爆炸，發(fā)布了這么一條信息，他們經(jīng)過(guò)本地的核實(shí)，并沒(méi)有發(fā)生類(lèi)似的事件。在這種情況下，我們就初步判定該MCN機構發(fā)布的信息涉嫌網(wǎng)絡(luò )造謠，屬不實(shí)信息。我們立刻對該公司負責人進(jìn)行了約談，同時(shí)勘察了該公司的辦公場(chǎng)所，并對使用的電腦和軟件工具進(jìn)行了現場(chǎng)取證。

在約談中，警方從王某某處得知，網(wǎng)上發(fā)布的西安發(fā)生爆炸這條謠言，從文本到圖片，竟然全都是通過(guò)AI生成的。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：違法人員王某某通過(guò)國內一個(gè)網(wǎng)站，該網(wǎng)站是專(zhuān)門(mén)提供近期可能生成熱點(diǎn)的一些新聞報道，或者說(shuō)正在發(fā)生或即將發(fā)生的一類(lèi)的事情，分級分類(lèi)提供給寫(xiě)作者一些關(guān)鍵性的關(guān)鍵詞，通過(guò)該網(wǎng)站生成關(guān)鍵詞就形成了文章的標題。

王某某通過(guò)具有語(yǔ)音交互功能的AI軟件，只需說(shuō)出關(guān)鍵詞，軟件便會(huì )自動(dòng)在網(wǎng)絡(luò )上抓取相關(guān)信息，生成幾百到上千字的文本，并配上貌似和事件具有相關(guān)性的虛假圖片，從而形成一段看起來(lái)信息量很大，實(shí)際上子虛烏有的內容。違法人員王某某將AI生成的這些內容，使用另一款軟件自動(dòng)上傳到該MCN機構控制的多網(wǎng)絡(luò )平臺不同的賬號上，并對外發(fā)布。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：以新聞撰稿人的角度、方向、語(yǔ)氣，對下列關(guān)鍵詞如“爆炸”“民生”等等信息，要求AI軟件生成文章、新聞熱點(diǎn)類(lèi)的圖片，全程基本不需要人工參與，所以導致在操作過(guò)程中產(chǎn)生了這樣的謠言信息。

通過(guò)AI軟件生成內容的方式，這家MCN機構短時(shí)間內生成了大量的文章，最高峰一天能生成4000至7000篇。今年3月28日，警方傳喚了王某某。王某某對自己通過(guò)AI軟件編造大量謠言的情況供認不諱。據王某某供述，生成這些文章，主要是想讓自己運營(yíng)的賬號關(guān)注點(diǎn)贊量更高，從中賺取流量。

警方在調查過(guò)程中發(fā)現，該MCN機構在網(wǎng)絡(luò )上發(fā)布的內容以民生類(lèi)信息為主，大部分看似與百姓生活密切相關(guān)，卻會(huì )通過(guò)在其中加入夸張故事情節、獵奇性成分，或編造不實(shí)信息，以此來(lái)獲取網(wǎng)民關(guān)注度和點(diǎn)贊量，進(jìn)而實(shí)現流量變現。

王某某將AI自動(dòng)生成的文章，發(fā)布在平臺，平臺再根據文章的點(diǎn)贊數和閱讀量支付其相應的報酬。通過(guò)這種方式，王某某在短時(shí)間內獲得了高額報酬。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：王某某生成文章之后推送到各平臺，然后通過(guò)關(guān)注閱讀的方式，閱讀量比如說(shuō)達到1萬(wàn)，它就是系數1，然后再乘以關(guān)注、轉發(fā)、評論，再乘以一個(gè)1.5的系數，最終生成平臺支付給他的報酬。同時(shí)如果有廣告收入的話(huà)，另行支付。他平均每天通過(guò)AI工具發(fā)布的是4000到7000條信息，最高的一條收入是700元。經(jīng)初步的估算，每天的收入在1萬(wàn)元以上。

民警發(fā)現，該MCN機構發(fā)布的網(wǎng)絡(luò )謠言中，獵奇性強的內容往往更吸引眼球。比如，王某某利用AI生成的一篇“某地產(chǎn)公司創(chuàng )始人被控制”的文章，在網(wǎng)上關(guān)注度較高，據警方介紹，這一條內容的收入也較高。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：因為該信息屬于“熱點(diǎn)新聞”，同時(shí)這篇文章的故事性和獵奇性也比較強，所以引發(fā)的社會(huì )關(guān)注度比較高。

經(jīng)警方調查，王某某共經(jīng)營(yíng)了5家MCN機構，運營(yíng)賬號842個(gè)，自今年1月以來(lái)，其中一家MCN機構利用其賬號陸續在某平臺上發(fā)布了“西安2024年1月10日發(fā)生爆炸，導致建筑、車(chē)輛炸毀、人員傷亡”等多條謠言信息。

江西南昌市公安局高新分局網(wǎng)絡(luò )安全保衛大隊大隊長(cháng) 李毅：都是在同一平臺，用不同的名稱(chēng)或類(lèi)型發(fā)布大家關(guān)注的不同類(lèi)別的信息，比如民生類(lèi)、社會(huì )熱點(diǎn)類(lèi)的。

經(jīng)查，王某某的行為構成傳播謠言虛構事實(shí)擾亂公共秩序。目前，南昌警方依據吉印通人民共和國治安管理處罰法相關(guān)規定，依法對王某某處以行政拘留5日，責令涉案MCN機構停業(yè)整改。

模仿新聞風(fēng)格 AI生成謠言迷惑性更強

利用AI技術(shù)，模仿新聞風(fēng)格，一鍵生成的謠言信息迷惑性更強。而涉及險情或災情的虛假消息，更能獲取高流量。在重慶，公安機關(guān)就查處了一起個(gè)人利用AI軟件造謠的案件，他編造的民房爆炸謠言，讓他以為能實(shí)現流量變現。這起案件被公安部列為打擊整治網(wǎng)絡(luò )謠言違法犯罪典型案例。

2023年12月25日，一則“重慶巫溪一民房發(fā)生爆炸事故，4人不幸遇難，官方緊急介入調查”的消息在某網(wǎng)絡(luò )平臺上發(fā)布，全文500余字，以新聞報道的口吻提供了重慶巫溪縣“突發(fā)爆炸事故，現場(chǎng)情況十分慘烈”“發(fā)現了4名遇難者，其中包括一名兒童”“疑似與居民私拉亂接電線(xiàn)有關(guān)，調查組將進(jìn)一步搜集證據”等細節，短時(shí)間內這則所謂的“突發(fā)新聞”便獲得了幾萬(wàn)次的點(diǎn)擊量。閱讀量暴漲，讓之前在網(wǎng)上發(fā)文沒(méi)有任何流量的康某某一開(kāi)始還有些興奮。

違法行為人 康某某：當時(shí)我發(fā)了20多條，沒(méi)有啥收益，后來(lái)看了一個(gè)爆炸的新聞點(diǎn)贊好幾十萬(wàn)，我就輸了一個(gè)“重慶爆炸”，它就自動(dòng)生成了，我就復制它的標題和文章進(jìn)行發(fā)表。

就這樣，康某某因為看到一篇關(guān)于爆炸事故的新聞關(guān)注度高，就在A(yíng)I文本生成軟件里輸入了“重慶”“爆炸”的關(guān)鍵詞，生成了上述這篇毫無(wú)根據、隨意編造的虛假“新聞”，并發(fā)布在自己的網(wǎng)絡(luò )賬號上。

康某某之所以制造謠言，是因為得知在某知名網(wǎng)絡(luò )平臺創(chuàng )作發(fā)布文章，可以根據閱讀、評論、轉發(fā)數量等獲取相關(guān)流量收益，每千人有效閱讀量有1至2元的獎勵。為了獲取收益，康某某在看到一則爆炸事故的老新聞點(diǎn)擊量巨大后，便想到了編造虛假消息，來(lái)博取流量。但他的這種行為已經(jīng)觸犯了法律。

違法行為人 康某某：到了晚上7點(diǎn)多，這篇文章的曝光量已經(jīng)上萬(wàn)了，有效閱讀量也是上千，然后民警就給我打電話(huà)了。

重慶市公安局網(wǎng)安總隊民警 陳鵬：經(jīng)過(guò)我們核實(shí)，這是徹頭徹尾的一條謠言，因為影響比較惡劣，我們就把相關(guān)情況通報給了屬地警方梁平區公安局，對造謠人進(jìn)行責任追究。

警方找到康某某時(shí)，他還沉浸在自己終于打造了爆款內容的喜悅之中，對于可能因此要承擔的法律責任毫無(wú)概念。

重慶市梁平區公安局龍門(mén)派出所民警 毛云燦：康某某也是承認了自己利用AI工具生成了一篇虛假文章并發(fā)表在網(wǎng)上這一事實(shí)。但康某某顯然沒(méi)有意識到自己的行為已經(jīng)觸犯了相關(guān)法律，他認為只要自己將這篇文章給刪掉，就沒(méi)有事了，但其實(shí)他這樣的行為，需要承擔相應的法律后果。

康某某為了增加自己賬號的曝光度、閱讀量，就毫無(wú)底線(xiàn)地蹭網(wǎng)絡(luò )熱點(diǎn)，編造虛假消息，以此想獲取平臺給的獎勵，實(shí)現流量變現。經(jīng)警方查證，康某某對其虛構事實(shí)擾亂公共秩序的違法行為供認不諱。

重慶市梁平區公安局龍門(mén)派出所民警 毛云燦：康某某的行為違反了治安管理處罰法第二十五條之規定，公安機關(guān)依法對其行政拘留三日，收繳其違法所得，并封禁了其網(wǎng)絡(luò )賬號。

重慶市公安局網(wǎng)安總隊民警 陳鵬：在互聯(lián)網(wǎng)科技時(shí)代，當下AI技術(shù)不但能生成文本，還能生成逼近真實(shí)的圖片和音視頻，這就完全顛覆了我們常規認知里的“有圖就有真相”，使我們對網(wǎng)絡(luò )謠言本身難辨其真假。也使網(wǎng)絡(luò )謠言的社會(huì )危害性變得更大。網(wǎng)絡(luò )并非法外之地，對于在互聯(lián)網(wǎng)上發(fā)布不實(shí)言論、擾亂社會(huì )秩序的，公安機關(guān)將堅決依法堅決處理，對于造成惡劣影響、情節嚴重的，公安機關(guān)將依法追究其法律責任。

設計好劇本 對罵引流再直播約架

博取流量，漲粉獲利的無(wú)底線(xiàn)惡意炒作行為，嚴重擾亂社會(huì )秩序。在河南鄭州，有兩名網(wǎng)絡(luò )主播事先設計好劇本，組織人員相互謾罵引流，再直播約架。正當兩幫人在準備碰面時(shí)，被警方及時(shí)制止并控制。

6月8日晚上10時(shí)多，鄭州市公安局鄭東新區分局接到舉報稱(chēng)，在一網(wǎng)絡(luò )直播平臺上，一個(gè)網(wǎng)名叫“老某”的博主正和一個(gè)網(wǎng)名叫“江某”的博主在網(wǎng)上“約架”。

河南鄭州市公安局鄭東新區分局商務(wù)區派出所教導員 徐航：接到報案之后，我們立即進(jìn)去這個(gè)直播間看，然后尋找這些人位置，我們出動(dòng)警力將這些人現場(chǎng)控制。

警方了解到，兩名“約架”的主播在網(wǎng)絡(luò )平臺都擁有數十萬(wàn)粉絲，平時(shí)的經(jīng)濟來(lái)源也都是依靠網(wǎng)絡(luò )直播，而所謂的“約架”，其實(shí)是他們早就設計好的劇本。當天，他們組織人員通過(guò)互相謾罵，煽動(dòng)粉絲對立情緒，并發(fā)布視頻預熱引流。然后，雙方又通過(guò)網(wǎng)絡(luò )直播開(kāi)始線(xiàn)下“約架”，在一個(gè)半小時(shí)內，吸引7.8萬(wàn)人次圍觀(guān)，造成惡劣社會(huì )影響。

鄭州市公安局鄭東新區分局商務(wù)區派出所教導員 徐航：當時(shí)總點(diǎn)擊量有十幾萬(wàn)，因為他們開(kāi)播時(shí)間不長(cháng)，一個(gè)多小時(shí)，刷禮物大概有2000多元錢(qián)。我們進(jìn)直播間的時(shí)候看到當時(shí)同時(shí)在線(xiàn)就有8000多人，在網(wǎng)絡(luò )上影響是非常不好的。

在這起案件中，除了兩名網(wǎng)絡(luò )主播外，還有8名男子參與，他們當中年齡最大的29歲，最小的19歲。目前，10名嫌疑人因涉嫌尋釁滋事被警方依法采取刑事強制措施。

鄭州市公安局網(wǎng)監支隊民警 張效仆：他們這種為了博取流量、漲粉獲利的無(wú)底線(xiàn)惡意炒作行為嚴重擾亂社會(huì )秩序，破壞網(wǎng)絡(luò )環(huán)境，影響青少年的價(jià)值觀(guān)，必須堅決依法打擊。在此我們要提醒網(wǎng)絡(luò )主播，網(wǎng)絡(luò )空間不是法外之地，作為網(wǎng)絡(luò )主播應當以身作則，去積極地傳播正能量，利用自身的正面影響力，來(lái)引導粉絲形成正確的價(jià)值觀(guān)，無(wú)底線(xiàn)的惡意炒作博取流量，最終會(huì )自食其果。

法學(xué)專(zhuān)家：平臺應履行相應監管責任

不管是利用AI編造駭人聽(tīng)聞的虛假消息，還是直播對罵，目的都是賺取平臺流量補貼，實(shí)現流量變現。法學(xué)專(zhuān)家表示，大量不實(shí)信息對普通網(wǎng)民來(lái)說(shuō)，有時(shí)候很難直接判斷它是否為謠言，而平臺對于相關(guān)信息應該盡到監管責任。

西南政法大學(xué)法學(xué)院教授 陳偉：如果平臺盡不了這個(gè)責任，對社會(huì )公眾來(lái)說(shuō)，篩選尤其困難。相關(guān)的規定也確立了，平臺方要履行相應的監管責任，以及防范這些不良的信息或者虛假信息上傳到網(wǎng)絡(luò )帶來(lái)的后續性的影響。

有的網(wǎng)絡(luò )平臺向流量高的內容和用戶(hù)支付報酬，在某種程度上會(huì )刺激一些想要賺錢(qián)的網(wǎng)絡(luò )用戶(hù)，去發(fā)布一些虛假信息。法學(xué)專(zhuān)家表示，平臺在刺激創(chuàng )作的同時(shí)，也應該盡到更多的責任去消除虛假信息的傳播。

西南政法大學(xué)法學(xué)院教授 陳偉：報酬的支付里面，也要行使到積極的引導性作用，不應該通過(guò)發(fā)布虛假信息提升流量。這些散布者一旦出現，對他的相關(guān)的懲罰機制，或者對他的事后相關(guān)的警示、封號等這樣一些方式，都應該考慮到。

造謠容易，辟謠難。造謠者付出的代價(jià)是否太低，導致謠言不斷滋生？法律專(zhuān)家建議，在法律法規上應該讓造謠者付出更大的成本。

西南政法大學(xué)法學(xué)院教授 陳偉：要體現出違法性的成本的體現。在行政處罰里面不光涉及行政拘留，也還涉及行政性的罰款等，還包括對賬號采取的封號等這樣一些措施，我們都要及時(shí)性地跟進(jìn)，以匹配違法成本和最終承擔責任之間的比例，以防范其他人會(huì )看到這樣一個(gè)成本過(guò)低，會(huì )帶來(lái)對行為人的遏制作用很有限的情形。

（來(lái)源：公安部網(wǎng)安局）