攻擊者手中的人工智能工具

隨著(zhù)人工智能技術(shù)的發(fā)展，網(wǎng)絡(luò )空間安全也進(jìn)入了一個(gè)全新的時(shí)代。2023年4月，俄羅斯聯(lián)邦電信、信息技術(shù)和大眾傳媒監督局（Roskomnadzor，俄媒體監督機構）及俄羅斯科學(xué)技術(shù)中心等吉印通發(fā)布《攻擊者手中的人工智能工具——威脅分類(lèi)和緩解》報告，就使用人工智能監控互聯(lián)網(wǎng)并確保用戶(hù)安全的關(guān)鍵技術(shù)方面總結了趨勢和解決方案。研究人員認為，信息戰的自動(dòng)化和生成模型迅速發(fā)展，如果不引入人工智能技術(shù)，網(wǎng)絡(luò )空間安全無(wú)法得到保障。但研究人員也指出，從外部引入的人工智能模型和數據集存在不可控的風(fēng)險，成為迫在眉睫的國家安全問(wèn)題。本文重點(diǎn)梳理了報告中提出的“國家應優(yōu)先考慮的12個(gè)人工智能應用領(lǐng)域”；利用人工智能打擊虛假信息的三大趨勢；社會(huì )網(wǎng)絡(luò )安全中的動(dòng)態(tài)社交網(wǎng)絡(luò )分析等重要內容。

一、國家應優(yōu)先考慮的12個(gè)人工智能

應用領(lǐng)域

近年來(lái)全球人工智能技術(shù)快速發(fā)展，成為推動(dòng)科技和產(chǎn)業(yè)快速發(fā)展的重要力量，人工智能技術(shù)已進(jìn)入實(shí)用階段，正深刻地改變著(zhù)人類(lèi)的生產(chǎn)生活。然而大多數國家的政府監管并沒(méi)有跟上人工智能技術(shù)的發(fā)展步伐，政府監管總體上不到位。尤其是在生成式人工智能領(lǐng)域，有關(guān)算法及用于訓練的數據集的規范使用在許多國家仍然取決于開(kāi)發(fā)人員自身的道德約束。政府需要應對重大的基礎設施挑戰，制定測試和評估人工智能安全的工具。報告中分析了3000多個(gè)概念、發(fā)明、原型、解決方案，并對其中的195個(gè)進(jìn)行了詳細分析和系統化描述，確定了國家應優(yōu)先考慮的、涉及監控互聯(lián)網(wǎng)和確保用戶(hù)安全的12個(gè)人工智能應用領(lǐng)域，分別為：

1. 深度偽造檢測

近年來(lái)，深度偽造已成為一個(gè)構成切實(shí)威脅的問(wèn)題。視頻的日益普及凸顯了對媒體和新聞內容鑒定工具的需求，因為深度偽造技術(shù)可以令人信服地歪曲事實(shí)，并通過(guò)社交媒體高速傳播，使數千萬(wàn)用戶(hù)受眾受到誤導和傷害。

2. 視頻內容識別

利用人工智能識別視頻內容適用于廣泛領(lǐng)域，包括醫療保健、娛樂(lè )、交通管理、自動(dòng)駕駛、車(chē)輛管理、公共執法等。在計算機視覺(jué)領(lǐng)域，視頻內容識別功能是一個(gè)需求量大、前景廣闊的研究和發(fā)展領(lǐng)域。

3. 自動(dòng)內容監控

每天都有大量?jì)热菰诨ヂ?lián)網(wǎng)上上傳和傳播，這遠遠超出了任何機構在內容上傳前對其進(jìn)行分析和監控的能力。鑒于全面數字化的事實(shí)及其明顯的經(jīng)濟效益，使用人工智能來(lái)自動(dòng)監控和管理內容的做法在未來(lái)只會(huì )越來(lái)越多。

4. 人臉識別

人臉識別是信息識別的一個(gè)實(shí)際應用領(lǐng)域，三十多年來(lái)一直受到人們的關(guān)注。如今，這一領(lǐng)域已成為最受研究人員和開(kāi)發(fā)人員歡迎的方向之一，并在我們身邊的現實(shí)中有著(zhù)令人印象深刻的實(shí)踐案例。但人臉識別系統及其應用也面臨從技術(shù)難題到隱私道德等一系列問(wèn)題。

5. 文檔語(yǔ)義提取

從文本中進(jìn)行信息提取是自然語(yǔ)言處理領(lǐng)域的重要方向之一。通過(guò)聊天機器人技術(shù)，“人類(lèi)”語(yǔ)言的識別和處理已被引入許多行業(yè)。雖然自然語(yǔ)言處理和文檔語(yǔ)義提取有其自身的挑戰，但如今的算法模型已為許多企業(yè)發(fā)展提供了廣泛的可能性。

6. 事實(shí)核查

打擊虛假信息是一項復雜的任務(wù)，需要政府監管部門(mén)、網(wǎng)絡(luò )平臺管理部門(mén)、教育和研究機構等各利益相關(guān)方的通力合作。事實(shí)核查能力直接依賴(lài)于相關(guān)技術(shù)的發(fā)展，如自然語(yǔ)言處理和計算機視覺(jué)。

7. 符號識別

符號識別是計算機視覺(jué)的一個(gè)重要領(lǐng)域，由于符號的數量和多樣性，一直以來(lái)是領(lǐng)域的研究難點(diǎn)。隨著(zhù)人工智能技術(shù)的發(fā)展，尤其是深度學(xué)習方法的發(fā)展，符號識別已取得重要的進(jìn)展。

8. 元數據提取與分析

元數據是結構化的參考數據，有助于分類(lèi)和識別信息的屬性。目前大多數基于人工智能的模型都側重于提高元數據工作的便捷性和舒適性，應用范圍也非常廣泛，從提供專(zhuān)業(yè)解決方案（如法醫借助人工智能模型快速對涉案物品進(jìn)行分類(lèi)篩選與初步鑒定）到創(chuàng )新者手中的分散式互聯(lián)網(wǎng)工具應有盡有。

9. 情感識別

使用人工智能進(jìn)行情感識別是最熱門(mén)的研究領(lǐng)域之一。隨著(zhù)情感識別在我們的日常生活中發(fā)揮著(zhù)越來(lái)越重要的作用，人們開(kāi)發(fā)了大量的方法來(lái)提高對情感的分析準確性。如今，情感識別技術(shù)已經(jīng)在消費、安全、醫療、娛樂(lè )、機器人等領(lǐng)域得到了廣泛的應用。

10. 應對信息攻擊

由于人工智能和機器學(xué)習的能力在過(guò)去五年中呈指數級增長(cháng)，其應用在信息安全、保護公眾免受虛假新聞侵害，以及以操縱信息為目的的信息攻擊領(lǐng)域發(fā)揮了重要作用，當前社交網(wǎng)絡(luò )已成為即時(shí)分發(fā)信息的理想平臺，人工智能已證明自己是在社交網(wǎng)絡(luò )安全這一領(lǐng)域內進(jìn)行社交網(wǎng)絡(luò )動(dòng)態(tài)分析的可靠助手。

11. 內容生成

如今生成式人工智能可以根據用戶(hù)的短文本請求創(chuàng )建有意義的文本、圖像、音樂(lè )、代碼和詩(shī)歌。生成式人工智能通常會(huì )導致許多法律和道德問(wèn)題，如由人工智能創(chuàng )建的虛擬現實(shí)已經(jīng)成為社交網(wǎng)絡(luò )源的一部分并出現在媒體中，同時(shí)生成式人工智能還面臨與版權問(wèn)題相關(guān)的知識產(chǎn)權問(wèn)題。

12. 內容推薦系統

內容推薦系統作為用戶(hù)和企業(yè)都感興趣的領(lǐng)域，在數字化轉型中至關(guān)重要：對前者而言，推薦系統是選擇大量商品和服務(wù)不可或缺的指南，對后者而言，推薦系統是增加利潤的有效工具。推薦系統的未來(lái)有兩個(gè)驅動(dòng)力：技術(shù)進(jìn)步和市場(chǎng)需求。未來(lái)開(kāi)發(fā)人員將越來(lái)越多地使用神經(jīng)網(wǎng)絡(luò )作為學(xué)習工具和推薦系統的核心。

二、利用人工智能打擊虛假信息的

三大趨勢

打擊虛假信息是國家安全重要的任務(wù)之一。人工智能技術(shù)的快速發(fā)展為有效地打擊虛假信息提供了重要的抓手。報告中指出了該領(lǐng)域的三個(gè)值得關(guān)注的關(guān)鍵發(fā)展趨勢：

一是可進(jìn)行實(shí)時(shí)監控的事實(shí)核查系統被整合到社交媒體中。未來(lái)，利用人工智能技術(shù)的事實(shí)核查系統將能夠分析并檢查語(yǔ)音和流媒體視頻。如果發(fā)現虛假新聞，則會(huì )發(fā)出警報或提醒用戶(hù)注意不準確或者可能是偽造的內容。這樣的系統將基于深度學(xué)習的方法，使其能夠以共生的方式實(shí)現在社交網(wǎng)絡(luò )中工作，如社交網(wǎng)絡(luò )上發(fā)布的信息具有明顯的時(shí)序特征，可以被劃分為連續的片段，可以通過(guò)遞歸神經(jīng)網(wǎng)絡(luò )（RNNs）捕捉序列特征從而捕獲數據的深層潛在特征及其相關(guān)性，以此構建虛假信息檢測模型。

二是事實(shí)核查系統將在3—5年內大規模實(shí)施。進(jìn)入信息爆炸的時(shí)代，人們對自動(dòng)化信息事實(shí)核查的需求猛增，預計將在未來(lái)3—5年內實(shí)現事實(shí)核查系統的大規模推行。然而，目前事實(shí)核查系統仍處于早期發(fā)展階段，還不能完全依靠人工智能進(jìn)行事實(shí)核查，只能部分流程自動(dòng)化。許多解決方案要么將流程的一部分自動(dòng)化，要么專(zhuān)注于對特定內容進(jìn)行評估，以便隨后由專(zhuān)家或復雜的中央神經(jīng)網(wǎng)絡(luò )進(jìn)行最終評估，從而評估內容的可信度。

三是事實(shí)核查的自動(dòng)化。通過(guò)事實(shí)核查自動(dòng)化可以使得每條新聞在大平臺上都會(huì )被打上標簽，俄羅斯各州將能夠通過(guò)創(chuàng )建標簽系統和監控科技巨頭新聞標簽的正確性來(lái)直接進(jìn)行信息的事實(shí)核查，以防止公司通過(guò)欺詐性的新聞來(lái)謀求利益。

三、利用人工智能技術(shù)應對信息攻擊

（一）理論基礎：社會(huì )網(wǎng)絡(luò )安全中的動(dòng)態(tài)社交網(wǎng)絡(luò )分析

信息戰正在向網(wǎng)絡(luò )空間蔓延和過(guò)渡，并推動(dòng)了宣傳系統的自動(dòng)化進(jìn)程。隨之而來(lái)的是網(wǎng)絡(luò )安全的挑戰，如利用機器學(xué)習、神經(jīng)網(wǎng)絡(luò )等方法，實(shí)現釣魚(yú)式攻擊、電腦蠕蟲(chóng)傳播、垃圾郵件散發(fā)等的完整攻擊過(guò)程自動(dòng)化。報告中指出可以通過(guò)結合社會(huì )科學(xué)與工程學(xué)進(jìn)行社會(huì )網(wǎng)絡(luò )安全中的動(dòng)態(tài)社交網(wǎng)絡(luò )分析，通過(guò)研究信息戰中的攻防工具，預測它們對人類(lèi)行為的影響，通過(guò)跟蹤、評估、分析和阻止信息攻擊來(lái)保障網(wǎng)絡(luò )信息安全。人工智能是用于社會(huì )網(wǎng)絡(luò )安全中動(dòng)態(tài)社交網(wǎng)絡(luò )分析的重要工具。隨著(zhù)人工智能和機器學(xué)習技術(shù)在過(guò)去五年中的指數增長(cháng)，其在信息安全和信息攻擊（輿論操縱）中，都有著(zhù)廣泛的應用。

（二）方法手段：“反信息攻擊”的人工智能技術(shù)與系統

一是充分利用人工智能技術(shù)在處理海量數據、多源異構數據、實(shí)時(shí)動(dòng)態(tài)數據等方面的顯著(zhù)優(yōu)勢，構建動(dòng)態(tài)可擴展的網(wǎng)絡(luò )安全知識大腦，提升網(wǎng)絡(luò )空間防御能力。二是針對網(wǎng)絡(luò )攻擊越來(lái)越智能化、大規模網(wǎng)絡(luò )攻擊越來(lái)越頻繁、網(wǎng)絡(luò )攻擊的隱蔽性越來(lái)越高的特點(diǎn)，遵循網(wǎng)絡(luò )攻擊的基本規律，基于構建的網(wǎng)絡(luò )安全知識庫，實(shí)現復雜網(wǎng)絡(luò )攻擊的智能化檢測算法。可將網(wǎng)絡(luò )安全事件和攻擊的基本信息存儲于安全知識圖譜中，通過(guò)采集數據與安全知識圖譜進(jìn)行匹配，可分析得到網(wǎng)絡(luò )系統中的攻擊行為。三是目前人工智能技術(shù)還不能完全脫離人而存在，人的引導至關(guān)重要。在制定人工智能的發(fā)展路線(xiàn)的同時(shí)應該要緊盯風(fēng)險防御，加強對潛在風(fēng)險的預判和研究，注重系統安全防御技術(shù)的發(fā)展，明確防御發(fā)展策略。不能盲目地將人工智能作為一項“百利而無(wú)一害”的技術(shù)進(jìn)行使用，在進(jìn)行頂層設計的同時(shí)考慮風(fēng)險管理，對人工智能技術(shù)的安全性進(jìn)行有效評估，為人工智能乃至系統防御技術(shù)提供有效規范的引領(lǐng)作用。

（三）問(wèn)題挑戰：信息攻擊分析系統的局限性

全球媒體環(huán)境的信息流是動(dòng)態(tài)的，新的詞匯每天都會(huì )產(chǎn)生和出現，語(yǔ)境和意義也在迅速變化。當前的技術(shù)還不足以實(shí)現完全自動(dòng)化的信息攻擊分析。信息攻擊處理系統和工具仍然需要專(zhuān)家和操作員來(lái)實(shí)現最佳效果。但是信息的攻防往往是一體兩面，完整的系統可以輕松識別不同的攻擊模式，并為用戶(hù)提供高質(zhì)量的相關(guān)信息。但是攻擊者也可利用系統來(lái)解析攻擊過(guò)程，以便重建攻擊方法，在了解系統的基礎吉印通行攻擊手段的升級。同時(shí)，很多信息攻擊行為都是通過(guò)普通民眾進(jìn)行的，民眾往往在不知情的情況下充當了攻擊者的打手，信息攻擊分析系統能否快速準確的區分信息攻擊中的“平民”，決定了阻止信息攻擊的成功率。

四、結論

語(yǔ)

人工智能在網(wǎng)絡(luò )攻防兩方面的賦能效應，極大地推動(dòng)了網(wǎng)絡(luò )空間攻防對抗的發(fā)展，引發(fā)新的安全威脅，催生新的對抗手段。對于網(wǎng)絡(luò )安全而言，人工智能是一把“雙刃劍”，人工智能與網(wǎng)絡(luò )空間安全深度結合，給經(jīng)濟、政治、社會(huì )、國防等領(lǐng)域帶來(lái)新威脅、新問(wèn)題的同時(shí)，也為各國網(wǎng)絡(luò )空間安全發(fā)展提供了新機遇。一方面，人工智能是科技研究過(guò)程中可靠的助手，其速度和24小時(shí)可用性大大簡(jiǎn)化了科學(xué)家和研究人員的工作；另一方面，也不能對攻擊者使用人工智能的破壞性場(chǎng)景視而不見(jiàn)，例如深度偽造欺詐行為、通過(guò)信息影響進(jìn)行社會(huì )操縱等。

免責聲明：本文轉自元戰略。文章內容系原作者個(gè)人觀(guān)點(diǎn)，本*編譯/轉載僅為分享、傳達不同觀(guān)點(diǎn)，如有任何異議，歡迎聯(lián)系我們！

轉自丨元戰略

研究所簡(jiǎn)介

國際技術(shù)經(jīng)濟研究所（IITE）成立于1985年11月，是隸屬于國務(wù)院發(fā)展研究中心的非營(yíng)利性研究機構，主要職能是研究我國經(jīng)濟、科技社會(huì )發(fā)展中的重大政策性、戰略性、前瞻性問(wèn)題，跟蹤和分析世界科技、經(jīng)濟發(fā)展態(tài)勢，為中央和有關(guān)部委提供決策咨詢(xún)服務(wù)。“全球技術(shù)地圖”為國際技術(shù)經(jīng)濟研究所官方*賬號，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng )新洞見(jiàn)。

地址：北京市海淀區小南莊20號樓A座

電話(huà)：010-82635522

*：iite_er