2024世界人工智能大會(huì ) ｜ 上海人工智能實(shí)驗室主任周伯文：探索人工智能45°平衡律

圖說(shuō)：上海人工智能實(shí)驗室主任、首席科學(xué)家周伯文新民晚報記者陳夢(mèng)澤攝

在2024世界人工智能大會(huì )全體會(huì )議上，上海人工智能實(shí)驗室主任、首席科學(xué)家，清華大學(xué)惠妍講席教授周伯文發(fā)表主旨演講，帶來(lái)了“探索人工智能45°平衡律”的觀(guān)點(diǎn)。

周伯文說(shuō)，當前，以大模型為代表的生成式人工智能快速發(fā)展，但隨著(zhù)能力的不斷提升，模型自身及其應用也帶來(lái)了一系列潛在風(fēng)險的顧慮。

從公眾對AI風(fēng)險的關(guān)注程度來(lái)看，首先是數據泄露、濫用、隱私及版權相關(guān)的內容風(fēng)險；其次是惡意使用帶來(lái)偽造、虛假信息等相關(guān)的使用風(fēng)險；當然也誘發(fā)了偏見(jiàn)歧視等倫理相關(guān)問(wèn)題；此外還有人擔心：人工智能是否會(huì )對就業(yè)結構等社會(huì )系統性問(wèn)題帶來(lái)挑戰。在一系列關(guān)于人工智能的科幻電影中，甚至出現了AI失控、人類(lèi)喪失自主權等設定。

這些由AI帶來(lái)的風(fēng)險已初露端倪，但更多的是潛在風(fēng)險，防范這些風(fēng)險需要各界共同努力，需要科學(xué)社區做出更多貢獻。

去年5月，國際上數百名AI科學(xué)家和公眾人物共同簽署了一份公開(kāi)信，表達了對AI風(fēng)險的擔憂(yōu)，并呼吁應該像對待流行病和核戰爭等其他大規模的風(fēng)險一樣，把防范人工智能帶來(lái)的風(fēng)險作為全球優(yōu)先事項。

周伯文認為，有這些擔憂(yōu)的根本原因是目前的AI發(fā)展是失衡的。他向大家展示了一張坐標圖——橫軸是AI技術(shù)能力的提升，呈現指數級增長(cháng)；縱軸是AI的安全維度，典型的技術(shù)如紅隊測試、安全標識、安全護欄與評估測量等，呈現零散化、碎片化，且后置性的特性。

“總體上，我們在A(yíng)I模型安全能力方面的提升，還遠遠落后于性能的提升，這種失衡導致AI的發(fā)展是跛腳的，不均衡的背后是二者投入上的巨大差異?！敝懿闹赋?，“對比一下，從研究是否體系化，以及人才密集度、商業(yè)驅動(dòng)力、算力的投入度等方面來(lái)看，安全方面的投入是遠遠落后于A(yíng)I能力的?！?/p>

周伯文說(shuō)，可信AGI需要能夠兼顧安全與性能，人們需要找到AI安全優(yōu)先，但又能保證AI性能長(cháng)期發(fā)展的技術(shù)體系，“我們把這樣一種技術(shù)思想體系叫作‘AI-45°平衡律’?！?/p>

AI-45°平衡律是指從長(cháng)期的角度來(lái)看，要大體上沿著(zhù)45度安全與性能平衡發(fā)展，平衡是指短期可以有波動(dòng)，但不能長(cháng)期低于45°，也不能長(cháng)期高于45度——這將阻礙發(fā)展與產(chǎn)業(yè)應用。這個(gè)技術(shù)思想體系要求強技術(shù)驅動(dòng)、全流程優(yōu)化、多主體參與以及敏捷治理。

周伯文介紹，實(shí)現AI-45°平衡律也許有多種技術(shù)路徑，上海人工智能實(shí)驗室近期在探索一條以因果為核心的路徑，并將其取名為：可信AGI的“因果之梯”，致敬因果推理領(lǐng)域的先驅——圖靈獎得主朱迪亞·珀爾。

周伯文說(shuō)，可信AGI的“因果之梯”將可信AGI的發(fā)展分為三個(gè)遞進(jìn)階段：泛對齊、可干預、能反思——“泛對齊”主要包含當前最前沿的人類(lèi)偏好對齊技術(shù)；“可干預”主要包含通過(guò)對AI系統進(jìn)行干預，探究其因果機制的安全技術(shù)；“能反思”則要求AI系統不僅追求高效執行任務(wù)，還能審視自身行為的影響和潛在風(fēng)險，從而在追求性能的同時(shí)，確保安全和道德邊界不被突破。這個(gè)階段的技術(shù)，包括基于價(jià)值的訓練、因果可解釋性、反事實(shí)推理等。

周伯文表示，目前，AI安全和性能技術(shù)發(fā)展主要停留第一階段，部分在嘗試第二階段，但要真正實(shí)現AI的安全與性能平衡，我們必須完善第二階段并勇于攀登第三階段。沿著(zhù)可信AGI的“因果之梯”拾級而上，“我們相信可以構建真正可信AGI，實(shí)現人工智能的安全與卓越性能的完美平衡?！?/p>

新民晚報記者 郜陽(yáng)