梅雅君:AI的環(huán)境足跡
人工智能(AI),雖然是一個(gè)比較新的科技領(lǐng)域,但是最近受到了全世界人們的關(guān)注。
微軟,谷歌和Meta正在投資數十億美元開(kāi)發(fā)成型人工智能,如在加州舊金山發(fā)布的大語(yǔ)言模型ChatGPT。像ChatGPT這樣的世代人工智能是科技行業(yè)最熱門(mén)的工具,有望徹底改變萬(wàn)億美元的企業(yè)。這些模型具備的特點(diǎn),使得讓它們比其他之前的模型更加強大,但是也同時(shí)給自然環(huán)境造成了重要的負擔。
圖源:pixabay
AI帶來(lái)的碳足跡
自從ChatGPT這樣的大型語(yǔ)言模型在全球引起轟動(dòng)以來(lái),很少有人注意到訓練和運行大型語(yǔ)言模型正在產(chǎn)生驚人的碳排放量。雖然谷歌和OpenAI都沒(méi)有說(shuō)過(guò)他們各自產(chǎn)品計算成本是多少,但是根據研究人員的分析,ChatGPT部分訓練消耗了1287兆瓦時(shí),導致了超過(guò)550噸的二氧化碳排放量;這相當于一個(gè)人在紐約和舊金山之間往返550次。
此外,近日在Nature上發(fā)布的一篇文章,指出了復雜度的增加,可以讓大型語(yǔ)言模型產(chǎn)生只能文體,但同時(shí)消耗的電力會(huì )遠高于之前的版本。根據2022年發(fā)布的AI訓練專(zhuān)用GPU數量,全年總計消耗大約95億度電力。這個(gè)消耗能量水平等于一個(gè)中等發(fā)達國家100萬(wàn)人口的年度生產(chǎn)和生活用電需求。實(shí)際上是,這個(gè)只訓練AI時(shí)的排放量,當AI大模型運行時(shí)還會(huì )排出更多的二氧化碳。
加拿大數據中心公司QScale吉印通創(chuàng )造人Martin Bouchard認為,微軟和谷歌為了滿(mǎn)足搜索引擎用戶(hù)日益增長(cháng)的需求,在搜索中加入像GPT這種生成式AI會(huì )導致每次搜索至少增加4到5倍的計算量。如果要經(jīng)常重新訓練模型,同時(shí)添加更多的參數,就會(huì )導致更多的能源消耗和碳排放量。根據國際能源署(Internatinal Energy Agency)的數據,數據中心的溫室氣體排放量已經(jīng)占到全球溫室氣體排放量的1%左右。隨著(zhù)AI大模型個(gè)對云計算要求不斷的增長(cháng),這數字預計只能會(huì )上升。因此,AI模型正在成為二氧化碳排放的一個(gè)特別重要的來(lái)源。
AI硬件的碳排放也是一個(gè)復雜和重要的方面,涉及從制造到使用,再到報廢的整個(gè)生命周期。在制造的過(guò)程中,AI硬件的生產(chǎn)需要大量的金屬和其他原材料。這些材料的開(kāi)采,和運輸過(guò)程不僅消耗大量的能源,還會(huì )產(chǎn)生大量的溫室氣體排放。在使用階段,AI硬件通常在數據中心中運行,而數據中心需要大量的電力來(lái)支持硬件的運行和冷卻,特別是在進(jìn)行大規模的AI模型訓練時(shí),能源消耗非常顯著(zhù)。數據中心的運行不僅消耗大量電力,還會(huì )產(chǎn)生大量的熱量,這個(gè)也需要額外的能源用在散熱過(guò)程,進(jìn)一步增加碳排放。
采取什么樣的措施能夠減少AI的環(huán)境足跡?
減少AI的環(huán)境足跡需要采取一系列綜合措施,從設計,知道,使用到報廢的各個(gè)階段都需要進(jìn)行優(yōu)化和改進(jìn)。AI模型的訓練和運營(yíng)過(guò)程都需要消化大量的能源,但是最主要的問(wèn)題是如何能知道以及計算單個(gè)機器學(xué)習實(shí)驗正在到底產(chǎn)生多少碳排放,以及到底可以減少多少。目前還是沒(méi)有可靠的方法獲取該領(lǐng)域的測量結果,阻礙了進(jìn)一步制定可行的應對政略。
為了針對這個(gè)問(wèn)題,谷歌發(fā)表了一項研究,纖細介紹了最先進(jìn)的語(yǔ)言模型的能源成本,包括更早起和更大版本的LaMDA。研究結果提出,將搞笑的模型,處理器和數據中心與清潔能源結合,可以將機器學(xué)習系統的碳足跡減少1000倍。
谷歌研究團隊提出了四種能夠減少機器學(xué)習工作負載的碳和能源足跡。研究員表示,選擇搞笑的模型Machine Learning(ML)模型室架構非常重要,因為它有可能是提高M(jìn)L質(zhì)量,同時(shí)將計算時(shí)間縮短一半。跟通用處理器相比,使用專(zhuān)門(mén)用在ML訓練的處理器和系統可以把性能和能效提高2到5倍。大多數情況下,本地的數據中心更老,更小。因此新的節能冷卻和配電系統的費用無(wú)法攤銷(xiāo)。云允許客戶(hù)選擇具有最清潔能源的區域,從而可以把總碳足跡減少5到10倍。
谷歌的數據表明,機器學(xué)習訓練和推理在過(guò)去三年中僅占谷歌整體能源消耗量的10%-2至20%,其中每年有35%用在推理,25%用在訓練。高效的云數據中心比普通數據中心節省1.4倍的能源,也就是說(shuō)總能耗會(huì )降低83倍。此外,由低碳能源驅動(dòng)的數據中心可以將碳排放量再減少9倍,從而在四年內總共減少747倍。
圖片來(lái)源:AI
當然,除了使用4Ms方法,服務(wù)提供商和用戶(hù)還可以采取其他簡(jiǎn)單的措施來(lái)提高他們的碳足跡績(jì)效。客戶(hù)可以通過(guò)讓數據中心提供商報告數據中心效率和每個(gè)位置的能源供應清潔度,來(lái)分析和減少他們的能源使用和碳足跡。工程師應該在最環(huán)保的數據中心中最快的處理器上訓練模型,這些數據中心越來(lái)越多地在云上。機器學(xué)習的研究人員應該專(zhuān)注于設計更有效的模型,比如利用稀疏性或包括檢索來(lái)減少模型。此外,他們應該報告他們的能源消耗和碳影響。這不僅會(huì )鼓勵超越模型質(zhì)量的競爭,而且還可以確保對他們的工作進(jìn)行正確的核算。
另外很重要的一點(diǎn)是,我們需要意識到AI的環(huán)境足跡。比如在碳中和、碳補償的項目中,應該予以考慮納入計算。
AI技術(shù)的進(jìn)步給人類(lèi)帶來(lái)了諸多便利,但也必須在發(fā)展中關(guān)注環(huán)境問(wèn)題。未來(lái)AI如何實(shí)現可持續發(fā)展,以及AI如何更好地支撐雙碳領(lǐng)域的改革,仍然還是亟需各個(gè)行業(yè)需要共同解決的問(wèn)題。
參考文獻:
1.An, J, et.al. 2023. ChatGPT: tackle the growing carbon footprint of Generative AI
2.The Salata Institute for Climate and Sustainability. Cutting the carbon footprint of future computer chips. URL:
]
3.Dilhac, M., et.al. 2018. The Ethical Risks of AI.
4.de Bolle, M. 2024. AI's carbon footprint appears likely to be alarming.URL:
021yin.com/blogs/realtime-economics /2024/ais-carbon-footprint-appears-likely-be-alarming.[Accessed: 17/07/24]
5.Heikkila, M. 2023. AI's carbon footprint is bigger than you think. URL:
021yin.com/2023/12/05/1084417/ais-carbon-footprint-is-bigger-than-you-think/. [Accessed: 17/07/24]
6.Loughborough University. 2024. "AI has a large and growing carbon footprint, but there are potential solutions on the horizon". URL:
]
7.Saenko, K. 2023. "A Computer Scientist Breaks Down Generative AI's Hefty Carbon Footprint". URL:
021yin.com/article/a-computer-scientist-breaks-down-generative-ais-hefty-carbon-footprint/. [Accessed: 17/07/24]
本文僅代表資訊,不代表平臺觀(guān)點(diǎn)。
歡迎轉發(fā)(請注明來(lái)源)。
文 | 梅雅君 (清華大學(xué) 環(huán)境學(xué)院 全球環(huán)境國際班)
審核 | Linda 橡樹(shù)
排版 | 語(yǔ)