AI公司Hugging Face評估大語(yǔ)言模子碳腳印，鞭策AI研究體例的成立

大語(yǔ)言模子正在遭到各大科技公司和科研機構的鼎力推進(jìn)，操縱其能夠幫忙我們做良多工作，但一個(gè)比力容易被輕忽的點(diǎn)是，那些大模子的訓練和運行需要龐大的能量，上千億參數的模子往往需要數百萬(wàn) GPU 小時(shí)來(lái)訓練，從而會(huì )產(chǎn)生大量碳腳印。

另一個(gè)問(wèn)題是，它們的碳腳印到底有多大仍然是一個(gè)謎，對其權衡評估也還沒(méi)有一個(gè)尺度辦法。

（來(lái)源：《麻省理工科技評論》）

近日，人工智能草創(chuàng )公司 Hugging Face 對外暗示，它提出了一種新的、更好的辦法，來(lái)更切確地計算模子產(chǎn)生的碳排放量，而且是評估其整個(gè)生命周期，而不單單是訓練期間。

那可能是科技公司在評估 AI 產(chǎn)物碳腳印上邁出的一大步。相關(guān)專(zhuān)家們也在呼吁該行業(yè)更好地評估 AI 對情況的影響，那有利于更好地利用那些模子和數據。

同時(shí)，該方面的摸索還可能鞭策人們轉向更有效的 AI 研究體例，好比微調現有模子，而不是一味建造更大的模子。

關(guān)于此次工做，Hugging Face 也頒發(fā)了一篇題為《預算 1*60 億參數語(yǔ)言模子 BLOOM 的碳腳印》（Estimating the Carbon Footprint of BLOOM, a 1*6B Parameter Language Model）的論文，并于近日提交在 arXiv 預印本平臺。

該公司為測試其新辦法，估量了本年早些時(shí)候推出的大語(yǔ)言模子 BLOOM 的總排放量。那個(gè)過(guò)程涉及許多差別方面的疊加，包羅在超等計算機上訓練模子的能量、造造超等計算機硬件和維護其計算根底設備的能量，以及運行 BLOOM 所需的能量等。

研究人員最初利用了名為 Code Carbon 的軟件東西，來(lái)實(shí)時(shí)跟蹤計算 BLOOM 在 18 天內產(chǎn)生的碳排放量。并估量得出，BLOOM 訓練所產(chǎn)生的碳排放達 2* 噸，而在考慮到用來(lái)訓練的計算機設備和更普遍的計算根底設備，以及現實(shí)運行 BLOOM 所需的能量時(shí)，碳排放量增長(cháng)了一倍。

圖 | 運行 BLOOM 模子的均勻功率顛簸（來(lái)源：arXiv）

關(guān)于一個(gè)模子來(lái)說(shuō)，*0 噸的碳排放量似乎已經(jīng)良多，但值得留意的是，BLOOM 的排放量要明顯低于其他不異規模的大語(yǔ)言模子。其是在一臺由核能供給次要動(dòng)力（不會(huì )產(chǎn)生碳排放）的超等計算機上訓練的，而其他模子訓練所利用的能源更多地依賴(lài)化石燃料，污染要相對更嚴峻。

據領(lǐng)會(huì )，BLOOM 于 2022 年 * 月推出利用，Hugging Face 估量該模子每天會(huì )排放約 1* 千克的二氧化碳。

比擬之下，OpenAI 的 GPT-* （2020 年推出，1**0 億參數）和 Meta 的 OPT 模子（2022 年推出，1**0 億參數），在訓練期間別離排放了約 *00 千克和 ** 千克的二氧化碳。GPT-* 的排放量較大，一部門(mén)原因是它在較舊、效率較低的硬件吉印通行訓練的。

別的，以上數字只是基于外部估量或公司本身發(fā)布的有限數據，而實(shí)在的數據很難確定，目前沒(méi)有尺度化的辦法來(lái)權衡它們的碳排放。

Hugging Face 的目的是幫忙 AI 社區更好地領(lǐng)會(huì )大模子對情況的影響，以進(jìn)一步優(yōu)化處置碳排放問(wèn)題。

（來(lái)源：arXiv）

卡內基梅隆大學(xué)計算機科學(xué)學(xué)院助理傳授艾瑪·斯特魯貝爾（Emma Strubell）對外說(shuō)：“Hugging Face 的論文為開(kāi)發(fā) AI 模子的機構設定了新尺度，其是迄今對大模子碳腳印最徹底的闡發(fā)，比我所曉得的任何其他論文或陳述都要詳細?！?/p>

值得一提的是，雖然她沒(méi)有參與本次新研究，但其早在 201* 年就撰寫(xiě)了一篇關(guān)于 AI 對天氣影響的創(chuàng )始性論文，題為《NLP 中深度進(jìn)修的能量和政策考慮》（Energy and Policy Considerations for Deep Learning in NLP）。

能夠說(shuō)，Hugging Face 供給了目前行業(yè)急需的量化語(yǔ)言模子碳腳印的辦法。其展現出的模子在生命周期的排放量之大也讓良多人感應驚訝。不外，關(guān)于進(jìn)一步評估大語(yǔ)言模子對情況的影響，仍有一些工做需要停止。

別的，值得留意的是，領(lǐng)會(huì ) AI 模子的詳細利用也非常重要，像谷歌和 Meta 等諸多大型科技公司，會(huì )通過(guò) AI 模子來(lái)對用戶(hù)保舉內容或對評論停止分類(lèi)，那自己利用的功率很小，但每天會(huì )停止超十億次操做，那加起來(lái)就長(cháng)短常大的能量消耗。

通過(guò)更好地領(lǐng)會(huì ) AI 的能源消耗量，可便利公司和開(kāi)發(fā)人員在污染和成本之間做出更好的權衡，以在開(kāi)發(fā) AI 模子的同時(shí)盡更大程度較少相關(guān)碳腳印。

天氣變革是人類(lèi)目前面對的更大挑戰之一，其影響著(zhù)世界各地的生態(tài)系統和人們的日常生活，評估和削減各行業(yè)的碳排放是減輕天氣影響的重要部門(mén)。

在論文最初，研究人員還討論了切確估量機器進(jìn)修模子的碳腳印的難度和將來(lái)有助于改善碳排放的研究標的目的。

參考材料：

021yin.com/2022/11/14/106*1*2/were-getting-a-better-idea-of-ais-true-carbon-footprint/