深度丨昂貴的ChatGPT背后

做 者丨江月

編 輯丨陶力

當人們驚訝于ChatGPT的伶俐時(shí)，不要忽略它的高貴。那款應用的走紅，正把科技投資推向更高的山岳，資金和智力還要更集中地涌向GPU等硬件賽道。因為大模子持續迭代晉級、應用加速延伸以及云辦事器急需擴容，AI芯片的掘金人正在聚集。

2月9日，21世紀經(jīng)濟報導記者在采訪(fǎng)中領(lǐng)會(huì )到，ChatGPT的爆火令AI芯片開(kāi)發(fā)者意識到，性能合作還將向進(jìn)一步白熱化開(kāi)展，“高貴”的烙印越打越深，大語(yǔ)言模子的單次迭代硬件成本在打破*000萬(wàn)人民幣程度后，還在向更高攀爬。在市場(chǎng)格局方面，狂熱的市場(chǎng)可能會(huì )令海外壟斷進(jìn)一步加劇。

亦有國產(chǎn)GPU創(chuàng )業(yè)人士向記者暗示，國產(chǎn)通用型GPU開(kāi)發(fā)仍在繼續，并希望借助此次財產(chǎn)鏈協(xié)同實(shí)現打破。

AI芯片加速研發(fā)

2022年11月*0日上線(xiàn)的ChatGPT，于短短兩個(gè)月內獲得1億用戶(hù)，是芯片范疇在202*年面對的第一個(gè)重要課題。記者從多家國產(chǎn)運算芯片開(kāi)發(fā)商處領(lǐng)會(huì )到，芯片研發(fā)者正高度存眷ChatGPT的市場(chǎng)吸引力，很多公司將其做為研究課題組織專(zhuān)門(mén)研究，以求及時(shí)掌握相關(guān)商機。

“ChatGPT應該是基于GPT-*下一代模子，也就是市道上傳說(shuō)風(fēng)聞的GPT-*.5推出的?！痹谝患页雒麌a(chǎn)GPU開(kāi)發(fā)商擔任產(chǎn)物司理的陸明向21世紀經(jīng)濟報導記者介紹，他近期努力于對ChatGPT的課題研究。

芯片研發(fā)商存眷ChatGPT，既因為那可能會(huì )改動(dòng)產(chǎn)物定義，也因為預期市場(chǎng)對AI芯片的采購會(huì )迎來(lái)增量。據介紹，ChatGPT的背后模子是GPT(Generative Pre-Training，生成式預訓練模子)，GPT那個(gè)名字展示了那款模子偏向“生成文本和代碼”的屬性。陸明指出，GPT至今已經(jīng)公開(kāi)了三次迭代，期間，因為GPU芯片的飛速開(kāi)展，三次迭代之間具有“時(shí)間短、性能增速快”的特點(diǎn)。

細數之下，第一代GPT-1降生于2018年*月，訓練參數量為1.2億個(gè)，數據庫規模為5GB；僅時(shí)隔半年之后，第二代GPT-2降生于2019年2月，訓練參數量為15億個(gè)，數據庫規模為40GB；第三代GPT-*降生于2020年5月，訓練參數量飛躍至1750億個(gè)，數據庫規模到達45TB。能夠看到，第三代模子較第二代的訓練參數增長(cháng)超越100倍，數據庫規模則增長(cháng)超越1000倍。

近年來(lái)，從AI標的目的切入GPU開(kāi)發(fā)，成為了很多中外創(chuàng )業(yè)者的選擇。無(wú)論是在美國仍是中國市場(chǎng)，創(chuàng )業(yè)型GPU開(kāi)發(fā)商往往能成為本錢(qián)的寵兒。不外，因為科技巨頭自從去年第四時(shí)度起頭財政表示下滑，硬件行業(yè)投資也隨之降溫。不外202*年伊始，ChatGPT又給行業(yè)帶來(lái)了新的話(huà)題。

眼下，ChatGPT的爆火正呼喚更強性能GPU的面世，而那將促使資金加快流入行業(yè)?！跋乱淮竽Ｗ拥膮盗亢蛿祿煲幠?，還將比上一代實(shí)現百倍、千倍的晉級，那意味著(zhù)若是底層的芯片性能行步不前，就會(huì )令訓練時(shí)長(cháng)長(cháng)達幾年，但顯然業(yè)內需要在半年或一年內就推出下一代更強的模子?！标懨鞣Q(chēng)。

巨頭林立成本昂揚

眼下，無(wú)論是大語(yǔ)言模子開(kāi)發(fā)仍是底層芯片供給，市場(chǎng)支流玩家仍然是國際巨頭。為了在格局演變中爭奪優(yōu)勢地位，巨頭公司的“燒錢(qián)”游戲越來(lái)越旺。

21世紀經(jīng)濟報導記者從接近美國GPU龍頭開(kāi)發(fā)商英偉達的人士領(lǐng)會(huì )到，該公司恰是當前全球支流大語(yǔ)言模子開(kāi)發(fā)者的次要芯片供給商。

“英偉達正向全球支流的人工智能算法開(kāi)發(fā)商供給芯片硬件，包羅微軟、谷歌、Meta等。產(chǎn)物迭代也在有序停止中，去年推出了最新的數據中心芯片，改善了架構?！鄙鲜鋈耸糠Q(chēng)。

近期，科技巨頭爭相涌入ChatGPT的合作中，硝煙四起，但在上述人士眼中，眼下人工智能研究市場(chǎng)上的各大巨頭此前維持著(zhù)“強合做”關(guān)系。以在外界眼中正在“打架”的谷歌和微軟為例，兩者事實(shí)上都基于谷歌的Transformer架構停止大模子開(kāi)發(fā)?！安煌庠诓顒e性的應用展開(kāi)后，合作可能會(huì )晉級?！痹撊耸吭u價(jià)稱(chēng)。

想要留在ChatGPT戰場(chǎng)上，意味著(zhù)更大規模的“燒錢(qián)”。據業(yè)內預算，大語(yǔ)言模子的單次訓練硬件成本已經(jīng)打破*000萬(wàn)元人民幣，加上投入的人力、智力、訓練時(shí)間成本，各大巨頭需要籌辦百億美圓，曲到實(shí)正的市場(chǎng)贏(yíng)家勝出。

據Lambda Labs首席科學(xué)官Chuan Li介紹，擁有1750億個(gè)參數的GPT-*因其龐大的每秒浮點(diǎn)計算量，單次訓練成本到達4*0萬(wàn)美圓。陸明也向記者證明，眼下最支流的英偉達A100芯片，單次訓練的利用量應到達數百片，成本在*000萬(wàn)元人民幣擺布。此外，辦事器擴容和硬件晉級的成本也將占據相當大的比例，一方面，“自從2月7日起頭，ChatGPT因拜候量龐大，回復速度已經(jīng)大大減慢”，另一方面，“維護GPU芯片的成本也十分高，芯片利用是有壽命的，損耗幾次就要另做他用?！标懨鞣Q(chēng)。

以上還僅僅是大語(yǔ)言模子訓練的非人工成本，更大的成本集中在人力上?！暗Ｗ拥拈g隔已經(jīng)縮短到半年，招募人才、改善算法的投資會(huì )持續昂揚?！标懨鞣Q(chēng)。

本年1月2*日，微軟頒布發(fā)表將向ChatGPT開(kāi)發(fā)商O(píng)penAI逃加數百億美圓的投資，令人們覺(jué)得那些資金將涌向語(yǔ)言類(lèi)機器人。不外，OpenAI不只是ChatGPT的開(kāi)發(fā)商，旗下也擁有圖形人工智能"明星"產(chǎn)物DALL·E。業(yè)內相信，微軟將分數年、數批向ChatGPT停止后續投資，但那個(gè)范疇的“彈藥”儲蓄提拔到百億美圓已是不爭事實(shí)。

中國玩家若何參與

短短幾日，多家中國公司頒布發(fā)表參加ChatGPT戰場(chǎng)。

中國的自主研發(fā)芯片將面對如何的時(shí)機？市場(chǎng)闡發(fā)認為，國產(chǎn)運算類(lèi)芯片仍然面對嚴峻的開(kāi)展阻遏，但貿易化前景得到進(jìn)一步驗證，仍是芯片開(kāi)發(fā)者的“好動(dòng)靜”。

很多市場(chǎng)闡發(fā)認為，中國互聯(lián)網(wǎng)公司擁有海量數據，那是停止天然語(yǔ)言開(kāi)發(fā)的優(yōu)勢。不外，關(guān)心中國科技自主立異的人士有更強烈的心聲：等待那個(gè)“科技爆點(diǎn)”在中國構成更長(cháng)的財產(chǎn)鏈閉環(huán)。

海銀本錢(qián)開(kāi)創(chuàng )合伙人王煜全在2月7日發(fā)聲稱(chēng)，中國不只需要產(chǎn)生自主“大模子”，也應當在人工智能吉印通行芯片手藝的“彎道超車(chē)”。

數位處置國產(chǎn)GPU開(kāi)發(fā)的人士向21世紀經(jīng)濟報導記者暗示，在ChatGPT爆火的初步，國外芯片開(kāi)發(fā)商仍然具有龐大的優(yōu)勢，而中國芯片開(kāi)發(fā)商面對著(zhù)龐大的阻力，那是由汗青手藝積淀、市場(chǎng)關(guān)系和外部情況配合形成的。

不外，王煜全認為，在系統芯片異構計算時(shí)代，可以號召擁有數據的機構參與預訓練，然后與擁有芯片計算架構的公司深度合做，如許芯片的造造程度未必是更好，但芯片訓練的模子是更好的。他在采訪(fǎng)中建議，芯片企業(yè)、人工智能企業(yè)和應用企業(yè)三方應加強合做。

那意味著(zhù)，身處人工智能落地的龐大市場(chǎng)、擁有本土算法公司的財產(chǎn)鏈收集，國產(chǎn)芯片廠(chǎng)商仍擁有AI芯片的入場(chǎng)券。

（應受訪(fǎng)者要求，陸明為化名）

E N D

本期編纂 林海銘 練習生向添雨

21君薦讀

ChatGPT火出圈：

AI怎么看AI？我們和ChatGPT聊了聊

若是ChatGPT進(jìn)入金融圈，最有可能會(huì )在哪些崗位？

深交所告急發(fā)函！ChatGPT成多公司翻身密碼？

入局人機對話(huà)，騰訊、阿里、華為通盤(pán)出手！

出名電商頒布發(fā)表入局ChatGPT，股價(jià)飆漲124%

ChatGPT爆火，翻倍牛股告急通知布告！

ChatGPT已引起監管警覺(jué)

ChatGPT風(fēng)口A(yíng)股鏡像

ChatGPT興起AI醒覺(jué)，財產(chǎn)傾覆本錢(qián)擾動(dòng)

ChatGPT商標被多個(gè)公司搶注

“目前處于內測階段”，阿里確認