硅谷AI保衛戰打響！最強4050億開(kāi)源模型Llama 3.1上線(xiàn)，OpenAI：GPT-4o mini免費用｜鈦媒體AGI
（圖片來(lái)源：Meta AI）
就在今天凌晨，Meta和OpenAI打響了硅谷 AI 大模型保衛戰。
鈦媒體App 7月24日報道，美國科技巨頭Meta今晨推出迄今為止性能最強大的開(kāi)源大模型——Llama 3.1 405B（4050億參數），同時(shí)發(fā)布了全新升級的Llama 3.1 70B和8B模型版本。
Llama 3.1 405B支持上下文長(cháng)度為128K Tokens，在基于15萬(wàn)億個(gè)Tokens、超1.6萬(wàn)個(gè)H100 GPU吉印通行訓練，這也是Meta有史以來(lái)第一個(gè)以這種規模進(jìn)行訓練的Llama模型。研究人員基于超150個(gè)基準測試集的評測結果顯示，Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業(yè)界頭部模型相比較。
Meta創(chuàng )始人、首席執行官馬克·扎克伯格 (Mark Zuckerberg) 稱(chēng)Llama 3.1為“最先進(jìn)的”模型，他認為Meta正在建造的 Llama 模型是世界上最先進(jìn)的，且表示Meta 已經(jīng)在開(kāi)發(fā) Llama 4。甚至扎克伯格還親自寫(xiě)了篇長(cháng)文《Open Source AI Is the Path Forward》，發(fā)出了“開(kāi)源引領(lǐng) AI 行業(yè)、新時(shí)代”的聲音。
但與此同時(shí)，OpenAI坐不住了。就在今晨，OpenAI宣布，今年9月23日之前，性能最強的小模型GPT-4o mini微調版全面免費，GPT-4o mini的輸入Tokens費用比GPT-3.5 Turbo低90%，輸出Tokens費用低80%。
一場(chǎng)在美國硅谷的 AI 大模型軍備競賽已經(jīng)進(jìn)入白熱化。
全球性能最強4050億開(kāi)源大模型Llama 3.1來(lái)了，算力成本高達數億美金
具體來(lái)說(shuō)，MetaLlama 3.1 405B，是全球迄今為止性能最強大、參數規模最大的開(kāi)源模型，在基于15萬(wàn)億個(gè)Tokens、超1.6萬(wàn)個(gè)H100 GPU吉印通行訓練。
Meta表示，為了能夠以這種規模進(jìn)行訓練并在合理的時(shí)間內取得成果，團隊顯著(zhù)優(yōu)化了整個(gè)訓練堆棧，并將模型訓練推向超過(guò) 16,000 個(gè) H100 GPU，使 405B 成為第一個(gè)以這種規模訓練的 Llama 模型。
同時(shí)，與之前的 Llama 版本相比，Llama 3.1提高了用于訓練前和訓練后的數據的數量和質(zhì)量。這些改進(jìn)包括為訓練前數據開(kāi)發(fā)更仔細的預處理和管理流程、開(kāi)發(fā)更嚴格的質(zhì)量保證以及訓練后數據的過(guò)濾方法。
另外，為了支持 405B 規模模型的大規模生產(chǎn)推理，團隊還將模型從 16 位 (BF16) 量化為 8 位 (FP8) 數字，有效降低了所需的計算要求并允許模型在單個(gè)服務(wù)器節點(diǎn)內運行。
而且，Meta評估了超150個(gè)基準數據集的性能，Llama 3.1 405B在常識、可操作性、數學(xué)、工具使用和多語(yǔ)言翻譯等一系列任務(wù)中，可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra相媲美。
在其他場(chǎng)景中，Llama 3.1 405B進(jìn)行了與人工評估的比較，其總體表現優(yōu)于GPT-4o和Claude 3.5 Sonnet。另外，升級后的Llama 3.1 8B和70B模型，相比于同樣參數大小的模型性能表現也更好。
Meta透露，其更新了許可證，允許開(kāi)發(fā)人員首次使用包括405B參數規模的Llama模型的輸出來(lái)改進(jìn)其他模型。截至目前，已經(jīng)有超過(guò)25個(gè)企業(yè)推出了基于Llama 3.1開(kāi)源版本的新模型。其中，亞馬遜AWS、Databricks和英偉達正在推出全套服務(wù)，AI芯片創(chuàng )企Groq等為Meta此次發(fā)布的所有新模型構建了低延遲、低成本的推理服務(wù)，而Scale AI、戴爾等公司已準備好幫助企業(yè)采用Llama模型并使用自己的數據訓練定制模型。
扎克伯格認為，Llama 會(huì )成為開(kāi)源 AI 的行業(yè)標桿，就像當年的 Linux 一樣。Llama 3.1 405B不僅是最強開(kāi)源模型，還有望實(shí)現開(kāi)源和閉源距離大大縮短的模型技術(shù)。
算力層面，Meta 在 AI 方面的投資一直很大。扎克伯格表示，Meta 的 Llama 3 模型的訓練計算能力花費了“數億美元”，但他預計未來(lái)的模型成本會(huì )更高。他說(shuō)，“展望未來(lái)，計算能力將達到數十億美元”。
2023 年，Meta 試圖控制其在未來(lái)技術(shù)和管理層上的部分支出，在扎克伯格稱(chēng)之為“效率年”的一年中削減了數千個(gè)工作崗位。但扎克伯格仍然愿意在 AI 軍備競賽上花錢(qián)。
Meta 在 4 月份告訴投資者，今年計劃花費比最初預期多數十億美元的資金，其中一個(gè)核心原因是對 AI 的投資。據公司博客文章稱(chēng)，預計到今年年底，該公司將擁有約 350,000 個(gè)英偉達H100 GPU。而H100 芯片已成為用于訓練 Llama、GPT-4等大模型的基礎技術(shù)成本，每個(gè)芯片的成本可能高達數萬(wàn)美元。
值得一提的是，Meta還宣布使用其 Llama 模型作為Meta AI提供支持，該機器人將在其應用（包括 Instagram 和 WhatsApp）內也作為獨立產(chǎn)品支持運行。
而且，Meta AI也適用于雷朋Meta智能眼鏡，并將于下個(gè)月在美國和加拿大的Meta Quest上以實(shí)驗模式推出。Meta AI將取代Quest上當前的語(yǔ)音命令，讓用戶(hù)可以免提控制耳機、獲取問(wèn)題的答案、隨時(shí)了解實(shí)時(shí)信息、查看天氣等。
用戶(hù)還可以將Meta AI與在頭顯中看到的視圖結合使用，比如詢(xún)問(wèn)其在物理環(huán)境中看到的事物相關(guān)情況。
扎克伯格表示，Meta AI擁有“數億”用戶(hù)，并預計到今年年底它將成為世界上使用最廣泛的聊天機器人。另外，他認為，Meta 之外的其他人將使用 Llama 來(lái)訓練他們自己的 AI 模型。
扎克伯格還公布公開(kāi)信，直言開(kāi)源對開(kāi)發(fā)者、Meta、世界都更有利，使得與OpenAI之間的開(kāi)源、閉源大模型之間的火藥味更濃了。
扎克伯格提到，開(kāi)源與閉源模型之間的差距正在逐漸縮小。他預計，從明年開(kāi)始，Llama模型將成為業(yè)內最先進(jìn)的模型。并且當下Llama系列模型已經(jīng)在開(kāi)放性、可修改性和成本效益方面處于領(lǐng)先地位。
在博客中，他還回答了為什么開(kāi)源AI對開(kāi)發(fā)者有利、為什么開(kāi)源AI對Meta有利、為什么開(kāi)源AI對世界有利這三大問(wèn)題。
為什么開(kāi)源AI對開(kāi)發(fā)者有利？開(kāi)發(fā)者需要訓練、微調自己的模型，以滿(mǎn)足各自的特定需求；開(kāi)發(fā)者需要掌控自己的命運，而不是被一家封閉的供應商所束縛；開(kāi)發(fā)者需要保護自己的數據；開(kāi)發(fā)者需要高效且運行成本低廉的模型；開(kāi)發(fā)者希望投資于將成為長(cháng)期標準的生態(tài)系統。
開(kāi)源AI對Meta的好處在于，Meta的商業(yè)模式是為人們打造最佳體驗和服務(wù)，要做到這一點(diǎn)，他認為必須確保其始終能夠使用最佳技術(shù)，并且不會(huì )陷入競爭對手的封閉生態(tài)系統。另外，出售AI模型訪(fǎng)問(wèn)權限不是Meta的商業(yè)模式，這意味著(zhù)開(kāi)源不會(huì )削減其收入、可持續性發(fā)展或繼續投資研究的能力。
開(kāi)源 AI 對世界有利。開(kāi)源AI會(huì )促使Meta將Llama發(fā)展為一個(gè)完整的生態(tài)系統，并有成為行業(yè)標準的潛力。我認為，開(kāi)源對于 AI 的美好未來(lái)必不可少。與任何其他現代技術(shù)相比，AI 更具有潛力提高人類(lèi)的生產(chǎn)力、創(chuàng )造力和生活質(zhì)量，并加速經(jīng)濟增長(cháng)，同時(shí)推動(dòng)醫學(xué)和科學(xué)研究的進(jìn)步。關(guān)于開(kāi)源AI模型安全性的爭論，我認為是開(kāi)源AI將比其他選擇更安全。開(kāi)源將確保全世界更多的人能夠享受 AI 帶來(lái)的好處和機會(huì )，權力不會(huì )集中在少數公司手中，并且該技術(shù)可以更均勻、更安全地應用于整個(gè)社會(huì )。
然而，盡管承諾開(kāi)放 Llama，但扎克伯格和其他公司高管仍對用于訓練 Llama 3.1 的數據集保密。
“盡管它是開(kāi)放的，但我們也是為自己設計的，”他解釋道。扎克伯格表示，Meta 正在使用來(lái)自 Facebook 和 Instagram 的公開(kāi)用戶(hù)帖子，以及該公司從其他公司獲得許可的其他“專(zhuān)有”數據集，但沒(méi)有透露具體細節。
對于中國大模型與美國 AI 之間的競爭，扎克伯格強調，美國在 AI 發(fā)展方面永遠領(lǐng)先中國數年是不現實(shí)的。但他也指出，即使是幾個(gè)月的微小領(lǐng)先也會(huì )隨著(zhù)時(shí)間的推移而“積少成多”，從而使美國獲得“明顯優(yōu)勢”。
“美國的優(yōu)勢是去中心化和開(kāi)放式創(chuàng )新。有些人認為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認為這行不通，只會(huì )讓美國及其盟友處于不利地位。一個(gè)只有封閉模式的世界，會(huì )導致少數大公司和我們的地緣政治對手能夠獲得領(lǐng)先的模式，而初創(chuàng )公司、大學(xué)和小企業(yè)則錯失機會(huì )。此外，將美國創(chuàng )新限制在封閉開(kāi)發(fā)中，增加了我們完全無(wú)法領(lǐng)先的可能性。相反，我認為我們最好的策略是建立一個(gè)強大的開(kāi)放生態(tài)系統，讓我們的領(lǐng)先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進(jìn)展，并在長(cháng)期內實(shí)現可持續的先發(fā)優(yōu)勢。”扎克伯格表示。
OpenAI搶斷Meta，直言要把 AI 模型價(jià)格打到0
在Meta公布Llama 3.1兩個(gè)多小時(shí)之后，OpenAI也釋放了一則重要消息：剛剛發(fā)布的GPT-4o mini微調版免費了。
OpenAI表示，今天，公司推出了GPT-4o mini微調功能，讓其新的小模型在特定用例中的表現更加出色。同時(shí)，從現在起直到9月23日，GPT-4o mini每天可以免費微調，最高可達200萬(wàn)訓練Tokens。超過(guò)200萬(wàn)訓練Tokens的部分將按每百萬(wàn)Tokens 3.00美元收費。而從9月24日開(kāi)始，微調訓練將按每百萬(wàn)Tokens 3.00美元收費。
OpenAI指出，如果你目前正在微調GPT-3.5 Turbo，GPT-4o mini則更加實(shí)惠，擁有更長(cháng)的上下文，以及更強的技術(shù)能力。
更實(shí)惠：GPT-4o mini的輸入Tokens費用比GPT-3.5 Turbo低90%，輸出Tokens費用低80%。即使在免費期結束后，GPT-4o mini的訓練成本也比GPT-3.5 Turbo低一半。
更長(cháng)的上下文：GPT-4o mini的訓練上下文長(cháng)度為65k Tokens，是GPT-3.5 Turbo的四倍，推理上下文長(cháng)度為128k Tokens，是GPT-3.5 Turbo的八倍。
更聰明且更有能力：GPT-4o mini比GPT-3.5 Turbo更聰明，并且支持視覺(jué)功能（盡管目前微調僅限于文本）。GPT-4o mini微調功能向企業(yè)客戶(hù)和Tier 4及Tier 5使用等級的其他開(kāi)發(fā)者開(kāi)放。你可以訪(fǎng)問(wèn)微調儀表板，點(diǎn)擊“創(chuàng )建”，并從基模型下拉菜單中選擇“gpt-4o-mini-2024-07-18”來(lái)開(kāi)始免費微調GPT-4o mini。
奧爾特曼發(fā)推文表示，GPT-4o mini 以 1/20 的價(jià)格在 lmsys 上實(shí)現了與 GPT-4o接近的性能表現。他還希望大家能夠多多使用GPT-4o mini微調版本。
當前，一場(chǎng)關(guān)于開(kāi)源和閉源大模型的硅谷 AI 價(jià)格戰持續延燒。
從Meta Llama 3.1系列模型的發(fā)布，可以看出開(kāi)、閉源大模型之間的差距正在縮小，而且，相比于此前的Llama模型，此次新模型還讓盡可能多的開(kāi)發(fā)人員和合作伙伴使用Llama系列，這意味著(zhù)更多的問(wèn)題將隨著(zhù)不斷更新得到解決。但是，到場(chǎng)景和應用中，開(kāi)源模型的具體能力、適用的商業(yè)化落地等還需要時(shí)間來(lái)證明。
不過(guò)，有分析認為，Llama 3.1 405B的價(jià)格遠遠低于GPT-4同一模型能力的版本。因此，OpenAI正在面臨一系列的挑戰。
Llama 3.1 405B 在不同平臺的價(jià)格: Fireworks: $3 input / $3 output / 1M tokens Together: $5 in / $15 out Replicate: $9.5 in / $9.5 out Groq: 僅支持企業(yè)用戶(hù)
對比一下： GPT-4o: $5 in / $15 out Claude 3.5 sonnet: $3 in / $15 out
調研機構FutureSearch日前發(fā)布一份關(guān)于OpenAI收入的報告文件稱(chēng)，OpenAI現在的年度經(jīng)常性收入（ARR）達到34億美金，但其中，一半以上的收入來(lái)自ChatGPT會(huì )員付費，而偏向企業(yè)和開(kāi)發(fā)者端的API收入僅為5.1億美元，占比僅為15%左右。
對于GPT-5，奧爾特曼表示，開(kāi)發(fā)“GPT-5”還需要一些時(shí)間，這個(gè)模型可能仍處于早期開(kāi)發(fā)階段。但相較于GPT-4 而言，GPT-5將是“巨大飛躍”。
“我們目前持樂(lè )觀(guān)態(tài)度，但還有很多工作要做。”奧爾特曼進(jìn)一步解釋稱(chēng)，GPT-5有復雜的算法工作需要處理。“我希望它能取得重大飛躍。GPT-4經(jīng)常犯很多錯誤，比如在推理方面表現不佳，有時(shí)還會(huì )完全跑偏，犯下低級錯誤，就像連一個(gè)六歲孩子都不會(huì )犯的一樣。”
（本文首發(fā)于鈦媒體App，作者｜林志佳，編輯｜胡潤峰）
