避開(kāi)與英偉達競爭，英特爾將通過(guò)Gaudi 3打造更經(jīng)濟高效的AI系統
10月18日消息，根據外媒CRN報道稱(chēng)，英特爾已經(jīng)意識到，在與英偉達（NVIDIA）在云端AI大模型訓練方面競爭沒(méi)有優(yōu)勢，因此正通過(guò)Gaudi 3 轉向更注重經(jīng)濟高效的企業(yè)級和邊緣AI系統領(lǐng)域。
CRN稱(chēng)，英特爾將旗下最新的Gaudi 3 AI加速器定位為有價(jià)值產(chǎn)品，是市場(chǎng)上最佳性?xún)r(jià)比的產(chǎn)品。雖然從性能角度來(lái)看，Gaudi 3 沒(méi)有追上英偉達最新的GPU，但該芯片也受到了很多企業(yè)的關(guān)注，因為這些企業(yè)需要具有成本效益的 AI 系統進(jìn)行訓練，并在更大程度上推理更小的、基于任務(wù)的模型和開(kāi)源模型。
英特爾在上個(gè)月就曾宣布，AI加速器芯片是扭虧為盈的關(guān)鍵產(chǎn)品，Gaudi 3 將于 10 月在戴爾科技和超微電腦的服務(wù)器中首次亮相。預計Gaudi 3 將在第四季度晚些時(shí)候全面上市，比英特爾在 4 月份給出的第三季度上市時(shí)間有所延遲。
惠普企業(yè)預計將在 12 月推出自己的 Gaudi 3 系統。包括聯(lián)想在內的其他 OEM 的廠(chǎng)商可能也將會(huì )推出基于Gaudi 3 的系統。
在云方面，Gaudi 3 將于明年初通過(guò) IBM Cloud 上托管的服務(wù)提供，并且很快將在 Intel Tiber AI Cloud 上提供，Intel Tiber AI Cloud 是英特爾最近更名的云服務(wù)，旨在支持商業(yè)應用程序。
在最近的一次新聞發(fā)布會(huì )上，英特爾強調了其圍繞 Gaudi 3 的競爭信息，稱(chēng)與 2022 年首次亮相的英偉達H100 GPU 相比，它提供了“性?xún)r(jià)比優(yōu)勢”，尤其是在推理方面。
特別是隨著(zhù)“以推理為中心”的大語(yǔ)言模型（LMM）的推出，英特爾稱(chēng)Gaudi 3系列性能與英偉達備受歡迎的H100性能相當，尤其是在推理工作負載大幅上升的情況下。根據英特爾計算，在80億參數的Llama 3模型中，Gaudi 3比H100快約9%，性?xún)r(jià)比高80%；在Llama 2模型中，Gaudi 3速度要高19%，性?xún)r(jià)比差異則高達2倍，確實(shí)令人印象深刻。
雖然英特爾Gaudi 3在這兩項LLM測試表現優(yōu)于英偉達H100和H200，但在FB16和FP8格式的浮點(diǎn)運算的測試中，表現仍不如H100。Gaudi 3 可以針對每種格式執行每秒 1835 萬(wàn)億次浮點(diǎn)運算 （TFLOPS），而 H100 的 BF16 可以達到 1979 TFLOPS，FP8 可以達到 3958 TFLOPS。
這也表明，英特爾AI芯片在計算力方面仍然存在不足，更何況英偉達新一代更強的Blackwell GPU即將上市，還有AMD等人工智能計算領(lǐng)域的強有力的競爭對手的競爭。AMD上漲宣布，其即將推出的 Instinct MI325X GPU 在推理工作負載方面的性能可以超過(guò)英偉達的 H200，并誓言其下一代 MI350 芯片將性能提高一個(gè)數量級。
因此，英特爾決定不參與主流的AI模型訓練市場(chǎng)競爭，不打算在該領(lǐng)域與英偉達的GPU正面交鋒。
轉換賽道
在接受 CRN 采訪(fǎng)時(shí)，英特爾 AI 加速部門(mén)負責人 Anil Nanduri 表示，到目前為止，圍繞訓練 AI 模型的基礎設施的購買(mǎi)決策主要基于性能而不是成本，這一趨勢在很大程度上使英偉達受益，它使該公司能夠在 AI 開(kāi)發(fā)人員中建立起強大的生態(tài)。反過(guò)來(lái)看，開(kāi)發(fā)人員對英偉達的全套技術(shù)進(jìn)行了大量投資，以構建他們的應用程序，從而也提高了他們將開(kāi)發(fā)轉移到另一個(gè)平臺的難度和成本。
“如果你在那個(gè)背景下思考，就會(huì )發(fā)現一個(gè)現有的好處，即所有的前沿模型研究、所有功能都是在事實(shí)上的平臺上開(kāi)發(fā)的，你正在構建它，你正在研究它，你本質(zhì)上也在潛意識中優(yōu)化它。然后使該端口轉移到 不同的平臺 是一項工作。”Nanduri 說(shuō)。
至少目前，像 Meta 和 Microsoft 這樣的超大規模企業(yè)在超強大的 AI 數據中心基礎設施上投入大量資金以推動(dòng)尖端功能，而無(wú)需立即產(chǎn)生利潤，這可能是有意義的。例如，據 CNBC 和其他出版物上個(gè)月報道，OpenAI 今年的收入為 36 億美元，預計今年將產(chǎn)生 50 億美元的虧損，其中一部分與服務(wù)有關(guān)。
但許多企業(yè)負擔不起此類(lèi)投資并接受此類(lèi)損失。Nanduri 稱(chēng)，他們可能也不需要大規模的 AI 模型來(lái)回答遠遠超出其關(guān)注領(lǐng)域的主題的問(wèn)題。“我們開(kāi)始看到的世界是，人們正在質(zhì)疑 投資回報、成本、電力和其他一切。但我們認為，客戶(hù)真的想要一個(gè)無(wú)所不知的巨型模型嗎？”Nanduri 說(shuō)。
Nanduri 認為，對于許多企業(yè)來(lái)說(shuō)，答案是否定的，他們會(huì )將選擇更小、基于特定任務(wù)的模型，這些模型具有更輕的性能需求。雖然從正面性能的角度來(lái)看，Gaudi 3 “沒(méi)有趕上”英偉達的最新 GPU，但加速器芯片非常適合為代表企業(yè)運行基于任務(wù)的模型和開(kāi)源模型提供更具經(jīng)濟效益的系統，而這正是英特爾的“傳統優(yōu)勢”所在。
“對于我們有很多牢固關(guān)系的企業(yè)來(lái)說(shuō)，他們并不是 AI 的第一批快速采用者。他們實(shí)際上對如何部署都非常深思熟慮。所以我認為這就是促使我們評估產(chǎn)品市場(chǎng)契合度以及我們的客戶(hù)群的原因，我們傳統上在這些領(lǐng)域有著(zhù)牢固的關(guān)系。”他說(shuō)。
今年年初成為英特爾數據中心和人工智能集團負責人的 前HPE 資深人士賈斯汀·霍塔德 （Justin Hotard） 表示，他和其他領(lǐng)導者在聽(tīng)到企業(yè)客戶(hù)想要更經(jīng)濟的人工智能系統后確定了這一戰略，這有助于讓英特爾相信此類(lèi)產(chǎn)品可能有很大的市場(chǎng)。
“我們覺(jué)得我們在產(chǎn)品方面所處的位置、參與的客戶(hù)、我們正在解決的問(wèn)題，這就是我們的賽道。可以肯定的是，市場(chǎng)將在那個(gè)領(lǐng)域開(kāi)放，并且會(huì )有一群人構建自己的推理解決方案，”他在新聞發(fā)布會(huì )上回答 CRN 的問(wèn)題時(shí)說(shuō)。
在今年 8 月的一次金融會(huì )議上，英特爾CEO帕特·基辛格也承認，該公司不會(huì )“很快與高端AI訓練競爭”，其競爭對手已經(jīng)“遙遙領(lǐng)先”，因此英特爾將押注于企業(yè)和邊緣的 AI 部署。
“如今，70% 的計算是在云中完成的。80% 以上的數據仍保留在本地或由企業(yè)控制。仔細想想，這是一個(gè)非常鮮明的對比。因此，任務(wù)關(guān)鍵型業(yè)務(wù)數據已經(jīng)到此為止，對 AI 的所有熱情都已到此為止。我會(huì )爭辯說(shuō)，過(guò)去 25 年的云數據還沒(méi)有轉移到云中，我也不認為它會(huì )轉移到云中，”他在德意志銀行分析師會(huì )議上這樣說(shuō)道。
押注開(kāi)放生態(tài)系統
英特爾還希望通過(guò)跨硬件基礎設施、軟件平臺和應用程序采用開(kāi)放式生態(tài)系統方法來(lái)幫助 Gaudi 3 贏(yíng)得客戶(hù)。英特爾的高管們表示，這與英偉達的“圍墻花園”戰略形成鮮明對比。
英特爾數據中心和人工智能事業(yè)部產(chǎn)品管理副總裁 Saurabh Kulkarni表示，客戶(hù)和合作伙伴可以選擇將 Gaudi 3 從一個(gè)具有 8 個(gè)加速器芯片的系統擴展到一個(gè)具有 8000 多個(gè)芯片的 1024 節點(diǎn)集群，中間有多個(gè)配置選項，所有這些都意味著(zhù)不同的性能水平。
他說(shuō)，為了實(shí)現硬件生態(tài)系統，英特爾正在通過(guò)為 OEM 提供參考架構和設計來(lái)降低使用門(mén)檻，“然后可以將其用作我們的客戶(hù)以模塊化方式復制和構建基礎設施的藍圖”。
這些參考架構將由各種開(kāi)放標準提供支持，從用于連接的以太網(wǎng)和 PCIe 到用于分布式存儲的 DAOS 和用于編程的 SYCL，英特爾表示這有助于防止供應商鎖定。
在軟件方面，英特爾高管 Bill Pearson 表示，該公司的開(kāi)放方法意味著(zhù)合作伙伴和客戶(hù)可以從不同供應商的各種工具中進(jìn)行選擇，以滿(mǎn)足 AI 系統的各種軟件需求。他將此與英偉達的方法進(jìn)行了對比，后者創(chuàng )建了許多僅適用于英偉達自己GPU的工具。
“我們不是創(chuàng )建客戶(hù)或開(kāi)發(fā)人員可能需要的所有工具，而是依靠我們的生態(tài)系統合作伙伴來(lái)做到這一點(diǎn)。我們與他們合作，然后幫助客戶(hù)選擇對他們的特定企業(yè)有意義的產(chǎn)品。”英特爾數據中心和 AI 集團軟件副總裁 Pearson 說(shuō)。
這種開(kāi)放式生態(tài)系統軟件方法的一個(gè)關(guān)鍵方面是企業(yè) AI 開(kāi)放平臺 （OPEA），該組織于今年早些時(shí)候在 Linux 基金會(huì )下成立，旨在作為可用于 AI 系統的微服務(wù)的基礎。該小組的成員包括 AMD、英特爾 和 Rivos 等芯片公司，以及各種軟件提供商，包括 VMware 和 Red Hat 等虛擬化提供商，以及 Domino、Clarifai 和 Intel 支持的 Articul8 等 AI 和機器學(xué)習平臺。
“當我們研究如何利用這些微服務(wù)實(shí)施解決方案時(shí)，堆棧的每個(gè)組件都有多個(gè)產(chǎn)品/服務(wù)，因此您需要非常具體地說(shuō)明什么最適合您的產(chǎn)品/服務(wù)。你有偏好嗎？它是采購協(xié)議嗎？這是技術(shù)偏好嗎？有關(guān)系偏好嗎？”
“然后客戶(hù)可以選擇對他們的業(yè)務(wù)有意義的部分、組件和成分。對我來(lái)說(shuō)，這是我們開(kāi)放式生態(tài)系統最好的一點(diǎn)，就是我們不會(huì )把答案交給你。相反，我們?yōu)槟峁┕ぞ?，讓您選擇最佳答案，“他補充道。
英特爾面向 AI 系統的軟件方法的關(guān)鍵是專(zhuān)注于檢索增強生成 （RAG），它允許 LLM 對專(zhuān)有企業(yè)數據執行查詢(xún)，而無(wú)需微調或重新訓練這些模型。
“這最終使組織能夠更快、更經(jīng)濟高效地定制和啟動(dòng) GenAI 應用程序，”P(pán)earson 說(shuō)。
為了幫助客戶(hù)設置基于 RAG 的 AI 應用程序，英特爾計劃在今年晚些時(shí)候推出面向企業(yè) RAG 的英特爾 AI，這是由英特爾和第三方開(kāi)發(fā)的解決方案目錄，將于今年年底前首次亮相。這些解決方案適用于從代碼生成和代碼轉換到內容摘要和問(wèn)答等各種使用案例。
Pearson 表示，英特爾“具有獨特的優(yōu)勢”，可以利用英特爾和合作伙伴開(kāi)發(fā)的技術(shù)解決企業(yè)在部署基于 RAG 的人工智能基礎設施時(shí)面臨的挑戰，這些技術(shù)從配備 OEM 的 Gaudi 和 Xeon 芯片的經(jīng)過(guò)驗證的服務(wù)器開(kāi)始，包括軟件優(yōu)化、矢量數據庫和嵌入模型、管理和編排軟件、OPEA 微服務(wù)和 RAG 軟件。
“所有這些都使企業(yè)客戶(hù)能夠輕松實(shí)施基于英特爾 AI for Enterprise RAG 的解決方案，”他說(shuō)。
渠道將成為 Gaudi 3 勝出的“關(guān)鍵”
在上周接受 CRN 采訪(fǎng)時(shí)，英特爾公司副總裁兼美洲銷(xiāo)售組織和全球客戶(hù)總經(jīng)理 Greg Ernst 表示，渠道合作伙伴對于將基于 Gaudi 3 的系統送到客戶(hù)手中至關(guān)重要。
Ernst 表示，為了讓英特爾達到這一點(diǎn)，這家芯片制造商需要 Gaudi 3 獲得服務(wù)器供應商的廣泛支持，“像 World Wide Technology 這樣的合作伙伴可以真正團結起來(lái)”。他補充說(shuō)，英特爾”與合作伙伴一起在如何銷(xiāo)售產(chǎn)品和實(shí)施產(chǎn)品支持方面做了大量學(xué)習”。
“現在我們已經(jīng)為規?；龊昧甩?準備，合作伙伴將成為其中的關(guān)鍵，”他說(shuō)。
IBM Cloud 產(chǎn)品和行業(yè)平臺總經(jīng)理 Rohit Badlaney 告訴 CRN，該公司的“構建”獨立軟件供應商 （ISV） 合作伙伴、增值分銷(xiāo)商和全球系統集成商是 IBM 計劃銷(xiāo)售基于 Gaudi 3 的云服務(wù)的三種主要方式，這些服務(wù)將主要圍繞其 Watson AI 平臺。
“我們有一個(gè)完整的銷(xiāo)售生態(tài)系統團隊，他們將專(zhuān)注于構建 ISV，包括嵌入和構建我們的 Watson 平臺，現在我們的 Red Hat 開(kāi)發(fā)人員堆棧正在進(jìn)行同樣的努力，”他在上個(gè)月的英特爾新聞發(fā)布會(huì )上說(shuō)。
Badlaney 表示，IBM Cloud 已經(jīng)測試了英特爾對 Gaudi 3 的“性?xún)r(jià)比優(yōu)勢”聲明，并對他們的發(fā)現印象深刻。
“當我們查看 Gaudi 3 的功能時(shí)，特別是我們的 watsonx 數據和 AI 平臺，從成本效益的角度來(lái)看，它在我們的測試中確實(shí)與眾不同。因此，我們將將其應用于的第一組用例是圍繞我們自己的品牌模型和我們看到的其他一些模型進(jìn)行推理，“他說(shuō)。
戴爾企業(yè)戰略高級副總裁 Vivek Mohindra 表示，通過(guò)將 Gaudi 3 納入其 PowerEdge XE9680 產(chǎn)品組合，他的公司為合作伙伴和客戶(hù)提供了替代采用英特爾競爭對手加速器芯片的系統的機會(huì )。他補充說(shuō)，戴爾用于管理高性能計算和 AI 工作負載的 Omnia 軟件與 OPEA 微服務(wù)配合良好，為企業(yè)提供了一個(gè)部署新基礎設施的“簡(jiǎn)單按鈕”。
他在英特爾的新聞發(fā)布會(huì )上說(shuō)：“它也為客戶(hù)提供了一個(gè)選擇，然后在軟件上，我們的 Omnia 堆?？梢耘c [英特爾的] OPA 互操作，這為客戶(hù)提供了相對容易地采用和擴展它的巨大能力。”
總部位于伊利諾伊州諾斯布魯克的系統集成商 International Computer Concepts 的首席技術(shù)官 Alexey Stolyar 告訴 CRN，他的公司開(kāi)始圍繞 Gaudi 3 進(jìn)行高級培訓課程，他可以看到需要由此類(lèi)芯片實(shí)現經(jīng)濟高效的 AI 系統，這主要是因為訓練或微調大型模型需要多少功率。
“你會(huì )發(fā)現，世界上很多地方都將關(guān)注比這些巨大的模型更小、更高效、更精確的模型。大型企業(yè)擅長(cháng)一般任務(wù)，但不擅長(cháng)非常具體的任務(wù)。企業(yè)將開(kāi)始開(kāi)發(fā)自己的模型或微調特定的開(kāi)源模型，但它們將變得更小，效率更高，“他說(shuō)。
Stolyar 說(shuō)，雖然 International Computer Concepts 尚未開(kāi)始主動(dòng)與客戶(hù)討論 Gaudi 3 系統，但一位客戶(hù)已經(jīng)與他的公司接洽，為客戶(hù)計劃針對特定工作負載銷(xiāo)售的交鑰匙設備開(kāi)發(fā) Gaudi 3 系統，因為基準測試表明該芯片表現良好。
然而，這位解決方案提供商高管也指出，他不確定 Gaudi 3 代表著(zhù)多大的機會(huì )，并補充說(shuō)，英特爾的成功將在很大程度上取決于 Gaudi 3 系統相對于由英偉達芯片和軟件提供支持的系統易用性。
“我認為客戶(hù)想要其他選擇。我認為擁有良好的競爭是好的，但在這種易用性出現之前，它不會(huì )發(fā)生。英偉達已經(jīng)這樣做了一段時(shí)間。他們一直在那個(gè)生態(tài)系統中微調他們的軟件包等，“他說(shuō)。
一家解決方案提供商的一位高級領(lǐng)導告訴 CRN，他的公司與英特爾代表的對話(huà)給他的印象是，這家芯片制造商并不尋求與英偉達正面交鋒，而是希望贏(yíng)得 AI 市場(chǎng)的一定“百分比”。
“他們一直在談?wù)?Gaudi 3 很長(cháng)一段時(shí)間：嘿，這將是我們的目標。我們要競爭。但我認為他們也帶著(zhù)一些溫和的期望進(jìn)來(lái)。比如，讓我們在這個(gè)市場(chǎng)中競爭。我們本身不會(huì )與英偉達正面交鋒，但我們可以解決其中的一些問(wèn)題并為客戶(hù)提供選擇。讓我們挑選出五個(gè)客戶(hù)，去和他們談?wù)?，”這位不愿透露姓名的高管說(shuō)，他要求坦率地談?wù)撍渑c英特爾的合作。
這位解決方案提供商負責人表示，他確實(shí)認為像由 Gaudi 3 提供支持的具有成本效益的 AI 系統可能會(huì )有市場(chǎng)，因為他從客戶(hù)那里聽(tīng)說(shuō)，他們越來(lái)越意識到高昂的 AI 基礎設施成本。
“從某種程度上講，當你采取這種方法時(shí)，你承認別人已經(jīng)贏(yíng)了。但如果它做到了別人沒(méi)有做到的這些事情（高性?xún)r(jià)比），你不考慮它就是個(gè)傻瓜，因為它會(huì )為你節省金錢(qián)、電力和其他一切。但這不是一種接管世界的策略，“他說(shuō)。
編輯：芯智訊-浪客劍 來(lái)源：CRN
