自定義Llama 3.1模型的利器來(lái)了！NVIDIA打造生成式AI代工廠(chǎng)，還有加速部署的微服務(wù)
智東西
作者 | ZeR0
編輯 | 漠影
智東西7月24日報道，NVIDIA宣布推出全新NVIDIA AI Foundry服務(wù)和NVIDIA NIM推理微服務(wù)，與剛推出的Meta Llama 3.1系列開(kāi)源模型一起，為全球企業(yè)的生成式AI提供強力支持。
Llama 3.1大語(yǔ)言模型有8B、70B和405B三種參數規模。模型在超過(guò)16000個(gè)NVIDIA Tensor Core GPU上訓練而成，并針對NVIDIA加速計算和軟件（無(wú)論是在數據中心、云以及配備N(xiāo)VIDIA RTX GPU的本地工作站或配備GeForce RTX GPU的PC上）進(jìn)行了優(yōu)化。
就像臺積電是面向全球芯片企業(yè)的代工廠(chǎng)，NVIDIA也打造了企業(yè)級AI代工廠(chǎng)NVIDIA AI Foundry。
NVIDIA創(chuàng )始人兼CEO黃仁勛談道：“Meta的Llama 3.1開(kāi)源模型標志著(zhù)全球企業(yè)采用生成式AI的關(guān)鍵時(shí)刻已經(jīng)到來(lái)。Llama 3.1將掀起各個(gè)企業(yè)與行業(yè)創(chuàng )建先進(jìn)生成式AI應用的浪潮。N(xiāo)VIDIA AI Foundry已經(jīng)在整個(gè)過(guò)程中集成了Llama 3.1，并能夠幫助企業(yè)構建和部署自定義Llama超級模型。”
NVIDIA AI Foundry由NVIDIA DGX Cloud AI平臺驅動(dòng)，由NVIDIA與全球領(lǐng)先的公有云共同設計，提供一種可用于快速構建自定義超級模型的端到端服務(wù)，旨在為企業(yè)提供大量計算資源，所提供的計算資源可隨著(zhù)AI需求的變化輕松擴展。
“借助NVIDIA AI Foundry，企業(yè)可以輕松創(chuàng )建和定制大家想要的最先進(jìn)的AI服務(wù)，并通過(guò)NVIDIA NIM進(jìn)行部署。”Meta創(chuàng )始人兼CEO馬克·扎克伯格說(shuō)。
企業(yè)如果需要更多訓練數據來(lái)創(chuàng )建特定領(lǐng)域的模型，可使用自有數據以及由Llama 3.1 405B和NVIDIA Nemotron Reward模型生成的合成數據，來(lái)訓練這些超級模型，以提高準確性。擁有自己的訓練數據的客戶(hù)可以使用NVIDIA NeMo對Llama 3.1模型進(jìn)行自定義，通過(guò)領(lǐng)域自適應預訓練（DAPT）進(jìn)一步提高模型的準確性。
NVIDIA和Meta還一起為L(cháng)lama 3.1提供了一種蒸餾方法，供開(kāi)發(fā)者為生成式AI應用創(chuàng )建更小的自定義Llama 3.1模型。這使企業(yè)能夠在更多加速基礎設施（如AI工作站和筆記本電腦）上運行由Llama驅動(dòng)的AI應用。
創(chuàng )建自定義模型后，企業(yè)就可以構建NVIDIA NIM推理微服務(wù)，以便在其首選的云平臺和全球服務(wù)器制造商提供的NVIDIA認證系統上，使用自己選擇的最佳機器學(xué)習運維（MLOps）和人工智能運維（AIOps）平臺在生產(chǎn)中運行這些模型。
NIM微服務(wù)有助于將Llama 3.1模型部署到生產(chǎn)中，其吞吐量最多可比不使用NIM運行推理時(shí)高出2.5倍。
021yin.com即可了解適用于Llama 3.1模型的NVIDIA NIM推理微服務(wù)，以加快將Llama 3.1模型部署到生產(chǎn)級AI的速度。
將Llama 3.1 NIM微服務(wù)與全新NVIDIA NeMo Retriever NIM微服務(wù)組合使用，就能為AI copilot、助手和數字人虛擬形象搭建先進(jìn)的檢索工作流。
通過(guò)使用全新NVIDIA NeMo Retriever NIM推理微服務(wù)來(lái)實(shí)現檢索增強生成（RAG），企業(yè)可將自定義Llama超級模型和Llama NIM微服務(wù)部署到生產(chǎn)中，以提高響應準確性。
當與適用于Llama 3.1 405B的NVIDIA NIM推理微服務(wù)結合使用時(shí)，NeMo Retriever NIM微服務(wù)能為RAG工作流中的開(kāi)放和商業(yè)文本問(wèn)答帶來(lái)極高的檢索準確性。
NVIDIA AI Foundry結合NVIDIA軟件、基礎設施和專(zhuān)業(yè)知識與開(kāi)放社區模型、技術(shù)和來(lái)自NVIDIA AI生態(tài)系統的支持。N(xiāo)VIDIA AI Enterprise專(zhuān)家和全球系統集成商合作伙伴與AI Foundry客戶(hù)一同加快從開(kāi)發(fā)到部署的全過(guò)程。
專(zhuān)業(yè)服務(wù)公司埃森哲率先借助NVIDIA AI Foundry，使用Accenture AI Refinery框架為自己以及希望所部署的生成式AI應用能夠反映其文化、語(yǔ)言和行業(yè)的客戶(hù)來(lái)創(chuàng )建自定義Llama 3.1模型。
醫療、能源、金融服務(wù)、零售、交通、電信等行業(yè)的企業(yè)已在使用適用于Llama的NVIDIA NIM微服務(wù)。首批使用面向Llama 3.1全新NIM微服務(wù)的公司有Aramco、ATT、優(yōu)步等。
數百家提供企業(yè)、數據和基礎設施平臺的NVIDIA NIM合作伙伴現在能夠將這些新的微服務(wù)集成到其AI解決方案中，為NVIDIA社區500多萬(wàn)開(kāi)發(fā)者和1.9萬(wàn)家初創(chuàng )公司的生成式AI提供助力。
通過(guò)NVIDIA AI Enterprise即可獲得Llama 3.1 NIM和NeMo Retriever NIM微服務(wù)的生產(chǎn)支持。N(xiāo)VIDIA開(kāi)發(fā)者計劃會(huì )員將很快能夠免費訪(fǎng)問(wèn)NIM微服務(wù)，以在他們首選的基礎設施吉印通行研究、開(kāi)發(fā)和測試。
