從龐大到精巧 讓AI大模型更接地氣
人工智能大模型以其龐大的參數規模和海量的訓練數據量著(zhù)稱(chēng)，需要由數千塊AI芯片組成的服務(wù)器集群來(lái)支撐其運算。相關(guān)數據顯示，在10天內訓練1000億參數規模、1PB訓練數據集，約需1.08萬(wàn)個(gè)英偉達A100GPU。這一數字揭示了AI大模型背后巨大的經(jīng)濟成本。
近日，AI初創(chuàng )企業(yè)Anthropic的CEO兼總裁達里奧·阿莫代（Dario Amodei）在一檔播客節目中表示，目前公司正在開(kāi)發(fā)的AI模型訓練成本高達10億美元，他預計，AI模型的訓練成本在2027年之前提升到100億美元，甚至是1000億美元。
在此背景下，輕量化大模型的概念應運而生，對大模型進(jìn)行量化、剪枝等壓縮操作，已成為模型部署過(guò)程中常用的策略。這些技術(shù)旨在降低模型的計算復雜度和減少存儲需求，從而加快模型推理速度，降低運行成本，并使其更易于在邊緣設備或資源受限的環(huán)境中部署。這一理念不僅有利于實(shí)現“雙碳”目標，也為AI技術(shù)的普及和落地應用開(kāi)辟了新的道路。
知識蒸餾技術(shù)助力降低算力成本。近日，谷歌DeepMind開(kāi)源了Gemma 2，這是其小型語(yǔ)言模型系列的下一代產(chǎn)品。谷歌團隊在Gemma 2的架構吉印通行了多項改進(jìn)，特別是引入了知識蒸餾（Knowledge Distillation，簡(jiǎn)稱(chēng)KD）技術(shù)。這是一種機器學(xué)習技術(shù)，主要用于模型壓縮和遷移學(xué)習，其核心思想是通過(guò)將大型模型（即“教師模型”）的知識傳遞給小型模型（即“學(xué)生模型”），以提高小型模型的性能。這種技術(shù)在不犧牲性能的前提下，大幅減少了模型的計算資源需求，使得Gemma 2不僅在同類(lèi)規模的模型中表現出眾，甚至能與兩倍于其大小的模型性能相媲美。
Gemma 2的發(fā)布，無(wú)疑延續了近年來(lái)小型、開(kāi)源語(yǔ)言模型家族蓬勃發(fā)展的行業(yè)趨勢。微軟的Phi和Meta的Llama等模型，同樣通過(guò)引入創(chuàng )新的架構改進(jìn)（如GQA等）以及利用高質(zhì)量的訓練數據，實(shí)現了遠超傳統小型模型的卓越性能。這一系列模型的涌現，不僅是技術(shù)進(jìn)步的結果，更是為了滿(mǎn)足更廣泛應用場(chǎng)景的需求。通過(guò)軟硬件協(xié)同、算法優(yōu)化和模型壓縮等多種手段，大模型正逐步實(shí)現更高效、更經(jīng)濟、更親民的目標，從而推動(dòng)人工智能技術(shù)的廣泛應用和發(fā)展。
創(chuàng )新模型量化方法，讓大模型“瘦身”90％。此前，清華大學(xué)和哈工大的一項吉印通研究提出了大模型1bit極限壓縮框架OneBit，包括全新的1bit線(xiàn)性層結構、基于量化感知知識蒸餾的深度遷移學(xué)習等。1bit量化模型在計算上具有優(yōu)勢，參數的純二進(jìn)制表示，不但可以節省大量的空間，還能降低矩陣乘法對硬件的要求。該架構首次實(shí)現大模型權重壓縮超越90％并保留大部分（83％）能力，對于實(shí)現大模型在PC端甚至智能手機上的部署意義非凡。
輕量化大模型在端側AI中的應用尤為重要。它降低了邊緣計算的成本門(mén)檻，使更多應用程序和用戶(hù)能夠使用大模型進(jìn)行推理計算，從而推動(dòng)了AI向端側場(chǎng)景的落地。小米集團NLP首席科學(xué)家王斌此前指出，大模型將逐漸演進(jìn)為小模型，并在本地部署中發(fā)揮重要作用。這不僅符合技術(shù)發(fā)展的趨勢，也有利于滿(mǎn)足差異化的應用需求。
輕量化大模型之所以受到如此廣泛的關(guān)注，是因為它解決了AI技術(shù)在實(shí)際應用中的諸多痛點(diǎn)問(wèn)題。傳統的大型語(yǔ)言模型雖然性能強大，但往往因為計算復雜度高、存儲需求大而無(wú)法在資源受限的設備上高效運行。而輕量化大模型則通過(guò)減少模型的參數數量和降低復雜度，降低了對硬件資源的要求，使得AI技術(shù)能夠更廣泛地應用于移動(dòng)設備、邊緣計算和實(shí)時(shí)應用等場(chǎng)景。
本網(wǎng)站轉載的所有的文章、圖片、音頻視頻文件等資料的版權歸版權所有人所有。如因無(wú)法聯(lián)系到作者侵犯到您的權益，請與本網(wǎng)站聯(lián)系，我們將采取適當措施。
