OpenAI英偉達Hugging Face同期推出小模型，AI開(kāi)卷新方向？
隨著(zhù)人工智能技術(shù)的飛速發(fā)展，小型化、高效能的AI模型正逐漸成為新的趨勢。HuggingFace、OpenAI、Mistral AI三家先鋒公司聯(lián)手英偉達推出小型語(yǔ)言模型（SLM），標志著(zhù)人工智能行業(yè)的重大轉變。這些小模型以更低的價(jià)格和更高的效率為更廣泛的設備和應用程序帶來(lái)強大的語(yǔ)言處理能力。
過(guò)去一周，人工智能領(lǐng)域的三家先鋒公司HuggingFace、OpenAI、Mistral AI聯(lián)手英偉達相繼推出小型語(yǔ)言模型（SLM），新發(fā)布的三款小模型SmolLM、GPT-4omini和Mistral Nemo都有一個(gè)共同目標：以更低的價(jià)格，為更廣泛的設備和應用程序帶來(lái)強大的語(yǔ)言處理能力，預示著(zhù)人工智能行業(yè)的重大轉變。
01 小模型什么樣？能做到什么？
小模型相比于大模型，價(jià)格更低、效率提升、更環(huán)保、可訪(fǎng)問(wèn)性更高，但無(wú)法在所有任務(wù)中與大模型的原始功能相匹配。近期推出的三個(gè)小模型能力如何呢？分別來(lái)看看。
1. SmolLM：直接在移動(dòng)設備上運行
Hugging Face的 SmolLM 可能是三者中最激進(jìn)的。SmolLM 被設計用于直接在移動(dòng)設備上運行，有三種大?。?.35 億、3.6 億和 17 億參數。該系列將 AI 處理推向邊緣，解決了數據隱私和延遲的關(guān)鍵問(wèn)題。
SmolLM 的影響遠遠超出了單純的效率提升。通過(guò)將 AI 功能直接引入邊緣設備，它為新一代應用程序鋪平了道路，讓這些應用程序以最小的延遲和最大的隱私運行。這可能會(huì )從根本上改變移動(dòng)計算的格局，以前由于連接問(wèn)題或隱私限制而不能實(shí)現的復雜的AI驅動(dòng)功能，因為SmolLM成為可能。
2. GPT-4omini：超高性?xún)r(jià)比的高能力小模型
OpenAI的GPT-4omini主打一個(gè)高性?xún)r(jià)比，被很多評論認為是市場(chǎng)上最具成本效益的小模型。
GPT-4o Mini 的輸入價(jià)格僅為每百萬(wàn)token 15 美分，輸出價(jià)格為每百萬(wàn)token 60 美分。GPT-4omini的定價(jià)比GPT-3.5 Turbo便宜60%以上，也比其它小模型更便宜，如谷歌的谷歌的Gemini 1.5 Flash（0.35美元/ 0.70美元）和Anthropic的Claude 3 Haiku（0.25美元/ 1.25美元），大大降低了AI集成的財務(wù)障礙。
不僅是節省成本，GPT-4o mini 非常聰明。它在數學(xué)、編碼和多模態(tài)推理方面優(yōu)于其他小型模型。在 MMLU 基準測試（通用智能）上，它的得分為 82%，超過(guò)了 GPT-3.5 和一些更大的模型。
GPT-4omini小模型可以處理一個(gè)巨大的 128K 令牌上下文窗口并輸出 16k 令牌，開(kāi)辟了大量新的可能性。像 Ramp 和 Superhuman 這樣的公司已經(jīng)在實(shí)際任務(wù)中使用它取得了巨大成功。
此外，它是多模態(tài)的，就像它更大的兄弟 GPT-4o 一樣，支持文本和視覺(jué)輸入，還有更多內容即將推出。
安全也得到了照顧。OpenAI 已經(jīng)融入了“指令層次結構”等新技術(shù)，以保持模型的安全性并抵御越獄。
但GPT-4omini無(wú)法在手機或游戲機等移動(dòng)設備上運行，它必須像 OpenAI 的所有其他模型一樣在云中的服務(wù)器上運行。
3. Mistral-NeMo：瞄準大規模云模型和超緊湊移動(dòng) AI 之間的中間地帶
Nvidia 和 Mistral AI 合作推出Mistral NeMo，這是一個(gè) 120 億參數模型，具有令人印象深刻的 128,000 個(gè)token上下文窗口，意味著(zhù)與窗口較小的模型相比，它可以讀取和處理更長(cháng)的文本塊。
例如，具有小上下文窗口的模型，可能難以準確總結冗長(cháng)的新聞文章，因為它一次只能處理幾個(gè)句子。然而，Mistral NeMo 可能會(huì )將整篇文章作為一個(gè)整體來(lái)理解，從而得出更連貫和準確的總結。
Mistral Nemo 在 Apache 2.0 許可下發(fā)布，以臺式計算機為目標，將自己定位為大規模云模型和超緊湊移動(dòng) AI 之間的中間地帶。
多語(yǔ)言能力同樣讓人印象深刻。Mistral NeMo 不僅限于一種語(yǔ)言;它在包含 100 多種語(yǔ)言的海量數據集吉印通行訓練，在英語(yǔ)、法語(yǔ)、德語(yǔ)、西班牙語(yǔ)、意大利語(yǔ)、葡萄牙語(yǔ)、中文、日語(yǔ)、韓語(yǔ)、阿拉伯語(yǔ)吉印通地語(yǔ)方面特別出色，能在語(yǔ)言之間進(jìn)行翻譯、構建可以與世界各地用戶(hù)交談的聊天機器人，以及分析多種語(yǔ)言的文檔以提取全球見(jiàn)解。
例如跨國企業(yè)可以使用 Mistral NeMo 來(lái)分析來(lái)自不同國家/地區的客戶(hù)評論，即使這些評論是用不同的語(yǔ)言編寫(xiě)的，以全面了解全球的客戶(hù)反饋。
此外，Mistral NeMo 使用一種名為 Tekken 的新分詞器，該分詞器專(zhuān)為速度和效率而設計。Mistral NeMo 使用 FP8 推理，FP8 是一種低精度數字格式，與傳統格式相比，它需要更少的內存和處理能力，這使得 Mistral NeMo 能夠在更廣泛的設備上運行得更快，單個(gè)英偉達L40S就能跑起來(lái)Mistral NeMo。
02 為什么卷小模型？ 1. 更快、更便宜的模型可能是下一代人工智能應用程序的競爭焦點(diǎn)
模型的性能很重要，但速度和成本同樣重要，三大巨頭向小模型發(fā)力，反映了人工智能領(lǐng)域的開(kāi)發(fā)越來(lái)越重視效率、可訪(fǎng)問(wèn)性、專(zhuān)業(yè)性的趨勢，而不是簡(jiǎn)單地構建更大的網(wǎng)絡(luò )。
這種趨勢會(huì )讓AI朝更有針對性、有效性更強的解決方案方向發(fā)展，針對特定任務(wù)和行業(yè)進(jìn)行更有效率的優(yōu)化，而不是以包羅萬(wàn)象為目標。
2. 更環(huán)保、更高的能源效率和可持續性
人工智能對環(huán)境的影響日益受到關(guān)注，發(fā)展小模型符合對環(huán)保的呼聲。較小的模型需要更少的能量就能完成訓練和運行，從而減少人工智能的碳排放。
另一方面，各行業(yè)面對的環(huán)保壓力也在日益增大，采用更高效的小模型可以節省能源，會(huì )提高企業(yè)對人工智能的接受度。這些環(huán)保方面的積極作用，會(huì )讓人工智能成為綠色創(chuàng )新的領(lǐng)導者，而不是氣候惡化的參與者。
3. 更廣泛的人工智能集成
為什么說(shuō)向小模型的轉變是人工智能領(lǐng)域的巨大演變？因為隨著(zhù)這些小模型的不斷改進(jìn)和廣泛應用，我們可能會(huì )看到一個(gè)支持人工智能設備和應用程序的新時(shí)代，復雜的人工智能服務(wù)不只存在于云端，而是服務(wù)在具體的終端設備和應用程序里，服務(wù)于更多的用戶(hù)，帶來(lái)更多的用例。
對于企業(yè)而言，小模型的發(fā)展意味著(zhù)會(huì )有更多智能的、高效的人工智能解決方案可以更容易地集成到現有系統中。隨著(zhù)人工智能的規?？s小，它對企業(yè)和社會(huì )的影響會(huì )越來(lái)越大。
03 隱憂(yōu)與挑戰
雖然小模型的興起帶來(lái)了很多優(yōu)勢，但也存在隱憂(yōu)和挑戰。
首先，小模型無(wú)法在所有任務(wù)中與大型模型的原始功能相匹配，發(fā)展小模型要注重模型專(zhuān)業(yè)化、多樣性，而不是追求一刀切的想要用小模型解決所有問(wèn)題，要在模型大小、性能和特定應用要求中找到平衡。
此外，小模型對人工智能的道德問(wèn)題也提出了新挑戰。更低的使用門(mén)檻意味著(zhù)更多的偏見(jiàn)、問(wèn)責和道德問(wèn)題，在每個(gè)細分的領(lǐng)域深度應用人工智能，都會(huì )帶來(lái)新的AI倫理問(wèn)題。對小模型的研究和開(kāi)發(fā)要和與之相關(guān)的道德準則、法規和監管機制保持同步，才能確保小模型的發(fā)展和應用符合公共利益。
本文由 @遠山下 原創(chuàng )發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可，禁止轉載
題圖來(lái)自pixabay，基于CC0協(xié)議
該文觀(guān)點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)
