全球247億美元豪賭GenAI，瘋狂入局AI成高風(fēng)險博弈？
新智元報道
編輯：編輯部
【新智元導讀】面對GenAI的技術(shù)浪潮，很多人都會(huì )在不斷迭代更新的技術(shù)中逐漸迷失。站在潮頭的Sapphire、Emergence、Menlo等風(fēng)投公司，又會(huì )如何看待這場(chǎng)AI變局的現狀與走向？
根據Sapphire Ventures的數據，GenAI領(lǐng)域從2022年到2023年迎來(lái)了爆發(fā)式的增長(cháng)，全球范圍（不含中國）的風(fēng)投資金總量從76億美元陡增到247億。
從今年第一季度的數據來(lái)看，2023年的市場(chǎng)熱度很有可能延續下去。
根據咨詢(xún)公司Quid的統計數據，最能吸引AI方向投資的三個(gè)細分領(lǐng)域分別是「AI基礎設施、研究和治理」、「自然語(yǔ)言處理」和「數據管理」。
投資大量涌入，帶來(lái)的直觀(guān)結果就是初創(chuàng )公司如雨后春筍般涌現。從美國、中國到英國、以色列，都成為了AI創(chuàng )新的重要源頭。
在投資大潮的催化下，GenAI領(lǐng)域的技術(shù)更新也達到了前所未有的迅速。
今年1月，Menlo Ventures對于現代AI技術(shù)棧的定義還是一個(gè)簡(jiǎn)潔的四層框架，從算力和基礎模型開(kāi)始，到數據、模型部署，以及最頂層的模型可觀(guān)測性。
而短短幾個(gè)月后的5月底，這個(gè)框架就已經(jīng)迅速過(guò)時(shí)，取而代之的是Sapphire Ventures發(fā)布的包含200多個(gè)公司、多個(gè)領(lǐng)域交織在一起的復雜技術(shù)網(wǎng)絡(luò )。
而且，GenAI的發(fā)展路徑不是單純技術(shù)創(chuàng )新問(wèn)題，商業(yè)戰略、金融、教育、政策等各方面的影響交織在一起。
數據隱私問(wèn)題引起了越來(lái)越多立法者的關(guān)注，AI法規即將出臺的壓力揮之不去；AI行業(yè)高薪的背后是持續的人才短缺，迫使科技公司不得不在內部開(kāi)發(fā)和外包工作間取得平衡。
更為重要的是，控制成本、創(chuàng )造盈利的壓力，會(huì )與技術(shù)創(chuàng )新的各種原動(dòng)力相違背。持續不斷的開(kāi)源和閉源之爭就是最典型的例子。
相比傳統的軟件公司，推理和訓練的算力支出會(huì )耗費更多資金。然而，根據Emergence Capital的統計，只有58%的GenAI公司選擇通過(guò)產(chǎn)品營(yíng)利，這就又疊加了一重商業(yè)風(fēng)險。
「亂花漸欲迷人眼」，投資熱潮、一夜暴富的表象下，入局GenAI實(shí)質(zhì)是一場(chǎng)高風(fēng)險的技術(shù)博弈。在這個(gè)瞬息萬(wàn)變的場(chǎng)域中，今天最先進(jìn)的解決方案，很可能在一夜之間就被新的技術(shù)突破取代。
要面對GenAI迷宮中的這一切，也許答案只有一個(gè)——適應性。
無(wú)論是科研、技術(shù)領(lǐng)域的從業(yè)者，還是公司中的決策者，都需要不斷調整目標和愿景，與這個(gè)千變萬(wàn)化的環(huán)境一同演進(jìn)，才能創(chuàng )造出實(shí)際的價(jià)值。
數據的「量」和「質(zhì)」
如果一直上溯到深度學(xué)習方興未艾時(shí)的ImageNet，可以發(fā)現，數據始終是AI的核心問(wèn)題之一。
隨著(zhù)近年來(lái)GenAI和LLM的興起，數據也和算力一樣，成為AI基礎設施的一部分，也是需要盡力發(fā)掘的稀缺資源。
Epoch AI曾經(jīng)預言，LLM到2028年將耗盡互聯(lián)網(wǎng)上所有的高質(zhì)量文本數據，阻礙Scaling Law的「數據墻」似乎就在眼前。
面對數據短缺的挑戰，從GenAI自身給出的解決方案——合成數據，似乎是一條仍不明朗但頗有前景的道路。
早期研究曾指出，隨著(zhù)合成數據比例的增加，迭代出的連續幾代模型的質(zhì)量和多樣性都會(huì )逐漸下降。
但另一方面，較少比例的合成數據和最新的現實(shí)數據混合后訓練的模型，如Google最近發(fā)布的Gemma 2，卻能表現出顯著(zhù)的性能提升。
Epoch AI的創(chuàng )始人也曾表示，雖然我們能看到「數據耗盡」的前景，但目前還沒(méi)有感到恐慌的理由。合成數據、
多模態(tài)和遷移學(xué)習等方法都有望突破「數據墻」。
除了數據量的焦慮，數據質(zhì)量和數據治理也已經(jīng)成為關(guān)注的焦點(diǎn)。
上個(gè)月HuggingFace發(fā)布15萬(wàn)億token的FineWeb數據集，就著(zhù)重強調了數據質(zhì)量的重要性。
微軟Phi-3小模型的技術(shù)報告中，也提及了一種「數據換參數」的策略。
對于企業(yè)和產(chǎn)品而言，數據質(zhì)量的重要維度也包括語(yǔ)義層和數據結構（data fabrics），有望增強AI系統有效理解、使用企業(yè)數據的能力，從而帶來(lái)創(chuàng )新的功能和用例。
初創(chuàng )公司Illumex就開(kāi)發(fā)了一種名為「語(yǔ)義數據結構」（semantic data fabric）的技術(shù)，他們的CEO解釋道，「data fabric有一種自動(dòng)創(chuàng )建出來(lái)的紋理，而非預先定義好的」，可以促進(jìn)更加動(dòng)態(tài)、上下文感知的數據交互。
此外，AI監管和科技公司也把目光投向了數據治理領(lǐng)域——確保數據的使用符合倫理、安全并遵守法規。
DataBricks已經(jīng)將數據治理納入其平臺的核心，被描述為「一個(gè)連續的治理體系，從數據攝取一直到GenAI的提示和響應」。
同時(shí)，Red Hat副總裁Steven Huels預測，我們會(huì )看到數據治理方面的大力推動(dòng)，尤其是隨著(zhù)AI系統越來(lái)越多地影響關(guān)鍵業(yè)務(wù)決策。
端到端vs.專(zhuān)用解決方案
GenAI這種新興事物顯得有些復雜，有些難以理解，因此許多企業(yè)都都傾向于采用全面的端到端解決方案，這反映了決策者們希望簡(jiǎn)化AI基礎設施、精簡(jiǎn)運營(yíng)的愿望。
財務(wù)軟件公司Intuit決定在原有的龐大生態(tài)系統中整個(gè)GenAI時(shí)，他們面臨一個(gè)艱難抉擇——要讓數千名開(kāi)發(fā)人員在現有平臺的基礎上構建AI嗎？
最后，Intuit選擇了一條更有雄心的道路：從頭開(kāi)始，創(chuàng )建一個(gè)全面的生成式AI操作系統GenOS。
公司首席數據官Ashok Srivastava這樣解釋這個(gè)決定：為了加速創(chuàng )新并保持一致性，「我們將額外構建一層來(lái)抽象掉平臺的復雜性」。相比之下，讓各個(gè)團隊構建定制解決方案，會(huì )導致「高復雜性、低速和技術(shù)債務(wù)」。
同樣，Databricks最近對平臺功能進(jìn)行了擴展，新推出的Model Serving和Feature Serving工具，能簡(jiǎn)化數據科學(xué)家部署模型的流程，代表了他們正在推進(jìn)更集成的AI基礎設施，提供更全面的解決方案。
《Marvelous MLOps》一書(shū)的作者M(jìn)aria Vechtomova指出，整個(gè)行業(yè)都需要這樣的簡(jiǎn)化：「機器學(xué)習團隊應該努力簡(jiǎn)化架構，并盡量減少使用的工具數量。」
推動(dòng)端到端解決方案標志著(zhù)GenAI領(lǐng)域的成熟。企業(yè)不再滿(mǎn)足于零散方法的拼接，而是希望高效地擴展其AI項目。
與此同時(shí)，我們還見(jiàn)證了一個(gè)有趣的現象——盡管端到端平臺正在崛起，但專(zhuān)用解決方案仍在不斷涌現，
通常來(lái)說(shuō)，它們是對通用方案的補充，負責應對可能被忽略的復雜挑戰，或者增強某些特定的功能。
專(zhuān)用解決方案的不斷涌現表明，在解決特定AI挑戰方面的創(chuàng )新仍然充滿(mǎn)活力。
即使市場(chǎng)正在圍繞少數幾個(gè)主要平臺進(jìn)行整合，這一趨勢仍在持續。
對于IT決策者來(lái)說(shuō)，任務(wù)很明確：仔細評估專(zhuān)用工具在某些方面是否能提供比更通用解決方案更顯著(zhù)的優(yōu)勢。
開(kāi)源和專(zhuān)有的平衡
在GenAI領(lǐng)域，開(kāi)源和專(zhuān)有解決方案之間有非?；钴S的相互作用。
曾經(jīng)以開(kāi)源Linux聞名的Red Hat公司最近宣布進(jìn)入Gen AI領(lǐng)域，他們開(kāi)發(fā)的產(chǎn)品Red Hat Enterprise Linux (RHEL) AI旨在讓更多人能夠使用LLM，并堅守自己對開(kāi)源準則的承諾。
然而，開(kāi)源解決方案通常需要公司內部的大量專(zhuān)業(yè)人才，才能有效實(shí)施并維護。對于面臨人才短缺或希望快速行動(dòng)的組織來(lái)說(shuō)，這可能是一個(gè)挑戰。
另一方面，專(zhuān)有解決方案通常提供更集成和支持的體驗。比如Databricks在支持開(kāi)源模型的同時(shí)，也專(zhuān)注于圍繞其專(zhuān)有平臺創(chuàng )建一個(gè)連貫的技術(shù)生態(tài)，能夠為客戶(hù)集成和管理各種AI模型。
理想的開(kāi)源和專(zhuān)有解決方案平衡將取決于組織的具體需求、資源和風(fēng)險承受能力。隨著(zhù)AI領(lǐng)域的發(fā)展，有效集成和管理這兩種類(lèi)型的解決方案，可能成為一個(gè)關(guān)鍵的競爭優(yōu)勢。
平衡好開(kāi)源和專(zhuān)有方案的「潛力股」也許是最近崛起的AI新星Mistral。
Mistral推出的開(kāi)源模型既在社區引起了廣泛影響，得到全球開(kāi)發(fā)者的支持助力，同時(shí)也吸引到了潛在客戶(hù)，可供任何人檢查、定制的代碼加強了企業(yè)用戶(hù)對技術(shù)的信任。
創(chuàng )始人Arthur Mensch曾表示，「在構建商業(yè)模式和堅持我們的開(kāi)源價(jià)值觀(guān)之間找到一個(gè)平衡點(diǎn)是非常微妙的。我們希望創(chuàng )造新的事物、新的架構，但是還想向我們的客戶(hù)提供一些額外的產(chǎn)品和服務(wù)。」
與現有系統的集成
在企業(yè)轉向GenAI的過(guò)程中，一個(gè)關(guān)鍵挑戰是如何將新功能集成到現有的業(yè)務(wù)流程與決策框架中，建立兩者之間的良好銜接和互動(dòng)。
這是AI系統落地的最后一步，也直接決定著(zhù)AI方面的投資能否轉化為實(shí)在的商業(yè)價(jià)值。
令人驚訝的是，與頂層的產(chǎn)品功能相比，成功的集成反而更依賴(lài)于底層系統。實(shí)時(shí)系統、流處理、批量處理，這些「骨架」是構建AI能力不可忽視的基礎。
對于許多組織來(lái)說(shuō)，數據方面也存在挑戰，難點(diǎn)在于A(yíng)I系統需要連接多樣化的，且常常孤立存在的數據源。初創(chuàng )公司Illumex就開(kāi)發(fā)了一種方案，允許企業(yè)利用現有的數據資產(chǎn)，而無(wú)需進(jìn)行大規模的重組。
安全集成是另一個(gè)關(guān)鍵因素。由于A(yíng)I系統通常處理敏感數據并做出重要決策，它們必須被納入現有的安全框架，并符合組織政策和監管要求。
提示工程仍然是關(guān)鍵技能
精確且格式良好的提示，結合相關(guān)的上下文數據，能夠顯著(zhù)影響模型輸出的質(zhì)量，這種效果常常令開(kāi)發(fā)者和用戶(hù)感到驚訝。
盡管最初對提示的長(cháng)期前景以及提示工程師這一新興職業(yè)存在懷疑，許多公司仍在積極尋找并高薪聘請具備提示工程技能的員工。
我們相信這一趨勢將持續，并將得到新興服務(wù)的進(jìn)一步支持，這些服務(wù)可以幫助公司制作、存儲、測試、管理和更新提示。
智能體已來(lái)，但為時(shí)尚早
AI智能體可以使模型（或一系列模型）在用戶(hù)幾乎不干預的情況下完成一個(gè)或一系列動(dòng)作。
智能體工作流程有望擴展模型的使用方式，并使開(kāi)發(fā)者能夠單獨優(yōu)化每個(gè)步驟，從而可能帶來(lái)顯著(zhù)的生產(chǎn)力提升。
雖然如今真正的自主智能體尚未成為現實(shí)，但我們觀(guān)察到越來(lái)越多的服務(wù)正在幫助用戶(hù)構建輕量級的定制助手，比如微軟對Copilot最近的更新。
這些助手能夠處理更復雜的工程工作流程（不僅限于代碼輔助）、從多個(gè)來(lái)源提取和總結信息、自動(dòng)標記數據等任務(wù)。
生成式人工智能的激進(jìn)未來(lái)
隨著(zhù)GenAI快速發(fā)展，對技術(shù)棧的探索也愈發(fā)深入，從端到端解決方案到專(zhuān)用工具，從數據質(zhì)量到治理框架。
可以肯定的是，我們正在見(jiàn)證企業(yè)技術(shù)的變革時(shí)刻，但這還只是個(gè)開(kāi)始。
最近，AI大牛Andrej Karpathy描繪了一幅更加激進(jìn)的未來(lái)圖景。
他設想了一個(gè)「100%完全軟件2.0計算機」，其中單個(gè)神經(jīng)網(wǎng)絡(luò )取代了所有傳統軟件。
其中，設備輸入如音頻、視頻和觸摸將直接輸入到神經(jīng)網(wǎng)絡(luò )中，輸出則通過(guò)揚聲器和屏幕顯示為音頻和視頻。
這個(gè)概念遠超我們當前對操作系統、框架甚至不同類(lèi)型軟件之間區別的理解——應用程序之間的界限變得模糊，整個(gè)計算體驗將由一個(gè)統一的AI系統來(lái)調控。
雖然這樣的愿景可能顯得遙遠，但它強調了一點(diǎn)：GenAI不僅能重塑單個(gè)應用程序或業(yè)務(wù)流程，還能改變計算的基本性質(zhì)。
今天在構建AI基礎設施時(shí)做出的選擇將為未來(lái)的創(chuàng )新奠定基礎。靈活性、可擴展性和接受范式轉變的意愿將是關(guān)鍵。
不論我們談?wù)摰氖嵌说蕉似脚_，還是AI驅動(dòng)的計算環(huán)境，成功的關(guān)鍵在于培養適應性。
參考資料：
021yin.com/ai/ai-stack-attack-navigating-the-generative-tech-maze/
021yin.com/perspective/the-modern-ai-stack-design-principles-for-the-future-of-enterprise-ai-architectures/
021yin.com/blog/building-the-future-a-deep-dive-into-the-generative-ai-app-infrastructure-stack/#gallery-4
021yin.com/thoughts/beyond-benchmarks/
021yin.com/mapped-the-number-of-ai-startups-by-country/
