半年過(guò)去，AI視頻卷到哪兒了？
定焦（dingjiaoone）原創(chuàng )
作者 | 王璐
編輯 | 魏佳
自從今年年初Sora露面后，國內國外都想用AI顛覆好萊塢，近期的AI視頻圈更是十分熱鬧，產(chǎn)品一個(gè)接一個(gè)發(fā)布，都喊著(zhù)要趕超Sora。
國外兩家AI視頻初創(chuàng )公司率先開(kāi)打，舊金山人工智能科技公司Luma推出Dream Machine視頻生成模型，并扔出堪稱(chēng)電影級別的宣傳片，產(chǎn)品也給用戶(hù)免費試用；另一家在A(yíng)I視頻領(lǐng)域小有名氣的初創(chuàng )公司Runway，也宣布將Gen-3 Alpha模型向部分用戶(hù)開(kāi)啟測試，稱(chēng)能將光影這樣的細節生產(chǎn)出來(lái)。
國內也不甘示弱，快手推出的可靈Web端，用戶(hù)能生成長(cháng)達10秒的視頻內容，還具備首尾幀控制和相機鏡頭控制功能。其原創(chuàng )AI奇幻短劇《山海奇鏡之劈波斬浪》也在快手播出，畫(huà)面均由AI生成。AI科幻短劇《三星堆：未來(lái)啟示錄》也在近期播出，為字節旗下的AI視頻產(chǎn)品即夢(mèng)制作。
AI視頻如此快的更新速度讓不少網(wǎng)友直呼，“好萊塢可能又要來(lái)一次大罷工了。”
如今在A(yíng)I視頻賽道上，有谷歌、微軟、Meta，阿里、字節、美圖等國內外科技、互聯(lián)網(wǎng)巨頭，也有Runway、愛(ài)詩(shī)科技等新秀公司，據「定焦」不完全統計，僅國內，便有約20家公司推出了自研AI視頻產(chǎn)品/模型。
頭豹研究院數據顯示，2021年中國AI視頻生成行業(yè)的市場(chǎng)規模為800萬(wàn)元，預計2026年，這一市場(chǎng)規模將達到92.79億元。不少業(yè)內人士相信，2024年生成視頻賽道會(huì )迎來(lái)Midjourney時(shí)刻。
全球的Sora們發(fā)展到什么階段了？誰(shuí)最強？AI能干掉好萊塢嗎？
圍攻Sora：產(chǎn)品雖多，能用的少
AI視頻賽道推出的產(chǎn)品/模型不少，但真正能讓大眾使用的十分有限，國外的突出代表便是Sora，半年過(guò)去了還在內測，僅對安全團隊和一些視覺(jué)藝術(shù)家、設計師和電影制作人等開(kāi)放。國內情況也差不多，阿里達摩院的AI視頻產(chǎn)品“尋光”、吉印通的AI視頻模型UniVG都在內測階段，至于目前正火的快手可靈，用戶(hù)想使用也需要排隊申請，這已經(jīng)刨去了一大半產(chǎn)品。
剩下可使用的AI視頻產(chǎn)品中，一部分設置了使用門(mén)檻，用戶(hù)需要付費或懂一定技術(shù)。比如潞晨科技的Open-Sora，如果不懂一點(diǎn)代碼知識，使用者便無(wú)從下手。
「定焦」整理國內外公布的AI視頻產(chǎn)品發(fā)現，各家的操作方式和功能差不多，用戶(hù)先用文字生成指令，同時(shí)選擇畫(huà)幅大小、圖像清晰度、生成風(fēng)格、生成秒數等功能，最終點(diǎn)擊一鍵生成。
這些功能背后的技術(shù)難度不同。其中最難的是，生成視頻的清晰度和秒數，這也是AI視頻賽道各家在宣傳時(shí)比拼的重點(diǎn)，背后與訓練過(guò)程中使用的素材質(zhì)量和算力大小密切相關(guān)。
AI研究者Cyrus告訴「定焦」，目前國內外大多數AI視頻支持生成480p/720p，也有少部分支持1080p的高清視頻。
他介紹，高質(zhì)量素材越多，算力越高，訓練出來(lái)的模型能生成更高質(zhì)量的視頻，但不代表有高質(zhì)量的素材算力，就能生成高質(zhì)量素材。而用低分辨率素材訓練的模型，若要強行生成高分辨視頻，會(huì )出現崩壞或者重復，比如多手多腳。這類(lèi)問(wèn)題可以通過(guò)放大、修復和重繪之類(lèi)的方式解決，不過(guò)效果和細節一般。
很多公司也把生成長(cháng)秒數當賣(mài)點(diǎn)。
國內大部分AI視頻支持2-3秒，能達到5-10秒算是比較強的產(chǎn)品，也有個(gè)別產(chǎn)品很卷，比如即夢(mèng)最高長(cháng)達12秒，不過(guò)大家都不及Sora，它曾表示最長(cháng)能生成一段60秒的視頻，但由于還沒(méi)有開(kāi)放使用，具體表現如何無(wú)法驗證。
光卷時(shí)長(cháng)還不夠，生成的視頻內容也得合理。石榴AI首席研究員張恒對「定焦」表示：從技術(shù)上，可以要求AI一直輸出，毫不夸張地說(shuō)，哪怕生成一個(gè)小時(shí)的視頻，也不是問(wèn)題，但我們多數時(shí)候要的并不是一段監控視頻，也不是一個(gè)循環(huán)播放的風(fēng)景畫(huà)動(dòng)圖，而是畫(huà)面精美有故事的短片。
「定焦」測試了5款國內比較熱的免費文生視頻AI產(chǎn)品，分別為字節的即夢(mèng)、Morph AI的Morph Studio、愛(ài)詩(shī)科技的PixVerse、MewXAI的藝映AI、右腦科技的Vega AI，給了它們一段相同的文字指令：“一個(gè)穿著(zhù)紅裙子的小女孩，在公園里，喂一只白色的小兔子吃胡蘿卜。”
幾款產(chǎn)品的生成速度上差不多，僅需2-3分鐘，但清晰度、時(shí)長(cháng)差得不少，準確度上更是“群魔亂舞” ，得到結果如下 ：
藝映AI
Vega AI
即夢(mèng)
Morph
Pix Verse各家的優(yōu)缺點(diǎn)很明顯。即夢(mèng)贏(yíng)在時(shí)長(cháng)，但生成質(zhì)量不高，主角小女孩在后期直接變形，Vega AI也是相同的問(wèn)題。PixVerse的畫(huà)質(zhì)比較差。
相比之下，Morph生成的內容很準確，但只有短短2秒。藝映畫(huà)質(zhì)也不錯，但對文字理解不到位，直接把兔子這一關(guān)鍵元素弄丟了，且生成視頻不夠寫(xiě)實(shí)，偏漫畫(huà)風(fēng)。
總之，還沒(méi)有一家產(chǎn)品能給到一段符合要求的視頻。
AI視頻難題：準確性、一致性、豐富性
「定焦」的體驗效果和各家釋放的宣傳片相差很大，AI視頻如果想要真正商用，還有相當長(cháng)的一段路要走。
張恒告訴「定焦」，從技術(shù)角度看，他們主要從三個(gè)維度考量不同AI視頻模型的水平：準確性、一致性、豐富性。
如何理解這三個(gè)維度，張恒舉了個(gè)例子。
比如生成一段“兩個(gè)女孩在操場(chǎng)看籃球比賽”的視頻。
準確性體現在，一是對內容結構理解的準確，比如視頻中出現的要是女孩，而且還是兩個(gè)；二是流程控制的準確，比如投籃投進(jìn)后，籃球要從籃網(wǎng)中逐漸下降；最后是靜態(tài)數據建模準確，比如鏡頭出現遮擋物時(shí)，籃球不能變成橄欖球。
一致性是指，AI在時(shí)空上的建模能力，其中又包含主體注意力和長(cháng)期注意力。
主體注意力可以理解為，在看籃球比賽的過(guò)程中，兩個(gè)小女孩要一直留在畫(huà)面里，不能隨便亂跑；長(cháng)期注意力為，在運動(dòng)過(guò)程中，視頻中的各個(gè)元素既不能丟，也不能出現變形等異常情況。
豐富性則是指，AI也有自己的邏輯，即便在沒(méi)有文字提示下，能生成一些合理的細節內容。
以上維度，市面上出現的AI視頻工具基本都沒(méi)能完全做到，各家也在不斷提出解決辦法。
比如在視頻很重要的人物一致性上，即夢(mèng)、可靈想到了用圖生視頻取代文生視頻。即用戶(hù)先用文字生成圖片，再用圖片生成視頻，或者直接給定一兩張圖片，AI將其連接變成動(dòng)起來(lái)的視頻。
“但這不屬于新的技術(shù)突破，且圖生視頻難度要低于文生視頻，”張恒告訴「定焦」，文生視頻的原理是，AI先對用戶(hù)輸入的文字進(jìn)行解析，拆解為一組分鏡描述，將描述轉文本再轉圖片，就得到了視頻的中間關(guān)鍵幀，將這些圖片連接起來(lái)，就能獲得連續有動(dòng)作的視頻。而圖生視頻相當于給了AI一張可模仿的具體圖片，生成的視頻就會(huì )延續圖片中的人臉特征，實(shí)現主角一致性。
他還表示，在實(shí)際場(chǎng)景中，圖生視頻的效果更符合用戶(hù)預期，因為文字表達畫(huà)面細節的能力有限，有圖片作為參考，會(huì )對生成視頻有所幫助，但當下也達不到商用的程度。直觀(guān)上說(shuō)，5秒是圖生視頻的上限，大于10秒可能意義就不大了，要么內容出現重復，要么結構扭曲質(zhì)量下降。
目前很多宣稱(chēng)用AI進(jìn)行全流程制作的影視短片，大部分采用的是圖生視頻或者視頻到視頻。
即夢(mèng)的使用尾幀功能用的也是圖生視頻，「定焦」特意進(jìn)行了嘗試，結果如下：
在結合的過(guò)程中，人物出現了變形、失真。
Cyrus也表示，視頻講究連貫，很多AI視頻工具支持圖轉視頻也是通過(guò)單幀圖片推測后續動(dòng)作，至于推測得對不對，目前還是看運氣。
據了解，文生視頻在實(shí)現主角一致性上，各家也并非純靠數據生成。張恒表示，大多數模型都是在原有底層DIT大模型的基礎上，疊加各種技術(shù)，比如ControlVideo（哈工大和華為云提出的一種可控的文本-視頻生成方法），從而加深AI對主角面部特征的記憶，使得人臉在運動(dòng)過(guò)程中不會(huì )發(fā)生太大變化。
不過(guò)，目前都還在嘗試階段，即便做了技術(shù)疊加，也還沒(méi)有完全解決人物一致性問(wèn)題。
AI視頻，為什么進(jìn)化慢？
在A(yíng)I圈，目前最卷的是美國和中國。
從《2023年全球最具影響力人工智能學(xué)者》（簡(jiǎn)稱(chēng)“AI 2000學(xué)者”榜單）的相關(guān)報告可以看出，2020年-2023年全球“AI 2000機構”4年累計的1071家機構中，美國擁有443家，其次是中國，有137家，從2023年“AI 2000學(xué)者”的國別分布看，美國入選人數最多，共有1079人，占全球總數的54.0%，其次是中國，共有280人入選。
這兩年，AI除了在文生圖、文生音樂(lè )的方面取得較大進(jìn)步之外，最難突破的AI視頻也有了一些突破。
在近期舉辦的世界人工智能大會(huì )上，倚天資本合伙人樂(lè )元公開(kāi)表示，視頻生成技術(shù)在近兩三年取得了遠超預期的進(jìn)步。新加坡南洋理工大學(xué)助理教授劉子緯認為，視頻生成技術(shù)目前處于GPT-3 時(shí)代，距離成熟還有半年左右的時(shí)間。
不過(guò)，樂(lè )元也強調，其技術(shù)水平還是不足以支撐大范圍商業(yè)化，基于語(yǔ)言模型開(kāi)發(fā)應用所使用的方法論和遇到的挑戰，在視頻相關(guān)的應用領(lǐng)域也同樣適用。
年初Sora的出現震驚全球，它基于transformer架構的新型擴散模型DiT再做擴散、生成的技術(shù)突破，提高了圖像生成質(zhì)量和寫(xiě)實(shí)，使得AI視頻取得了重大突破。Cyrus表示，目前國內外的文生視頻，大多數都沿用的是類(lèi)似技術(shù)。
圖源 / Sora官網(wǎng)
此刻，大家在底層技術(shù)上基本一致，雖然各家也以此為基礎尋求技術(shù)突破，但更多卷的是訓練數據，從而豐富產(chǎn)品功能。
用戶(hù)在使用字節的即夢(mèng)和Morph AI的Morph Studio時(shí)，可選擇視頻的運鏡方式，背后原理便是數據集不同。
“以往各家在訓練時(shí)使用的圖片都比較簡(jiǎn)單，更多是對圖片存在哪些元素進(jìn)行標注，但沒(méi)有交代這一元素用什么鏡頭拍攝，這也讓很多公司發(fā)現了這一缺口，于是用3D渲染視頻數據集補全鏡頭特征。”張恒表示，目前這些數據來(lái)自影視行業(yè)、游戲公司的效果圖。
「定焦」也嘗試了這一功能，但鏡頭變化不是很明顯。
Sora們之所以比GPT、Midjourney們發(fā)展得慢，是因為又搭了一個(gè)時(shí)間軸，且訓練視頻模型比文字、圖片更難。“現在能用的視頻訓練數據，都已經(jīng)挖掘殆盡，我們也在想一些新辦法制造一系列可以拿來(lái)訓練的數據。”張恒說(shuō)。
且每個(gè)AI視頻模型都有自己擅長(cháng)的風(fēng)格，就像快手可靈做的吃播視頻更好，因為其背后有大量這類(lèi)數據支撐。
石榴AI創(chuàng )始人沈仁奎認為，AI視頻的技術(shù)有Text to video（文本轉視頻），Image to video（圖片轉視頻），Video to video（視頻轉視頻），以及Avatar to video（數字人），能定制形象和聲音的數字人，已經(jīng)運用到了營(yíng)銷(xiāo)領(lǐng)域，達到了商用程度，而文生視頻還需要解決精準度和可控度問(wèn)題。
此刻，無(wú)論是由抖音和博納合作的AI科幻短劇《三星堆：未來(lái)啟示錄》，還是快手原創(chuàng )的AI奇幻短劇《山海奇鏡之劈波斬浪》，更多是大模型公司主動(dòng)找影視制作團隊進(jìn)行合作，有推廣自家技術(shù)產(chǎn)品的需求，且作品也沒(méi)有出圈。
在短視頻領(lǐng)域，AI還有很長(cháng)的路要走，干掉好萊塢了的說(shuō)法更為時(shí)尚早。
*題圖來(lái)源于Pexels。
