Runway正式發(fā)布全新Gen3模型,AI視頻的王,它回來(lái)了。
在A(yíng)I視頻被一眾新秀,比如Sora、Luma、可靈等等占據注意力的時(shí)候,已經(jīng)有人忘了AI視頻領(lǐng)域統治了N久的王者,他叫Runway。
去年的11月份更新了一次Gen2模型模型,然后宣布他們要開(kāi)始組團隊開(kāi)始進(jìn)軍世界模型之后。
他們就再無(wú)動(dòng)靜了。
一晃眼,將近8個(gè)月的時(shí)間。
Sora、Vidu、LTX、Luma、可靈輪番炸場(chǎng)。Runway依然不為所動(dòng),甚至都有好事者,做了一張梗圖。
沉入海底的墓碑。
但是今天,那個(gè)AI視頻領(lǐng)域的王者。
他終于回來(lái)了。
在悄無(wú)聲息之間,他正式發(fā)布了它的Gen3模型。
021yin.com/blog/introducing-gen-3-alpha/
話(huà)不多說(shuō),先放幾個(gè)Gen3的Case。
我真的一聲長(cháng)嘆,你要說(shuō)這AI時(shí)代,是誰(shuí)拉開(kāi)了AI視頻的長(cháng)河,那自始至終,也只有一個(gè)名字。
Runway。
2022年8月,跟Stability AI一起訓了一個(gè)舉世聞名的模型,叫Stable Diffusion。
2023年2月發(fā)布Gen1,支持視頻風(fēng)格轉繪。
2023年6月發(fā)布Gen2,開(kāi)啟了文生視頻和圖生視頻的序章。
2024年6月,整整一年的時(shí)間,帶著(zhù)世界模型的Gen3,終于TM的來(lái)了?。?!
我的心情真的感慨萬(wàn)分,去年Gen2剛剛上線(xiàn)時(shí),我為了展示AI視頻的能力,做了《流浪地球3》的預告片,而這個(gè)片子,也一舉讓國內的所有影視人,看到了AI視頻的魅力。
而后11月Gen2模型更新,光影質(zhì)感更穩定,我又做了《三體》;2月為了參加Runway的Gen48比賽,我又做了《TheLastGoodbye》。
可以說(shuō),我命運的齒輪,也一直是跟runway一起做著(zhù)數不清的糾纏。
而今天,Runway的Gen3終于發(fā)布了,雖然是Alpha版本。
但也證明了,王,他一直都在。
我把所有的官方發(fā)的片子都看了一遍,大概總結了幾個(gè)點(diǎn):
1.極度穩定的光影
看官方的這個(gè)Case。
Prompt:在日本城市以超高速移動(dòng)的火車(chē)窗戶(hù)上,一個(gè)女人的微妙倒影。
夜景的燈光,絕對是AI視頻里面最難搞的之一,更別提在高速火車(chē)上極速變換的夜景燈光,但是Gen3跑出來(lái)的這個(gè)效果,不說(shuō)完美,但是依然變化極其豐富,且穩定的非??膳?。
2.10s長(cháng)度
可以看到,Gen3所有的case都是10s鐘的。
而且大概率,Gen3開(kāi)放給大家用的時(shí)候,大家生成的時(shí)長(cháng)也是10s。
最重要的是,根據他們老板Cristobal Valenzuela說(shuō),Gen3的模型生成速度還非???。
5s的視頻生成時(shí)間45s,10s的視頻生成時(shí)間90s。
基本秒殺現在市面上所有第二代AI視頻的生成速度了。畢竟動(dòng)不動(dòng)幾分鐘一個(gè),這個(gè)時(shí)間還是挺難頂的。
3.審美強
之前很多的AI視頻產(chǎn)品,審美就是一坨。真的。。。實(shí)在是太丑了。
還有總是給自己亂加戲的,關(guān)鍵加的還是巨丑的戲。用起來(lái)神煩,說(shuō)的就是那個(gè)Luma。
反觀(guān)Runway,一直以來(lái)的特點(diǎn)就是審美強,畢竟正兒八經(jīng)做影視起家的,還去做了《瞬息全宇宙》的特效,比外行強多了。
比如這兩個(gè)。
Prompt:博物館里一幅畫(huà)的廣角對稱(chēng)鏡頭。攝像機縮進(jìn)到靠近畫(huà)面。
Prompt:一個(gè)隱身人物在高樓大廈之間升空的航拍視角。
這配色和風(fēng)格,喜歡,是真喜歡。
4.想象力看著(zhù)靠譜
很多模型都是做真實(shí)世界的效果很強,但是一旦到了一些幻想、玄幻、科幻、魔幻的畫(huà)面上,就直接廢了。就感覺(jué)跟過(guò)擬合了一樣。
Runway Gen3的這個(gè)看著(zhù)很強,但是實(shí)際不好說(shuō),因為還得實(shí)際上手測。不過(guò)我自己,對Runway還是非常有信心的。
比如:
Prompt:在夜晚的破舊城市里,透過(guò)窗戶(hù)看到一個(gè)巨大奇怪的生物在行走,只有一盞街燈微弱地照亮了周?chē)?/p>
Prompt:通過(guò)一個(gè)有閃爍燈光的走廊進(jìn)行超級延時(shí)攝影,一塊銀色的布料飛過(guò)整個(gè)走廊。
5.物理規律
物理規律簡(jiǎn)直已經(jīng)是第二代AI視頻的標配了。Runway Gen3的物理規律看著(zhù)也非常的棒?;旧鲜切袠I(yè)第一梯隊水平。
Prompt:一位年長(cháng)男士在側面受光的鋼琴上演奏。
整體,我很喜歡。
在官方文檔里,Runway對Gen3 alpha的描述是這樣的:
"Gen-3 Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training. It is a major improvement in fidelity, consistency, and motion over Gen-2, and a step towards building General World Models."
"Gen-3 Alpha 是 Runway 在為大規模多模態(tài)訓練構建的新基礎設施上訓練的即將推出的一系列模型中的第一個(gè)。與 Gen-2 相比,它在保真度、一致性和動(dòng)作方面有了重大改進(jìn),是朝著(zhù)構建通用世界模型邁出的一步。"
但是世界模型,不是最重要的,因為大家已經(jīng)看過(guò)Sora、可靈啥的了。
最重要的是這句話(huà)。
"現有的控制模式包括 Motion Brush、高級攝像頭控制、導演模式以及即將推出的工具,用于更精細地控制結構、風(fēng)格和動(dòng)作。"
我跟很多的AI創(chuàng )作者有過(guò)很多的交流,大家有一個(gè)觀(guān)點(diǎn)出奇的統一,那就是:Luma和可靈是玩具。
因為可控性。
一個(gè)完整的AI視頻作品,要的除了物理規律,還要超強的可控性,要不然就會(huì )像氣球人的導演控訴Sora一樣,Roll特么300個(gè)鏡頭才有1個(gè)能用的。
而Luma和可靈,都只有文生視頻和圖生視頻這兩種模式,甚至可靈的圖生視頻都還沒(méi)上線(xiàn)。
不夠,這遠遠不夠。
而Runway在2018年成立的那一天,他們的目標,就是顛覆電影行業(yè)。
所以他們清楚,可控性這玩意,太重要了。
所以他們做了相機運動(dòng),做了運動(dòng)筆刷,做了人物扣除,做了各種各樣的有趣的工具。
這一切,都是為了創(chuàng )作者們,能做出更可控的畫(huà)面。而我到了如今,用的最多的AI視頻工具,也還依然是Runway。
現在,Runway的Gen3,直接帶著(zhù)那全套的工具,回來(lái)了。
未來(lái)幾天內,就會(huì )開(kāi)放給所有人。
以Runway的Gen3 Alpha推出的今天為信號。
我覺(jué)得,AI視頻正式進(jìn)入了2.0時(shí)代。
嗯,那個(gè)全面沖擊的時(shí)代。
迎接變革。
也迎接,王的歸來(lái)吧。
以上,既然看到這里了,如果覺(jué)得不錯,隨手點(diǎn)個(gè)贊、在看、轉發(fā)三連吧,如果想第一時(shí)間收到推送,也可以給我個(gè)星標?~謝謝你看我的文章。