達摩院發(fā)布一站式AI視頻創(chuàng )作平臺尋光，打造全新AI工作流
機器之心發(fā)布
機器之心編輯部
今年是 AI 視頻生成爆發(fā)的元年，以 Sora 為代表的算法模型和產(chǎn)品應用不斷涌現。短短幾個(gè)月內，我們目睹了幾十種視頻生成工具的問(wèn)世，基于 AI 的視頻創(chuàng )作方式開(kāi)始流行起來(lái)。
但新技術(shù)也引發(fā)更多的挑戰與質(zhì)疑，除了大家熟知的 “開(kāi)盲盒” 現象，AI 所生成的視頻內容也因可控性差、處理工作流繁瑣而頻頻被詬病。
OpenAI 曾經(jīng)邀請專(zhuān)業(yè)視頻制作團隊對 Sora 進(jìn)行了測試，其中來(lái)自于多倫多的 Shy Kids 團隊，利用 Sora 制作了一個(gè)氣球人主題的短片，把創(chuàng )意和 AI 技術(shù)進(jìn)行了完美的結合，讓人印象深刻。
整個(gè)短片其實(shí)并不是 Sora 直接輸出的結果，而是由多個(gè)視頻片段組成，且 Sora 在生成不同視頻時(shí)，很難保證主角的一致性。因此，在引入了大量的人工后期編輯，他們才呈現出最終的短片效果。Shy Kids 的主創(chuàng )們總結，“Sora 的技術(shù)很酷，但是它的生成過(guò)程很難控制。”
對生成內容的精準可控，是 AI 視頻創(chuàng )作中的重要需求，也是今天算法面臨的一大挑戰。
為此，在剛結束的上海世界人工智能大會(huì )（WAIC）上，達摩院發(fā)布了一站式 AI 視頻創(chuàng )作平臺 “尋光”。
其定位為 PUGC 一站式 AI 視頻創(chuàng )作平臺，可輔助用戶(hù)創(chuàng )作劇本、分鏡圖等，并通過(guò)工作流整合提升創(chuàng )作全流程的效率，支持對生成及上傳素材進(jìn)行豐富的 AI 編輯，提供人物控制、場(chǎng)景控制、風(fēng)格遷移、運鏡控制、目標新增 / 消除 / 修改等十多種 AI 編輯功能，讓視頻中的元素和對象精準可控。
達摩院希望借由尋光平臺進(jìn)一步提升 AI 視頻創(chuàng )作的效率，目標是用 AI 能力重塑傳統視頻制作的整個(gè)流程，打造 AI 時(shí)代的全新視頻工作流。
業(yè)界首次落地
基于圖層的視頻編輯
在尋光研發(fā)的初期，達摩院還與影視傳媒從業(yè)者及創(chuàng )作者進(jìn)行了廣泛且密集調研，了解其對于視頻 AIGC 創(chuàng )作的需求與痛點(diǎn)。他們發(fā)現，視頻圖層幾乎是所有視頻創(chuàng )作者們提到頻次最高、最迫切的需求。
基于此，尋光平臺首次在行業(yè)推出系統性的視頻圖層編輯功能。用戶(hù)通過(guò)文本輸入，即可生成符合文本描述且具有透明背景的視頻，并且一鍵將其融合到其他背景視頻當中。在傳統視頻生成能力的基礎上，用圖層這樣一種更靈活的形式來(lái)產(chǎn)生內容。
尋光更提供圖層拆解功能，輕輕一圈，選定目標立刻拆解為單獨的圖層視頻，再絲滑嵌入不同的背景視頻。
用戶(hù)可以將不同的前景圖層跟不同的背景進(jìn)行圖層融合，組合出更多新的視頻。圖層融合的能力進(jìn)一步激發(fā) AI 創(chuàng )作力和想象力，同時(shí)能夠保持多個(gè)分鏡頭之間的場(chǎng)景和人物的一致性。
在達摩院看來(lái)，AI 不會(huì )取代創(chuàng )作者的工作，而是會(huì )優(yōu)化視頻創(chuàng )作的工作流，成為創(chuàng )意驅動(dòng)的新引擎。
一站式 AI 創(chuàng )作平臺
更簡(jiǎn)潔的交互，更豐富的編輯能力
劇本創(chuàng )作、分鏡設計、素材編輯…… 傳統的視頻創(chuàng )作步驟分工明晰、周期冗長(cháng)。在 AI 技術(shù)的加持下，原本分散在不同制作流程中的創(chuàng )作步驟，如今都可以在尋光平臺上流暢完成。
“我們希望讓視頻編輯像操作 ppt 一樣簡(jiǎn)潔直觀(guān)，容易上手。” 達摩院視覺(jué)技術(shù)實(shí)驗室高級算法專(zhuān)家陳威華在現場(chǎng)介紹，尋光平臺的一大亮點(diǎn)在交互方面。
尋光平臺在設計時(shí)便充分考慮到 AI 視頻創(chuàng )作的特點(diǎn)，將每個(gè)視頻項目抽象為多個(gè)分鏡頭畫(huà)面，用戶(hù)可根據劇本自動(dòng)生成一組分鏡頭，也可以自己上傳原始視頻素材，由算法切分成多個(gè)分鏡頭。
在創(chuàng )作空間里，用戶(hù)可以很方便的查看每一個(gè)分鏡頭，一個(gè)場(chǎng)景內的多個(gè)分鏡頭可以收起或者展開(kāi)，場(chǎng)景之間可以通過(guò)拖拽來(lái)調整順序，場(chǎng)景內的分鏡頭也可以進(jìn)行拖拽。用戶(hù)也可以在任意位置吉印通行分鏡頭的添加和新建，可調用圖片生成或者視頻生成能力去產(chǎn)生內容，也可以添加自己已有的各種素材。
對于每個(gè)分鏡頭，尋光提供完整且智能的 AI 視頻編輯能力進(jìn)行處理，可依據用戶(hù)意圖，在語(yǔ)義層面而不是像素層面實(shí)現編輯。分鏡頭里的人體、人臉、前景、背景等任意局部目標，都可以進(jìn)行精細化的編輯和修改。
比如，理解空間景深的運鏡控制；
又比如，能夠理解物體相對關(guān)系的目標消除 / 修改。
在對視頻全局元素的編輯上，尋光平臺提供了超過(guò) 20 種的風(fēng)格遷移。
尋光也提供幀率控制、視頻超分等實(shí)用的視頻編輯功能。
“我們希望一個(gè)視頻里的所有元素都是可編輯、可修改的，這樣可以給用戶(hù)的創(chuàng )作提供最大的自由度”，陳威華說(shuō)。
寫(xiě)在最后
今天，我們正處在 AIGC 的變革浪潮之中，AI 有可能催生出新的視頻工作流。無(wú)論是專(zhuān)業(yè)的影視從業(yè)者還是熱愛(ài)創(chuàng )作的 UGC 用戶(hù)，都將從中獲益。
“工欲善其事，必先利其器”，達摩院希望尋光視頻創(chuàng )作平臺能夠成為每一位創(chuàng )作者的專(zhuān)屬視頻工作室，實(shí)現 AI 與創(chuàng )作者之間更緊密、高效的協(xié)作，真正釋放 AI 的生產(chǎn)力。
為此，達摩院視覺(jué)技術(shù)實(shí)驗室已做了大量技術(shù)儲備。該實(shí)驗室致力于多模態(tài)視覺(jué)信號的理解與生成技術(shù)研究，當前的重點(diǎn)研究方向包括更加精準的圖像 / 視頻 / 3D 內容生成，更加可控的圖像 / 視頻 / 3D 內容編輯，更加高效的生成框架，多模態(tài)的理解 - 生成框架等。
陳威華表示，“尋光”將于近期開(kāi)放內測，持續迭代，優(yōu)化交互，歡迎創(chuàng )作者們來(lái)定制屬于自己的 AI 工作流。
內測申請地址：
021yin.com/
