讓GAN再次偉大！拽一拽關(guān)鍵點(diǎn)就能讓獅子張嘴amp;大象轉身，湯曉鷗弟子的DragGAN爆火，網(wǎng)友：R.I.P. Photoshop

豐色 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

這兩天，一段AI修圖視頻在國內外社交媒體上傳瘋了。

不僅直接躥升B站關(guān)鍵詞聯(lián)想搜索第一，視頻播放上百萬(wàn)，微博推特也是火得一塌糊涂，轉發(fā)者紛紛直呼“PS已死”。

怎么回事？

原來(lái)，現在P圖真的只需要“輕輕點(diǎn)兩下”，AI就能徹底理解你的想法！

小到豎起狗子的耳朵：

大到讓整只狗子蹲下來(lái)，甚至讓馬岔開(kāi)腿“跑跑步”，都只需要 設置一個(gè)起始點(diǎn)和結束點(diǎn)，外加拽一拽就能搞定：

不止是動(dòng)物的調整，連像汽車(chē)這樣的“非生物”，也能一鍵拉升底座，甚至升級成“加長(cháng)豪華車(chē)”：

這還只是AI修圖的“基操”。

要是想對圖像實(shí)現更精準的控制，只需畫(huà)個(gè)圈給指定區域“涂白”，就能讓狗子轉個(gè)頭看向你：

或是讓照片中的小姐姐“眨眨眼”：

甚至是讓獅子張大嘴，連牙齒都不需要作為素材放入，AI自動(dòng)就能給它“安上”：

如此“有手就能做”的修圖神器，來(lái)自一個(gè)MIT、谷歌、馬普所等機構聯(lián)手打造的 DragGAN新模型，論文已入選SIGGRAPH 2023。

沒(méi)錯，在擴散模型獨領(lǐng)風(fēng)騷的時(shí)代，竟然還能有人把 GAN玩出新花樣 ！

目前這個(gè)項目在GitHub上已經(jīng)有 *k+ Star，熱度還在不斷上漲中（盡管一行代碼還沒(méi)發(fā)）。

所以，DragGAN模型究竟長(cháng)啥樣？它又如何實(shí)現上述“神一般的操作”？

拽一拽關(guān)鍵點(diǎn)，就能修改圖像細節

這個(gè)名叫DragGAN的模型，本質(zhì)上是為各種GAN開(kāi)發(fā)的一種交互式圖像操作方法。

論文以 StyleGAN2架構為基礎，實(shí)現了點(diǎn)點(diǎn)鼠標、拽一拽關(guān)鍵點(diǎn)就能P圖的效果。

具體而言，給定StyleGAN2生成的一張圖像，用戶(hù)只需要設置幾個(gè) 控制點(diǎn)（紅點(diǎn)）和 目標點(diǎn)（藍點(diǎn)），以及圈出將要移動(dòng)的區域（比如狗轉頭，就圈狗頭）。

然后模型就將迭代執行 運動(dòng)監督和點(diǎn)跟蹤這兩個(gè)步驟，其中運動(dòng)監督會(huì )驅動(dòng)紅色的控制點(diǎn)向藍色的目標點(diǎn)移動(dòng)，點(diǎn)跟蹤則用于更新控制點(diǎn)來(lái)跟蹤圖像中的被修改對象。

這個(gè)過(guò)程一直持續到控制點(diǎn)到達它們對應的目標點(diǎn)。

不錯，運動(dòng)監督和點(diǎn)跟蹤就是我們今天要講的重點(diǎn)，它是DragGAN模型中最主要的兩個(gè)組件。

先說(shuō) 運動(dòng)監督。在此之前，業(yè)界還沒(méi)有太多關(guān)于如何監督GAN生成圖像的點(diǎn)運動(dòng)的研究。

在這項研究中，作者提出了一種不依賴(lài)于任何額外神經(jīng)網(wǎng)絡(luò )的運動(dòng)監督損失（loss）。

其關(guān)鍵思想是，生成器的中間特征具有很強的鑒別能力，因此一個(gè)簡(jiǎn)單的損失就足以監督運動(dòng)。

所以，DragGAN的運動(dòng)監督是通過(guò) 生成器特征圖上的偏移補丁損失（shifted patch loss）來(lái)實(shí)現的。

如下圖所示，要移動(dòng)控制點(diǎn)p到目標點(diǎn)t，就要監督p點(diǎn)周?chē)囊恍Kpatch（紅圈）向前移動(dòng)的一小步（藍圈）。

再看 點(diǎn)跟蹤。

先前的運動(dòng)監督會(huì )產(chǎn)生一個(gè)新的latent code、一個(gè)新特征圖和吉印通像。

由于運動(dòng)監督步驟不容易提供控制點(diǎn)的精確新位置，因此我們的目標是更新每個(gè)手柄點(diǎn)p使其跟蹤上對象上的對應點(diǎn)。

此前，點(diǎn)跟蹤通常通過(guò)光流估計模型或粒子視頻方法實(shí)現。

但同樣，這些額外的模型可能會(huì )嚴重影響效率，并且在GAN模型中存在偽影的情況下可能使模型遭受累積誤差。

因此，作者提供了一種新方法，該方法通過(guò) 最近鄰檢索在相同的特征空間吉印通行點(diǎn)跟蹤。

而這主要是因為GAN模型的判別特征可以很好地捕捉到密集對應關(guān)系。

基于這以上兩大組件，DragGAN就能通過(guò)精確控制像素的位置，來(lái)操縱不同類(lèi)別的對象完成姿勢、形狀、布局等方面的變形。

作者表示，由于這些變形都是在GAN學(xué)習的圖像流形吉印通行的，它遵從底層的目標結構，因此面對一些復雜的任務(wù)（比如有遮擋），DragGAN也能產(chǎn)生逼真的輸出。

單張30*0幾秒鐘出圖

所以，要實(shí)現幾秒鐘“精準控圖”的效果，是否需要巨大的算力？

nonono。大部分情況下，每一步拖拽修圖， 單張RTX 30*0 GPU在數秒鐘內就能搞定。

具體到生成圖像的效果上，實(shí)際評估（均方誤差MSE、感知損失LPIPS）也超越了一系列類(lèi)似的“AI修圖”模型，包括RAFT和PIPs等等：

如果說(shuō)文字的還不太直觀(guān)，具體到視覺(jué)效果上就能感受到差異了：

值得一提的是，DragGAN的“潛力”還不止于此。

一方面，如果 增加關(guān)鍵點(diǎn)的數量，還能實(shí)現更加精細的AI修圖效果，用在人臉這類(lèi)對修圖要求比較嚴格的照片上，也是完全沒(méi)問(wèn)題：

另一方面，不止開(kāi)頭展示的人物和動(dòng)物，放在 汽車(chē)、細胞、風(fēng)景和天氣等不同類(lèi)型的圖像上，DragGAN也都能精修搞定。

除了不同的照片類(lèi)型，從站到坐、從直立到跑步、從跨站到并腿站立這種 姿勢變動(dòng)較大的圖像，也能通過(guò)DragGAN實(shí)現：

也難怪網(wǎng)友會(huì )調侃“遠古的PS段子成真”，把大象轉個(gè)身這種甲方需求也能實(shí)現了。

不過(guò)，也有網(wǎng)友指出了DragGAN目前面臨的一些問(wèn)題。

例如，由于它是基于StyleGAN2生成的圖像進(jìn)行P圖的，而后者訓練成本很高，因此距離真正商業(yè)落地可能還有一段距離。

除此之外，在論文中提到的“單卡幾秒鐘修圖”的效果，主要還是基于 2*6×2*6分辨率圖像：

至于模型是否能擴展到2*6×2*6以外圖像，生成的效果又是如何，都還是未知數。

有網(wǎng)友表示“至少高分辨率圖像從生成時(shí)間來(lái)看，肯定還要更長(cháng)”。

實(shí)際上手的效果究竟如何，我們可以等6月論文代碼開(kāi)源后，一測見(jiàn)真章。

團隊介紹

DragGAN的作者一共6位，分別來(lái)自馬克斯?普朗克計算機科學(xué)研究，薩爾布呂肯視覺(jué)計算、交互與AI研究中心，MIT，賓夕法尼亞大學(xué)和谷歌AR/VR部門(mén)。

其中包括兩位華人：

一作 潘新鋼，他本科畢業(yè)于清華大學(xué)（2016年），博士畢業(yè)于香港中文大學(xué)（2021年），師從湯曉鷗教授。

現在是馬普計算機科學(xué)研究所的博士后，今年6月，他將進(jìn)入南洋理工大學(xué)擔任助理教授（正在招收博士學(xué)生）。

另一位是 Liu Lingjie，香港大學(xué)博士畢業(yè)（201*年），后在馬普信息學(xué)研究所做博士后研究，現在是賓夕法尼亞大學(xué)助理教授（也在招學(xué)生），領(lǐng)導該校計算機圖形實(shí)驗室，也是通用機器人、自動(dòng)化、傳感與感知 (GRASP)實(shí)驗室成員。

值得一提的是，為了展示DragGAN的可控性，一作還親自上陣，演示了生發(fā)、瘦臉和露齒笑的三連P圖效果：

是時(shí)候給自己的主頁(yè)照片“修修圖”了（手動(dòng)狗頭）。

論文地址：

項目地址（代碼6月開(kāi)源）：

021yin.com/XingangPan/DragGAN

— 完—

「AIGC行業(yè)社群」招募中！

歡迎關(guān)注AIGC的伙伴們加入AIGC行業(yè)社群，一起學(xué)習、探索、創(chuàng )新AIGC！

加好友請備注「AIGC」「姓名-公司-職位」噢 ~

點(diǎn)這里 ??關(guān)注我，記得標星哦～

一鍵三連「分享」、「點(diǎn)贊」和「在看」

科技前沿進(jìn)展日日相見(jiàn) ~