騰訊云智能打造AI+數智人生產(chǎn)工廠(chǎng)，3分鐘樣本訓練即可定制數字分身

“大家好，我是劉興亮，這是我的首個(gè)數智人分身?！?/p>

4月25日，在騰訊云智能“數智人媒體溝通會(huì )”上，數字經(jīng)濟學(xué)者劉興亮現場(chǎng)展示了他的專(zhuān)屬“數智人”，以及由這個(gè)“數智分身”輸出的短視頻“亮三點(diǎn)”。劉興亮分享稱(chēng)：“這個(gè)形象近似真人，表情、唇型匹配自然，包括我的特色口音也模擬得惟妙惟俏的數智人，正是騰訊云智能小樣本數智人。未來(lái)，不需要搭建拍攝場(chǎng)地，也不用提前化妝彩排，不受空間、時(shí)間限制，數智人可以隨時(shí)隨地幫我生成口播視頻，解放我的生產(chǎn)力?！?/p>

（圖：數字經(jīng)濟學(xué)者劉興亮用小樣本數智人生產(chǎn)視頻）

越來(lái)越多的數字人走入各行各業(yè)，投入實(shí)際應用，但高昂的制作和運營(yíng)成本讓不少企業(yè)望而卻步。如何讓數字人從大企業(yè)走向小商戶(hù)，成為小微企業(yè)經(jīng)營(yíng)的“可選項”，甚至成為個(gè)人創(chuàng )作者的創(chuàng )作工具？過(guò)往復雜的訓練樣本數據采集，導致數字人定制過(guò)程長(cháng)、成本高，一定程度上限制了數字人的快速應用落地。

溝通會(huì )上，騰訊云智能小樣本數智人生產(chǎn)平臺首次對外發(fā)布，平臺具有訓練樣本小、生產(chǎn)效率高、自動(dòng)化生產(chǎn)等特性，可以輕松實(shí)現“自助式”數智人生產(chǎn)制作。依托騰訊自研AI能力和技術(shù)經(jīng)驗，只需要3分鐘真人口播視頻、100句語(yǔ)音素材，平臺便可通過(guò)音頻、文本多模態(tài)數據輸入，實(shí)時(shí)建模并生成高清人像，在24小時(shí)內制作出與真人近似的“數智人”。千元級別的成本，小時(shí)級的制作時(shí)長(cháng)，大幅降低數字人使用門(mén)檻，騰訊云智能小樣本數智人為短視頻創(chuàng )作、知識分享、帶貨直播等場(chǎng)景應用提供了更多可能性。

騰訊云智能數智人產(chǎn)品總經(jīng)理陳磊表示，騰訊云智能正致力打造自動(dòng)化的“AI+數智人工廠(chǎng)”，以“產(chǎn)、銷(xiāo)、服”一站式平臺，實(shí)現“自助式”購買(mǎi)、生產(chǎn)和應用數智人。通過(guò)開(kāi)箱即用的數智人服務(wù)，騰訊云智能還將廣泛開(kāi)展生態(tài)被集成合作，攜手合作伙伴將更逼真、更智慧、更高效的數智人應用落地千行百業(yè)。

自研小樣本數智人驅動(dòng)技術(shù)框架，24小時(shí)實(shí)現數字分身復刻

騰訊云智能依托自研小樣本數智人驅動(dòng)前沿技術(shù)框架，以及基于自監督機制的通用多模態(tài)模型，讓用戶(hù)實(shí)現提交少數樣本數據進(jìn)行AI訓練，例如3分鐘真人口播視頻、100句語(yǔ)音素材，即可獲得與真人形象、語(yǔ)音近似的數智人，生產(chǎn)周期縮短至天級別。千元級的價(jià)格，自助式的服務(wù)，讓數智人成為“用得起”的數字化服務(wù)。

陳磊表示，小樣本數智人支持半身、全身形象展示，手勢動(dòng)作會(huì )根據內容靈活調整，也支持錄制背景任意更換，適用于直播帶貨等更廣泛的商用場(chǎng)景。相較于2D真人精品數字人，小樣本數智人無(wú)需專(zhuān)業(yè)影棚錄制素材，成本更低；相較于照片生成、僅能呈現面部形態(tài)的數字人，小樣本數智人可根據文本設計手勢，唇動(dòng)、口型、表情復現真人風(fēng)格。

（小樣本數智人形象、音色接近真人，支持半身、全身形象展示，適用于更廣泛的商用場(chǎng)景）

以知識分享口播視頻生產(chǎn)為例，小樣本數智人可以代醫生、律師等專(zhuān)業(yè)人士出鏡，大大節省視頻錄制時(shí)間。在溝通會(huì )現場(chǎng)，浙江樹(shù)蘭醫院盛國平博士展示如何用“數字分身”輸出醫學(xué)知識科普視頻，在忙碌工作中緩解視頻錄制壓力。按日更計算，如果以“妝發(fā)+調試+錄制”平均兩小時(shí)/期來(lái)算，一周就可以省下14個(gè)小時(shí)，一年可節省近800-900小時(shí)，相當于省下30-40天的制作時(shí)間。

打造數智人aPaaS平臺提供“產(chǎn)、銷(xiāo)、服”一體化服務(wù)

為了加速數智人服務(wù)普及，騰訊云智能還提出自動(dòng)化“AI+數智人工廠(chǎng)”的方向。開(kāi)箱即用的數智人生產(chǎn)服務(wù)，依托騰訊云TI平臺，內置超過(guò)10項AI算法能力。未來(lái)，無(wú)需任何算法、研發(fā)經(jīng)驗，只要在平臺導入視頻、語(yǔ)音訓練素材，即可通過(guò)“自助式”服務(wù)，完成大批量數智人形象、音色定制。

針對數智人運營(yíng)，騰訊云智能提供播報數智人平臺、交互數智人平臺服務(wù)。播報數智人平臺支持通過(guò)文字、語(yǔ)音輸入快速生成數智人視頻；交互數智人平臺可打造“超長(cháng)待機”的數智員工，可定制專(zhuān)屬問(wèn)答庫，提供7*24小時(shí)人機雙向交互服務(wù)。同時(shí)，也可實(shí)現數智人直播服務(wù)，直播間7*24小時(shí)不斷檔，自由切換真人語(yǔ)音接管，與用戶(hù)問(wèn)答互動(dòng)。

陳磊表示，騰訊云智能專(zhuān)注做厚aPaaS數智人平臺，以API接口形式向合作伙伴開(kāi)放“產(chǎn)、銷(xiāo)、服”一體化服務(wù)，支持合作伙伴開(kāi)發(fā)更多適用于垂直行業(yè)、垂直場(chǎng)景的數智人SaaS服務(wù)。目前，已經(jīng)有數十家合作伙伴依托平臺，向行業(yè)提供數智人直播SaaS、知識口播SaaS應用，覆蓋醫療、傳媒、金融多個(gè)行業(yè)。

作為騰訊云智能的生態(tài)集成伙伴，醫微訊創(chuàng )始人、CEO潘耿表示，騰訊云智能數智人生產(chǎn)及運營(yíng)能力的開(kāi)放，助力我們?yōu)榭蛻?hù)打造了適用于醫療行業(yè)的數字人服務(wù)。微媒數字會(huì )議CEO天狐表示，微媒將全力和云智能共創(chuàng )數字分身解決方案，形成可持續發(fā)展的品牌營(yíng)銷(xiāo)生態(tài)，為企業(yè)與個(gè)人進(jìn)行IP打造。

“皺紋級”形象還原，“音素級”音色復刻

騰訊自2018年開(kāi)始投入數智人研發(fā)和服務(wù)，是國內最早投入數字人領(lǐng)域的企業(yè)之一，已發(fā)布數百篇相關(guān)技術(shù)頂會(huì )、期刊論文、專(zhuān)利近百份。

在技術(shù)解讀分享中，騰訊優(yōu)圖實(shí)驗室研究總監汪鋮杰表示，2D小樣本技術(shù)的背后是3D技術(shù)?！靶颖緮抵侨藦闹庇^(guān)上感受是2D視頻，背后其實(shí)是3D人像在做支撐。從‘文本/音頻’信息到‘3D人像驅動(dòng)’再到‘2D人像視頻’的模式，通3D人臉結構的先驗信息引入，使數智人口型、表情更到位，讓小樣本數智人形象實(shí)現‘皺紋級’還原?！?/p>

另一方面，“?。颖荆?的背后是"大”?；谧员O督機制的通用多模態(tài)模型經(jīng)過(guò)大規模數據訓練，可以將語(yǔ)音、文本與人像的表情、口型進(jìn)行關(guān)聯(lián)?！?分鐘”的訓練視頻正是基于這個(gè)模型，學(xué)習每個(gè)人個(gè)性化的發(fā)音和口型特征。

汪鋮杰表示，雖然小樣本數智人使用門(mén)檻、成本都大幅降低，但他們希望能“用跑車(chē)的性能，服務(wù)家用轎車(chē)的用戶(hù)”，通過(guò)綜合運用多項視覺(jué)AI技術(shù)，提升小樣本數智人品質(zhì)，其中就包括高精度人像分割、光照優(yōu)化、人像美化、視線(xiàn)矯正等。他舉例稱(chēng)，當錄制視頻出現較暗、較朦等情況，小樣本數智人可以通過(guò)光照優(yōu)化技術(shù)進(jìn)行亮度提升，也能通過(guò)高精度的人像美化提升皮膚質(zhì)感。

在聲音復刻方面，基于騰訊自研的新一代小樣本音色定制技術(shù)，依托深度學(xué)習的聲學(xué)模型及神經(jīng)網(wǎng)絡(luò )聲碼器，小樣本數智人改善了傳統聲學(xué)模型語(yǔ)音韻律單一，語(yǔ)調平淡的問(wèn)題，讓語(yǔ)音合成更加精細化。例如，一段文字中哪里該讀重音、哪里情緒有變化等因素，都會(huì )經(jīng)由AI訓練識別，復現個(gè)人音色以及表達風(fēng)格，最終實(shí)現接近本人的自然表達。

此外，通過(guò)構建大規模高質(zhì)量音色數據的預訓練基底模型，未來(lái)小樣本數智人還將支持用戶(hù)只錄制普通話(huà)，即可合成英文及方言語(yǔ)音。

目前，騰訊云智能數智人已經(jīng)覆蓋3D寫(xiě)實(shí)、3D半寫(xiě)實(shí)、3D卡通、2D真人、2D卡通五種形象風(fēng)格，可實(shí)現超細微面部情感表情以及數百種肢體動(dòng)作，支持形象資產(chǎn)管理、業(yè)務(wù)服務(wù)配置及內容生產(chǎn)相關(guān)服務(wù)，以滿(mǎn)足不同場(chǎng)景下的服務(wù)需求。作為數智員工，騰訊云智能數智人已成功“入職”傳媒、金融、出行、文旅、政務(wù)等多個(gè)行業(yè)，依托新一代的多模態(tài)人機交互系統，同時(shí)連接騰訊豐富的內容和服務(wù)生態(tài)，實(shí)現從“數字人”智能升級到“數智人”。

未來(lái)，面向數智人應用，騰訊云智能將不斷通過(guò)CV、TTS、NLP、ASR等多項自研AI技術(shù)，推動(dòng)數智人服務(wù)更廣泛落地，以“普惠化”服務(wù)走入千行百業(yè)。

021yin.com