深工| xR虛擬制片、數字人與動(dòng)捕技術(shù)的融合革新

　　在數字化浪潮的推動(dòng)下，xR虛擬制片、數字人和動(dòng)作捕捉技術(shù)正引領(lǐng)一場(chǎng)內容創(chuàng )作的革新。“通過(guò)xR虛擬制片，創(chuàng )作者將創(chuàng )意實(shí)現的時(shí)間縮短了80%。”一位資深電影制片人表示。xR虛擬制片不僅為創(chuàng )作提供了超越現實(shí)的創(chuàng )作空間，還大幅提高了影視行業(yè)的生產(chǎn)效率。

　　在直播領(lǐng)域，數字人打破了主播的時(shí)空限制，能夠與觀(guān)眾實(shí)時(shí)互動(dòng)，極大地增強了靈活性和參與感。而動(dòng)捕技術(shù)為數字人賦予了更真實(shí)的表現力。xR虛擬制片、數字人和動(dòng)捕技術(shù)的深度融合，不僅拓展了創(chuàng )作的邊界，還成為驅動(dòng)行業(yè)發(fā)展的新引擎，重塑了影視、教育、游戲和直播等多個(gè)行業(yè)。

　　市場(chǎng)預測顯示，到2025年，全球xR市場(chǎng)規模將突破千億美金。隨著(zhù)這些技術(shù)的應用，影視、教育、游戲和直播等多領(lǐng)域的創(chuàng )作流程更加高效、經(jīng)濟，也為觀(guān)眾帶來(lái)了前所未有的沉浸式體驗。

　　通過(guò)整合x(chóng)R虛擬制片、數字人和動(dòng)作捕捉技術(shù)，深工為品牌和創(chuàng )作者提供了更為靈活的創(chuàng )作工具，使他們能夠在虛擬環(huán)境中實(shí)現更具表現力和互動(dòng)性的內容, 成功實(shí)現了虛擬與現實(shí)的深度融合。同時(shí)，這種技術(shù)解決方案不僅能滿(mǎn)足影視、游戲和直播等領(lǐng)域的多樣需求，還為商業(yè)展示和品牌營(yíng)銷(xiāo)帶來(lái)了新的創(chuàng )新模式和無(wú)限可能性。

技術(shù)核心：虛擬制片與數字人結合

　　用戶(hù)采用基于UE5引擎的xR虛擬制片技術(shù)，通過(guò)將虛擬場(chǎng)景與數字人結合，創(chuàng )造出更加逼真、互動(dòng)的沉浸式體驗。數字人(Metahuman)技術(shù)由UE5官方早在UE4階段開(kāi)發(fā)，允許創(chuàng )作者打造高度真實(shí)的虛擬人類(lèi)角色。用戶(hù)在此基礎上進(jìn)行深度定制與優(yōu)化，增加了和數字人互動(dòng)的可能性，實(shí)現了與虛擬制片的完美融合。

　　UE5提供了一套在線(xiàn)的數字人創(chuàng )建工具(Metahuman Creator)。通過(guò)注冊Epic賬號并申請使用即可立刻開(kāi)始體驗。這套工具允許用戶(hù)從預設角色中進(jìn)行選擇并直接創(chuàng )建，不僅支持調節特定部位的尺寸、位置或種類(lèi)，還可以創(chuàng )建或修改毛發(fā)、體型、膚色以及簡(jiǎn)單的服飾。所有通過(guò)這個(gè)工具創(chuàng )建的角色都將擁有統一的拓撲結構、多重LOD以及對應的綁定資產(chǎn)。用戶(hù)可以在UE5中通過(guò)Quixel Bridge快速地從用戶(hù)的賬號中下載用戶(hù)所創(chuàng )建好的數字人角色，隨后就可以在場(chǎng)景中對它進(jìn)行使用。

　　然而，這套工具目前對亞洲人物的支持有限。這意味著(zhù)如果用戶(hù)要使用UE5官方提供的這套工具去創(chuàng )建一個(gè)亞洲人的臉型和體型是十分困難的。由此，用戶(hù)在創(chuàng )建過(guò)程中開(kāi)發(fā)了多種解決方案：

　　1.基于照片生成數字人

　　通過(guò)Metahuman進(jìn)行快速特征點(diǎn)追蹤，可以基于角色的正臉照片生成數字人模型，但由于側臉深度和遮擋物的限制，如果面部有遮擋，效果會(huì )進(jìn)一步降級。因此，這種方法只適用于簡(jiǎn)單的角色創(chuàng )建。此外，該方法需要手動(dòng)指定或創(chuàng )建角色的膚色材質(zhì)貼圖。

　　2. 基于Iphone深度攝像頭的數字人創(chuàng )建

　　使用Live Link Face軟件錄制包含人物面部深度信息的視頻，再生成精確的角色模型。該方法要求在布光良好的環(huán)境中進(jìn)行。面部不能有任何過(guò)曝、大型陰影或局部曝光。同時(shí)在錄制過(guò)程中，不能將面部移開(kāi)取景框。用戶(hù)一般會(huì )錄制包含正臉、左側臉、右側臉以及齜牙的視頻。通過(guò)這個(gè)視頻，可以生成準確包含角色面部特征以及精確到牙齒特征的模型。該方法除了不能直接創(chuàng )建材質(zhì)貼圖外，是在兼具速度的情況下，最準確的一種角色模型生成方式。

　　3. 基于模型進(jìn)行數字人的創(chuàng )建

　　如果用戶(hù)已有外置的模型或通過(guò)一組照片生成的模型，也可以將其轉化為數字人。該方法創(chuàng )建的模型是通過(guò)外部包裹拓撲以及特征點(diǎn)的追蹤進(jìn)行生成。只要拓撲結構一致，也可以將現有的模型直接轉化為Metahuman可以使用的狀態(tài)。

　　生成數字人模型后，用戶(hù)還需要檢查動(dòng)畫(huà)的正確性。例如，Metahuman在動(dòng)畫(huà)中經(jīng)常會(huì )出現諸如眼睛無(wú)法閉合等細微的問(wèn)題，這需要對它的blendshape進(jìn)行手動(dòng)修改。用戶(hù)可以使用數字人創(chuàng )建工具進(jìn)行數字人DNA的創(chuàng )建。

　　DNA是UE5提供的一種數字人頭部數據存儲的類(lèi)型，包含了多種LOD、頭部形狀以及綁定的細節。用戶(hù)可以在Maya中通過(guò)DNA viewer和DNA Calib修改DNA。

DNA Viewer界面

　　DNA viewer允許用戶(hù)讀取對應的DNA所包含的數據。用戶(hù)對其修改后，可以通過(guò)DNA Calib重新注入DNA文件中，再導入UE5中創(chuàng )建一個(gè)擁有正確動(dòng)畫(huà)的數字人。

　　而在數字人皮膚的創(chuàng )建中，除去官方可用的皮膚，用戶(hù)可以自己購買(mǎi)或制作高精度的皮膚紋理貼圖，在SP中對其進(jìn)行修改即可。Metahuman的褶皺也有對應的貼圖去控制產(chǎn)生的效果以及對應的渲染材質(zhì)，這也是需要用戶(hù)手動(dòng)去進(jìn)行修改調試。

　　用戶(hù)可以在傳統的建模軟件中利用插件快速地生成毛發(fā)。然而，用戶(hù)無(wú)法使用數字人創(chuàng )建工具生成用戶(hù)想要的準確的毛發(fā)，它只能提供預設的毛發(fā)以供用戶(hù)參考。并且，只有手動(dòng)創(chuàng )建的毛發(fā)才能更好的貼合數字人。

　　數字人的服裝既可以使用例如Style3d，Marvelous designer進(jìn)行制作，也可以使用傳統的雕刻軟件進(jìn)行制作。制作完成后需要和數字人的權重進(jìn)行刷取，保證運動(dòng)的一致性，或使用UE5自帶的布料模擬或者其他布料模擬插件進(jìn)行解算，以模擬真實(shí)布料的質(zhì)感和運動(dòng)邏輯。

　　到此為止，數字人的調試基本完成。

動(dòng)捕技術(shù)的突破應用

　　接下來(lái)便進(jìn)入動(dòng)捕的環(huán)節。

　　數字人的動(dòng)捕分為面捕和肢體捕捉。用戶(hù)將使用IPhone的Live link face完成面捕，其使用方式分為L(cháng)ive link(ARKit)以及Metahuman Animator。前者使用Iphone提供的ARKit框架在設備上捕捉動(dòng)畫(huà)，通過(guò)本地網(wǎng)絡(luò )實(shí)時(shí)傳輸到UE5，適合直播環(huán)境使用。后者使用Iphone捕捉的原始視頻、深度和音頻數據，在傳輸到本地后進(jìn)行解算，適合傳統制片的流程使用。當錄制解算的精度的準確性遠超實(shí)時(shí)傳輸的精度，并且臉型越貼近數字人，其解算效果會(huì )越好。如果需要無(wú)人直播的效果，可以考慮后者。

　　在肢體捕捉中，用戶(hù)使用HTC Tracker配合OpenXR將數據傳遞給UE5。通過(guò)對使用者T pose的讀取和校準，用戶(hù)可以在不同體型的數字人上使用同一位動(dòng)捕演員。用戶(hù)通過(guò)對手臂和腿進(jìn)行IK綁定，因此僅需要6個(gè)Tracker即可實(shí)現最基本，最簡(jiǎn)單的動(dòng)捕效果。

動(dòng)捕效果（左）現場(chǎng)人員（右）

xR虛擬制片與動(dòng)捕的結合

　　數字人在和xR虛擬制片的結合有離線(xiàn)和實(shí)時(shí)的兩種方向。

　　1.離線(xiàn)

　　用戶(hù)可以將預錄的動(dòng)畫(huà)傳遞給數字人進(jìn)行使用。這個(gè)模式對服務(wù)器性能的壓力最小，適合在有劇本，有預演的前提下使用。同時(shí)，此方式能表現的精度也是最高的。

離線(xiàn)計算下和本人匹配的面部數據

捕捉完畢的數據替換在其他角色上

　　2.實(shí)時(shí)

　　用戶(hù)可以通過(guò)Live Link進(jìn)行實(shí)時(shí)動(dòng)畫(huà)數據的傳遞，該模式對服務(wù)器性能會(huì )產(chǎn)生額外壓力。因此，需要對場(chǎng)景進(jìn)行額外的優(yōu)化以支持數字人的運行。

　　用戶(hù)還可以使用AR前景將數字人作為前景融合到場(chǎng)景中。該方案需要使用單獨的服務(wù)器進(jìn)行解算，從而最大程度上分離場(chǎng)景渲染和數字人運行的壓力。同時(shí)，該方案也可以單獨用在真實(shí)場(chǎng)景中和現實(shí)人物進(jìn)行互動(dòng)。

　　作為行業(yè)的創(chuàng )新者，深工一直致力于將最前沿的技術(shù)轉化為實(shí)際的商業(yè)價(jià)值，將xR虛擬制片、數字人和動(dòng)捕技術(shù)融合創(chuàng )新，推動(dòng)商業(yè)顯示和傳媒行業(yè)的發(fā)展。未來(lái)，我們將繼續投身于這些前沿技術(shù)，進(jìn)一步提升創(chuàng )作效率和互動(dòng)體驗，賦能更多行業(yè)場(chǎng)景。

　　隨著(zhù)技術(shù)的不斷進(jìn)化，數字化內容創(chuàng )作將迎來(lái)更多顛覆性的變化。深工愿與更多合作伙伴一起，共同探索和開(kāi)拓數字內容創(chuàng )作的新天地。