諾瓦XR解決方案

諾瓦XR解決方案

　　一、項目背景

　　XR，即Extended Reality, 擴展現實(shí)技術(shù)。它允許用戶(hù)在實(shí)時(shí)生產(chǎn)環(huán)境中使用AR(增強現實(shí))和MR(混合現實(shí))將虛擬和物理世界混合在一起，以創(chuàng )建完全沉浸式的體驗。

　　目前該技術(shù)已在電影制作、廣告拍攝、大型活動(dòng)中呈井噴之勢。典型如好萊塢熱劇《曼達洛人》、《西部世界》，“美國偶像”綜藝節目中Katty Perry的表演，國內雙十一晚會(huì )李榮浩現場(chǎng)演唱的《耳朵》，2021春晚周杰倫的《Mojito》表演等，其中均運用了大量xR元素。

　　該解決方案前端需要對應的動(dòng)作捕捉設備去配合相機完成拍攝，輔以特殊的媒體服務(wù)器配合游戲引擎完成內容實(shí)時(shí)渲染及節目編輯，后端通過(guò)顯示屏控制系統完成節目傳送，實(shí)現屏體內容的顯示。

　　這是XR拍攝時(shí)的整個(gè)系統構成圖：

　　整個(gè)XR系統看起來(lái)組成復雜，用的設備很多;但LED顯示屏是其中不可或缺的重要設備;因為所有的虛擬畫(huà)面都要通過(guò)LED屏顯示出來(lái)，再通過(guò)攝像機拍攝，才能最終完成XR場(chǎng)景。

　　總體上可以說(shuō)：是XR發(fā)現了LED顯示屏新的方向和價(jià)值。

　　二、項目?jì)?yōu)勢

　　以往傳統的影片是以綠幕的方式進(jìn)行拍攝的。步驟是這樣的：

　　1. 先用綠幕進(jìn)行拍攝;

　　2. 進(jìn)行大量的后期制作，最終完成影片;

　　這種綠幕影片拍攝的劣勢非常明顯：

　　1. 演員演戲全靠想象，導致拍攝難度極大;

　　2. 導演無(wú)法在現場(chǎng)看到效果，導致如果后期制作遇到難題時(shí)，只能重新拍攝，比較麻煩;

　　3. 要花費大量的人力和時(shí)間在后期制作上，相信大家都有聽(tīng)說(shuō)過(guò)好萊塢的百萬(wàn)調色師的傳說(shuō);

　　而XR能有效解決上述痛點(diǎn)，提升整個(gè)影視制作效率與水準?；赬R的影片拍攝越來(lái)越火爆;其拍攝步驟是這樣的：

　　1. 將制作好的場(chǎng)景在LED屏上播放;

　　2. 演員直接在一個(gè)由LED屏組成的虛擬拍攝場(chǎng)地進(jìn)行表演;

　　3. 使用攝像機直接進(jìn)行拍攝，導演可以同步在監視器上看到拍攝效果。

　　這種拍攝方式的優(yōu)勢非常明顯：

　　1. 演員不用憑空想象著(zhù)完成表演;

　　2. 拍攝過(guò)程中導演就可以看到拍攝效果，如果有問(wèn)題，當場(chǎng)就可以重拍，節約拍攝時(shí)間，減少后期的重復投入;

　　3. 后期制作簡(jiǎn)單，時(shí)間短，出片周期大大縮短;

　　XR還具有廣泛的應用場(chǎng)景和前景：

　　1. 影視制作：一般電影約有 10%-15%的內容，需要在攝影棚制作。XR 營(yíng)造了逼真的攝制空間，演員、導演可以實(shí)時(shí)看到拍攝和表演效果。這對于影視行業(yè)有著(zhù)極大的吸引力?，F在，國內很多地方都重視文娛、文化、文旅產(chǎn)業(yè)，爭相落地電影制造基地、影棚等。

　　2. 產(chǎn)品發(fā)布會(huì )：疫情的影響，讓更多的廠(chǎng)商把發(fā)布會(huì )轉移到線(xiàn)上。線(xiàn)上發(fā)布會(huì )，成本急劇下降，受眾極大擴充。加上 XR 的加持，發(fā)布會(huì )的播出效果將會(huì )超出人們的想象。發(fā)布會(huì )是實(shí)時(shí)播出，效果對 XR 的依賴(lài)很重。

　　3. 廣電類(lèi)節目制作：各種錄播節目，可以依靠 XR 影棚，低成本達到更好的效果。

　　4. 科教：教育將是 XR 的一個(gè)典型應用場(chǎng)景。無(wú)論是大型現場(chǎng)還是線(xiàn)上教育，抑或是博物館等科普場(chǎng)所，XR 將提供直觀(guān)的、身臨其境、逼真的實(shí)時(shí)效果。

　　5. 演唱會(huì )、電視節目。比如以后請嘉賓，請到的可能是虛擬的，或者是異地表演的。一方面是檔期，如果嘉賓檔期有限，來(lái)錄制要幾天，可能就請不到了。一方面是，一個(gè)嘉賓背后有著(zhù)一堆經(jīng)紀人、后勤等人員，吃喝拉撒費用極高。如果是虛擬的，可以解決很多問(wèn)題。

　　6. 游戲及相關(guān)活動(dòng)：游戲本身就是虛擬的，無(wú)論是游戲本身，還是游戲競賽和游戲

　　活動(dòng)相關(guān)，最適合虛擬和現實(shí)結合。

　　對于LED顯示來(lái)說(shuō)，XR應用場(chǎng)景是一塊待挖掘的新市場(chǎng)。

　　新思界產(chǎn)業(yè)研究中心出具的《2020年全球及中國擴展現實(shí)(XR)產(chǎn)業(yè)深度研究報告》顯示，2019年全球擴展現實(shí)市場(chǎng)規模為186億美元，在預測期(2020- 2030年)以48.3%的復合年增長(cháng)率增長(cháng)。

　　三、項目問(wèn)題

　　當前，國內大多的XR應用均是以租賃或者固裝來(lái)做的，所用的LED屏也只是常規屏。這表明，大家對XR的認知不足。

　　LED顯示在XR應用中的亂象：

　　1. 用三塊租賃P3.9的屏，放墻角一搭，跟配套的其他租用視頻媒體服務(wù)器設備接在一起，然后就成了XR;

　　2. 用固裝P2.5屏，搭上幾塊，再搞些媒體服務(wù)器，成了XR ;

　　由于RGB排列導致不同視角時(shí)接收到的RGB光強度不一樣，從而出現不同角度看到的顏色不一致，出現細節丟失，出現輪廓線(xiàn)和色帶的問(wèn)題;顯示的顏色不精準，存在偏色，如顯示的人臉偏紅等，導致后期制作投入大;顯示畫(huà)面的對比度不足，導致拍攝景深不足等問(wèn)題。

　　那XR應用需要什么樣的LED屏?

　　在現在，要有效地提升畫(huà)質(zhì)，拍攝的內容的質(zhì)量也是很關(guān)鍵的。不得不聊聊HDR了。因為HDR就是為了還原真實(shí)世界而存在的。

　　Nova是行業(yè)內第一家支持HDR顯示的公司，并且我們不僅支持了HDR10，還支持了廣泛應用于廣電領(lǐng)域的HLG，得到許多歐美客戶(hù)的青睞。像歐洲的LONG公司就是使用的我們的HDR解決方案。

　　XR對LED屏的基礎要求：

　　1. 拍攝無(wú)掃描線(xiàn);

　　保證屏體的視覺(jué)刷新率要高，以保證攝像機拍不到掃描線(xiàn);

　　屏體設計：低掃數，靜態(tài)顯示最佳，諾瓦建議不要超過(guò)8S;

　　控制系統：配合IC保證低灰刷新率夠高;支持genlock，能使顯示屏與視頻源和攝像機保持同步;

　　2. 保證屏體灰度級數要夠高，色彩控制更精準;

　　屏體設計：選用的RGB燈珠能覆蓋客戶(hù)使用的色域范圍;設計的屏體沒(méi)有耦合(屏體設計和IC選用)，白對黑的耦合，黑對白的耦合以及跨板耦合等。

　　控制系統：配合IC保證提升屏體的灰度級數; 能對屏體進(jìn)行標定：校準屏體0~255的亮度符合EOTF曲線(xiàn);校準屏體的色彩準確度，保證δE<4 。

　　3. 任意視角顯示色彩一致

　　保證RGB芯片間距足小。屏體設計：選用更小尺寸的LED芯片;面罩進(jìn)行特殊設計.

　　控制系統： 在出現問(wèn)題時(shí)，能快速調節RGB的配比保證，一些機位顯示色彩正常。

　　XR對LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精準色彩、10bit/12bit、超低延遲

　　三、解決方案

　　在控制系統端，諾瓦可提供如下解決方案：

　　1.方案架構

　　VMP+MX40 Pro+A10s Pro

　　諾瓦科技xR沉浸式解決方案

　　xR沉浸式解決方案，聚焦xR顯示應用場(chǎng)景，精準還原畫(huà)面真實(shí)色彩、保留圖像細節，搭載高幀頻、相位調節，倍頻等處理技術(shù)，解決xR拍攝動(dòng)態(tài)過(guò)程中，由于顯示屏刷新不足，由之而來(lái)的掃描線(xiàn)、黑場(chǎng)問(wèn)題。同時(shí)搭載畫(huà)質(zhì)引擎技術(shù)，進(jìn)一步增強顯示畫(huà)質(zhì)，讓LED顯示屏重獲新生，打造至臻xR解決方案。

　　2.方案特點(diǎn)

　　小間距技術(shù)發(fā)展的突飛猛進(jìn)，LED顯示畫(huà)質(zhì)被寄予了越來(lái)越高的期待，尤其在影視拍攝、xR等高端顯示應用領(lǐng)域。

 畫(huà)質(zhì)引擎&動(dòng)態(tài)引擎

　　全新MX系列控制系統搭載諾瓦全新一代畫(huà)質(zhì)引擎和動(dòng)態(tài)引擎，全方位提升LED屏顯示畫(huà)質(zhì)，打造身臨其境的沉浸式觀(guān)感，為xR場(chǎng)景拍攝提供充分保障。

 VMP

　　Vision、Management,、Platform ——諾瓦全新LED顯示操控平臺，集設計，調試，監控，管理于一身。全流程工作平臺，工作質(zhì)量和效率兼顧，解放想象力限制，每個(gè)人都可以是顯示屏的設計師。

 多視角實(shí)時(shí)顏色調節

　　為了徹底解決由于攝像視角變化，產(chǎn)生的偏色問(wèn)題。在VMP + MX40 Pro + A10s Pro的基礎上，給出了實(shí)時(shí)顏色調節的解決方案。

　　VMP操作平臺，先將攝像機固定視角的屏體顏色信息進(jìn)行調節預存，Genlock 信號連接攝像機或 Genlock信號發(fā)生器;當攝像機運動(dòng)到此固定視角后，實(shí)時(shí)調取預存的信息，數據實(shí)時(shí)下發(fā)，保證從該視角捕捉到的畫(huà)面顏色信息準確。另外，實(shí)時(shí)顏色調節可以滿(mǎn)足多機位同一時(shí)間，同時(shí)拍攝，解決多機位不同角度畫(huà)面顏色偏色問(wèn)題。

 倍頻 + 插幀

　　倍頻，可讓LED顯示屏適配更多的攝像機快門(mén)角度，使得顯示屏刷新時(shí)間與攝像機快門(mén)時(shí)間保持一致，去除黑場(chǎng)，掃描線(xiàn)，從而為攝像機拍攝顯示屏提供更靈活地選擇。

　　插幀，原理和倍頻一致。只不過(guò)倍入的幀頻為不同視頻源畫(huà)面?？墒沟枚嗯_攝像機，和控制器通過(guò)Genlock連接后，與其分別對應要拍攝的視頻素材幀頻率，進(jìn)行相位偏移后同步。以保證每個(gè)攝像機可以完美捕捉到各自對應的視頻素材 背景，從而在同一時(shí)間線(xiàn)上，同一場(chǎng)景，對不同內容的素材進(jìn)行輸出。成本節省，一勞永逸。

 相位調節

　　當攝像機曝光時(shí)間和LED刷新時(shí)間通過(guò)倍頻功能調節一致后，開(kāi)啟相位調節，調整使攝像機

　　拍攝頻率和顯示屏刷新頻率保持同步，從而有效解決丟灰、增色，掃描線(xiàn)、黑線(xiàn)的問(wèn)題。

 Shutter sync

　　MX40 Pro 可通過(guò)Shutter Sync同步攝像機快門(mén)速度，使顯示屏自動(dòng)調節適配攝像機曝光時(shí)間和頻率，再結合相位偏移，有效解決掃描線(xiàn)，黑場(chǎng)問(wèn)題。

 支持高幀頻輸入

　　控制器最高支持達144HZ輸入幀頻，保證拍攝高速運動(dòng)物體時(shí)，能減少畫(huà)面殘影、拖影等問(wèn)題;

 HDR高動(dòng)態(tài)范圍顯示

　　支持HDR高動(dòng)態(tài)顯示，屏體顏色、亮暗部細節得到精確還原，為拍攝現場(chǎng)創(chuàng )建生動(dòng)場(chǎng)景;

 超低延遲

　　系統延遲最低可達1幀，現場(chǎng)拍攝銜接更流暢。

　　五、 項目案例

　　加拿大影視技術(shù)制作公司JOEL LAW MEDIA與Promosa聯(lián)合打造，使用NovaStar專(zhuān)業(yè)XR顯示控制解決方案。