閱兵直播采用的增強現實(shí)技術(shù)是如何實(shí)現的

　　隨著(zhù)虛擬現實(shí)技術(shù)的演進(jìn)，現在已經(jīng)有越來(lái)越多的場(chǎng)景我們可以看到虛擬現實(shí)技術(shù)的出現。電視行業(yè)就是其中之一：去年的世界杯，今年的春晚我們都可以看到虛擬演播室在直播節目中的出現。

　　這次閱兵，我們同樣可以看到北京電視臺也采用了虛擬演播室技術(shù)：觀(guān)眾可以看到，主持人一邊解說(shuō)，虛擬的武器裝備就會(huì )在他身邊出現，生動(dòng)形象的向觀(guān)眾展示了我軍裝備的威武雄壯，而不是干巴巴的文字或者圖片描述。

　　虛擬演播室技術(shù)實(shí)際上可以說(shuō)就是增強現實(shí)技術(shù)的一個(gè)子集。它同樣涉及到增強現實(shí)中如何將虛擬的元素和真實(shí)的場(chǎng)景疊加在一起的問(wèn)題。不過(guò)，增強現實(shí)是要讓最后的畫(huà)面呈現在用戶(hù)的眼睛里，而虛擬演播室則是將畫(huà)面呈現在電視的屏幕上。

　　所以，它的技術(shù)重點(diǎn)和增強現實(shí)是一樣的：

　　第一是如何能夠精確地定位真實(shí)的場(chǎng)景;

　　第二是如何能夠渲染出虛擬的元素;

　　第三是如何實(shí)時(shí)地將虛擬的元素疊加在真實(shí)的場(chǎng)景上，然后返回到視頻流中。

　　在這里，最難的是如何將虛擬元素和真實(shí)的元素進(jìn)行疊加。

　　攝像機一旦運動(dòng)，真實(shí)的場(chǎng)景和虛擬的元素都必須同步配合這個(gè)運動(dòng)。電視攝像的幀率是50FPS，也就是說(shuō)，引擎需要每20ms就渲染出一幀，這是一個(gè)相當高的要求。所以，系統內就應該要包括攝像頭的工作狀態(tài)，包括位置和視角等等，虛擬引擎才能夠渲染出相對應的畫(huà)面。

(虛擬演播室)

　　于是，這里可以得到一個(gè)虛擬演播室的系統流程：

　　第一步的工作是采集攝像機的工作狀態(tài)信息，最重要的是攝像機的位置和它與真實(shí)場(chǎng)景的相對關(guān)系;然后將這些信息傳送給圖形工作站。

　　第二步則是依此得到前景物體與攝像機之間的距離和相對位置，從而計算出虛擬元素的大小、位置，并渲染生成虛擬元素。

　　如果虛擬元素涉及到虛擬人物(比如世界杯節目里的虛擬球員，或者春晚上的陽(yáng)陽(yáng))，則往往還要涉及到動(dòng)作捕捉系統：用真人的動(dòng)作實(shí)時(shí)的驅動(dòng)虛擬角色的動(dòng)作，然后呈現出來(lái)。

　　第三步，虛擬演播室系統會(huì )將主持人的實(shí)時(shí)畫(huà)面地與計算機產(chǎn)生的虛擬元素集成在一起，構成一個(gè)現實(shí)中不存在的場(chǎng)景，并且實(shí)時(shí)向觀(guān)眾進(jìn)行廣播。

　　一般而言，這里會(huì )采用我們在電影花絮中常見(jiàn)的綠幕來(lái)遮蓋一切我們不想讓它出現在最后畫(huà)面中的場(chǎng)景元素，在專(zhuān)業(yè)中，這叫做“色鍵”。然后計算機會(huì )將相應的顏色全部摳掉，將虛擬場(chǎng)景集合上去，最后就呈現出我們這次會(huì )在閱兵直播中看到的，威武雄壯的導彈發(fā)射車(chē)出現在主持人的旁邊。

　　虛擬演播室可以說(shuō)是增強現實(shí)技術(shù)在商業(yè)上的應用，而且已經(jīng)能夠在商業(yè)直播中成熟運用了。

　　不過(guò)增強現實(shí)本身，還有很長(cháng)一段路要走——因為消費者意義上的增強現實(shí)眼鏡要解決很多虛擬演播室所沒(méi)有的困難：

　　第一，虛擬演播室會(huì )是在一個(gè)有控制的場(chǎng)景中應用。

　　有專(zhuān)門(mén)的設備采集攝像機的位置和場(chǎng)景本身的位置，而增強現實(shí)眼鏡則需要在大范圍內應用，這就需要時(shí)下計算機視覺(jué)中非?；馃岬募夹g(shù)領(lǐng)域SLAM(Simultaneously Localization And Mapping，實(shí)時(shí)場(chǎng)景測量與建模)來(lái)幫助增強現實(shí)眼鏡“看到”并且“理解”周?chē)沫h(huán)境。Google的Project Tango正是為了解決這個(gè)問(wèn)題而開(kāi)發(fā)的項目。

(谷歌的Project Tango項目)

　　第二，移動(dòng)的VR眼鏡所可能具備的計算能力要遠遠小于虛擬演播室技術(shù)中的商業(yè)級別工作站。

　　所以其在高幀率下渲染虛擬元素的能力必然遠遠不如虛擬演播室，增強現實(shí)眼鏡的虛擬畫(huà)面必然不會(huì )像虛擬演播室那樣豐富和逼真。

　　第三點(diǎn)是，增強現實(shí)眼鏡的畫(huà)面最終是要投射到用戶(hù)的視網(wǎng)膜中。

　　所以想要符合人體的視覺(jué)系統特質(zhì)，顯示裝置要具備的能力會(huì )大大不同于普通的屏幕：讓人感覺(jué)到虛擬與現實(shí)的融合，顯示屏需要與人眼球的焦點(diǎn)匹配顯示虛擬元素的能力，目前只有微軟的HoloLens讓人信服地展示了這一種能力，而他們使用的是全息顯示屏。

　　有趣的地方在于，在今年E3微軟的發(fā)布會(huì )上，微軟使用了虛擬演播室的技術(shù)展示了HoloLens最終可以達到的效果——可能這個(gè)發(fā)布會(huì )上也是虛擬演播室能達到的最好效果。微軟同樣使用了復雜的攝像機追蹤技術(shù)，讓觀(guān)眾信服的展示了HoloLens的增強現實(shí)。

(微軟的HoloLens)

　　所以，未來(lái)的增強現實(shí)下的閱兵會(huì )是怎樣的?按照慣例，我國下一次大閱兵將在2019年舉辦。我想，那時(shí)的閱兵就會(huì )有增強現實(shí)的參與了——觀(guān)眾將能夠實(shí)時(shí)的使用自己的增強現實(shí)眼鏡，或者在屏幕上看到威武雄壯的部隊，伴隨對其武器裝備的介紹，細節放大，甚至拆解……我們看閱兵也將不限于現場(chǎng)或者電視機前這僅有的兩種姿勢，而也可能能夠使用虛擬現實(shí)的方式身臨其境。技術(shù)的演進(jìn)讓我們拭目以待。