每幀3GB！這項虛擬現實(shí)技術(shù)要重塑空間全息影像

　　在 VR 頭顯里想象這樣一個(gè)場(chǎng)景：

　　你站在中越邊境的河谷，觀(guān)看壯美的景色——但頭顯里播放的并非普通的全景視頻，而是可以隨著(zhù)身體移動(dòng)和頭部?jì)A斜，看到被畫(huà)面中的物體擋住的更多東西，甚至……整個(gè)場(chǎng)景。

　　比如你的面前有一個(gè)油桶，但你可以稍微挪動(dòng)一點(diǎn)，或者把頭向右傾斜，就能看到油桶背后的溪流：

　　這顯然不是一個(gè)幾百塊錢(qián)的雙攝全景攝像頭就能實(shí)現的。其實(shí)，這部視頻的拍攝手法叫做 Volumetric Capture，翻譯成中文叫“容積捕獲” ，采用特殊的設備，像三維空間掃描一樣記錄下了攝像頭周?chē)趨^域的全部物理環(huán)境。拍攝它的公司叫做 HypeVR，該公司聯(lián)合創(chuàng )始人泰德·施洛維茨告訴我，這段全息影像的每幀數據量就高達 3GB。

　　昨天，PingWest品玩在英特爾 的 VR 發(fā)布會(huì )上粗略體驗了一下 HypeVR 所拍攝的這段內容。今天我們又找到了該公司的創(chuàng )始人兼 CEO Tonaci Tran，更深入地體驗和了解了這項技術(shù)。

　　這段全息影像的記錄時(shí)間是 2016 年 11 月 14 日，地點(diǎn)是中越邊境的板約瀑布。簡(jiǎn)單來(lái)說(shuō)，HypeVR 開(kāi)發(fā)的這種新視頻格式，具有三個(gè)特性：360°全景+高清+六自由度。

　　全景不消細說(shuō)。在清晰度方面，一般的全景攝像采用多相機陣列(比如 GoPro)的方案，和 HypeVR 根本沒(méi)法比——該公司的一個(gè)多相機陣列就要用到 Velodyne 開(kāi)發(fā)的激光雷達 (LiDAR)，再配上 12 臺世界上最頂級的 Red 超高清攝像機。僅供參考：Red 的分辨率 為 5K，12臺……清晰度難以想象。

　　至于六自由度，英文叫做 6 degrees of freedom (6dof) 是一個(gè)物理上的術(shù)語(yǔ)，指的是物體能夠在三維空間里，在 xyz 三軸方向上自由運動(dòng)以及圍繞三軸自由轉動(dòng)的能力。在 VR 業(yè)界，6dof 是一種技術(shù)指標，指的是當頭顯的佩戴者在三維空間里前后左右上下移動(dòng)和搖頭、擺頭時(shí)，頭顯里所顯示的空間畫(huà)面能夠隨之變化，就像在真實(shí)空間里一樣。

　　但并非所有的 VR 內容的錄放都支持 6dof。如果一個(gè)全景攝像頭放在定點(diǎn)上錄制內容，它拍下的其實(shí)也只是一個(gè)二維的畫(huà)面。而在拍攝中加入激光雷達，使得最后產(chǎn)生的二維畫(huà)面多了一維——空間，其實(shí)是 HypeVR 全息影像錄制技術(shù)最大的不同。這樣錄制和最后剪輯制作完成的內容，不是二維的畫(huà)面，而是具有空間感的全息影像。

　　還有一個(gè)問(wèn)題：最后成片中的畫(huà)面里，那些桶、水牛和其他擋住視野的物體，它們背后的畫(huà)面又該怎樣拍呢?HypeVR 以商業(yè)機密為由沒(méi)有想我透露太具體的細節，但我猜測采用的方法應該類(lèi)似于：先在一個(gè)點(diǎn)拍攝 (point zero)，然后更換一個(gè)能拍到障礙物背后的點(diǎn) (point a)，然后按照從 0 到 a 的距離和方向，在全息場(chǎng)景重建的時(shí)候，拼接 a 的內容到 0 的內容里。

　　蹲下，或者往左/右邊走，就能看到被水牛擋住的地方。這是其它 VR 視頻絕對無(wú)法做到的。

　　但顯然，這樣制作出來(lái)的最終內容格式肯定不是普通和 VR 視頻一般采用的 mp4 格式，而是一種全新的格式。Tran 對我表示：

　　從容積捕獲 (volumetric capture)、場(chǎng)景重現 (reconstruction)、壓縮編碼 (compression codec)、播放和直播串流所采用的圖像引擎 (graphics engine for playback and volumetric streaming)，一切都是全新的。我們認為這就是視頻 2.0 時(shí)代。

　　Tran 是美國出生的越南人，曾在加州大學(xué)圣地亞哥分校學(xué)習數字媒體創(chuàng )作。因為 10 年前創(chuàng )立了第一家 Red 高清電影攝像機出租服務(wù)，他在越南也引起過(guò)不小的轟動(dòng)，還曾因此在越南電影界獲得了不小的名氣。

　　2014 年，為了實(shí)現“打造下一代視頻技術(shù)”的夢(mèng)想，他和電影巨頭二十世紀福斯的數字技術(shù)專(zhuān)家泰德·施洛維茨一同創(chuàng )立了 HypeVR。

　　該公司總部位于加州圣地亞哥。Tran 告訴我，他認為 HypeVR 在相機陣列、全息場(chǎng)景重建、6dof 全息視頻壓縮和全息視頻串流方面，有著(zhù)絕對的技術(shù)優(yōu)勢。至于公司的技術(shù)優(yōu)勢，他用一句話(huà)總結為“獨家的容積捕獲、制作和播放引擎，專(zhuān)為視頻 2.0 時(shí)代打造。”也正因此，英特爾將 HypeVR 視作重要的合作伙伴，邀請其參加 CES 的發(fā)布會(huì )和現場(chǎng)演示。

　　接連兩天由淺及深地體驗了 HypeVR 帶來(lái)的全息可互動(dòng)影像之后，我心理對于 VR 視頻的芥蒂消除了一些。之前我對所謂的 VR 內容不太感冒的原因就在于，它們只是把我綁在一個(gè)固定的地方，然后允許我轉動(dòng)腦袋，并沒(méi)有什么所謂的“沉浸”感，反而感覺(jué)自由被限制了。

　　我問(wèn) Tran “在你們這段視頻里，我到底有多大的自由度?”他告訴我：“只要這條頭顯的線(xiàn)夠長(cháng)、頭顯還在傳感器追蹤的范圍里，你想走多遠走多遠。”

　　部分圖片來(lái)源：英特爾、HypeVR