從宣傳視頻分析HoloLens技術(shù)

　　Hololens所實(shí)現的效果并不是微軟一家的創(chuàng )新，他早已流傳在種種科幻電影中。但能做到hololens所需要的程度是一個(gè)極其復雜的工程。HoloLens是一個(gè)Oculus+Kinect+Jetson TK1所集成起來(lái)的夾在鼻梁上的嵌入式怪物。

　　腦補一下把Kinect帶到頭上的情景

　　但是微軟做到了!

　　首先給沒(méi)有看宣傳視頻的孩子介紹下HoloLens吧，HoloLens是一個(gè)基于深度攝像頭，高性能處理器和雙屏幕顯示的進(jìn)階版Glass。

　　長(cháng)這個(gè)樣子

　　具體參見(jiàn)微軟官網(wǎng)Microsoft HoloLens

　　根據我目前看到的信息，HoloLens 需要的技術(shù)支持包括三個(gè)部分：

　　實(shí)時(shí)的三維計算

　　這是游戲屆玩爛的東西，可以說(shuō)在阿凡達之后拉開(kāi)了一個(gè)時(shí)代的幕布，經(jīng)過(guò) NVIDIA、Intel 等公司的苦心經(jīng)營(yíng)，實(shí)時(shí)的雙攝像頭渲染已經(jīng)很成熟。微軟終于把這種技術(shù)推向了更廣的領(lǐng)域。下圖這種效果在也就是現在是游戲級別的水平。

　　精準的姿態(tài)確定和位置確定

　　根據網(wǎng)上流傳的信息，可以肯定微軟采用了基于深度識別的 SLAM(實(shí)時(shí)定位與地圖構建)技術(shù)。這里解釋一下什么是 SLAM，就是通過(guò)傳感器獲取環(huán)境的有限信息，比如視覺(jué)信息、深度信息、自身的加速度和角速度等來(lái)確定自己的相對或者絕對位置，并完成對于地圖的構建。

　　SLAM 的準確度對于最后的顯示效果非常重要，姿態(tài)確定就不是事兒。幾十塊的電容式陀螺儀或者幾百塊的 MEMS 抄幾段代碼就好，但怎么確定位置就是微軟的功力了。當然深度攝像頭這種事情微軟常年吊打整個(gè)行業(yè)，Kinect 快成行業(yè)標準了(幫助了多少論文發(fā)表)。想想我們用的激光雷達的價(jià)格。真是要哭了。

　　電影中，使用小型探測器掃描出來(lái)了隧道全景并且全息呈現了出來(lái)。對應到現實(shí)《普羅米修斯》里面用的是這種玩意，相當于一輛低配的奧迪 A8 的價(jià)格，可以發(fā)射幾十束激光同時(shí)掃描。Google 無(wú)人車(chē)也用這種激光雷達來(lái)進(jìn)行實(shí)時(shí)的路況分析。

　　微軟做到的可是實(shí)現了三年前科幻電影的效果啊!

　　注意這張圖，微軟暗示進(jìn)入一個(gè)房間之前要先進(jìn)行掃描，這里明顯是在用 Deep Camera 生成 Point Cloud 然后三角面片進(jìn)行 SLAM(我實(shí)驗室的某個(gè)師兄在微軟實(shí)習的時(shí)候，做的畢業(yè)設計也是這個(gè)，微軟在這個(gè)技術(shù)上的積累很強的)。如果確定是和 Kinect 類(lèi)似的紅外攝像頭，那么可以認為 kinect 有的毛病他都會(huì )有，比如對黑色物體、光滑表面的探測。

　　可以說(shuō)，HoloLens 的核心難度是深度探測和相關(guān)的手勢識別。這可是微軟的專(zhuān)長(cháng)了。所以 HoloLens 就是一個(gè)戴到了鼻梁上的 Kinect。

　　為什么說(shuō) SLAM 對于 HoloLens 非常重要呢?因為只有實(shí)現了靠譜的 SLAM，才能知道眼鏡的空間坐標和相對于室內各種障礙物的位置，同時(shí)識別出各種室內擺件的形狀，這是宣傳片中人機交互的基礎。

　　在視頻中，主人公一直在走動(dòng)，畫(huà)面的穩定性很好。

　　注意上圖這里，可以看到對于各個(gè)表面的貼合度已經(jīng)達到了 SLAM 的程度。

　　圖像識別技術(shù)

　　這里注意到一個(gè)細節，展示在三維空間中的 UI 很像是 Autodesk Fusion 的 UI，難道自動(dòng)桌已經(jīng)先行一步?來(lái)自官網(wǎng)的一張圖片，可以看到使用的正是 Autodesk。

　　作為半個(gè)工程師，我當時(shí)買(mǎi) Leap Motion 就是為了玩 Solidworks Fusion?，F在有了 HoloLens，比 Fusion 體驗不知道酸爽多少倍。腦補一下去參觀(guān) EAST 的時(shí)候眼睛里顯示出 EAST 剖面的情景。不能再震撼了。

　　這三個(gè)技術(shù)在近些年成熟，促成了 HoloLens 產(chǎn)品化。之前 Google Glass 的設想與此類(lèi)似，Hololens 把它推向了現實(shí)。

　　其實(shí) Hololens 所實(shí)現的效果也不是新鮮貨。早在冷戰末期，武裝直升機飛行員就通過(guò)頭盔里面的信息來(lái)操作機槍所瞄準的方向。這兩年我軍也有裝備。當年 Su35 的“回馬槍”向后發(fā)射的導彈就是用尾椎雷達和頭盔瞄準具實(shí)現的。

　　更進(jìn)一步，上圖用到的也是類(lèi)似的技術(shù)。

　　不過(guò)，根據技術(shù)分析，Hololens 可能會(huì )遇到如下一系列困難：

　　第一，耗電量。計算視覺(jué)、SLAM，以及反過(guò)向進(jìn)行三維虛擬現實(shí)，都是常耗費計算量的任務(wù)。Hololens 是時(shí)勢造英雄的產(chǎn)品，這種計算量在二十年前可是阿拉莫斯實(shí)驗室用于核聚變模擬的計算量?，F在只要耗電量跟的上，NVIDIA 的 Tegra K1 還有 Intel 家的協(xié)處理器在嵌入式上飆計算量沒(méi)問(wèn)題。

　　第二，是在開(kāi)放環(huán)境、欠光線(xiàn)環(huán)境的識別度問(wèn)題。我對此持保守態(tài)度，得拿到產(chǎn)品再說(shuō)。

　　第三，是定位精準度問(wèn)題。這是老大難問(wèn)題了。

　　事實(shí)上，上圖中這種配合將成為很長(cháng)一段時(shí)間內的主流。

　　如果修的不是自來(lái)水管而是血管，看到的是通過(guò) B 超技術(shù)實(shí)時(shí)掃描出來(lái)的人體內部，那么未來(lái)的醫院會(huì )是怎么樣的。如果顯示的不是自來(lái)水管的 manual，而是實(shí)時(shí)匹配無(wú)人機的爆炸視圖，那么以后的工廠(chǎng)和 DIY 是怎么樣的。

　　讓人難以想象的是，這一切居然要成真了!

　　估計 Google 也會(huì )坐不住了，也會(huì )有大動(dòng)作，相關(guān)技術(shù)大部分(包括廉價(jià)的深度攝像頭)都是開(kāi)源的，估計很快會(huì )有公司扛包出現類(lèi)似設備的開(kāi)源硬件和軟件，市場(chǎng)一刺激華強北也不會(huì )安分，投資空間有多大。各位手里有錢(qián)的主，都掂量掂量吧。由 iPhone 引發(fā)的歷史軌跡就是證明。

　　看起來(lái)，全息估計不會(huì )成為主流發(fā)展方向了。

　　本文來(lái)源：雷科技 作者：徐浩