增強現實(shí)技術(shù)再突破，16000Hz刷新率原型AR顯示屏問(wèn)世

虛擬現實(shí)需要高性能的系統才能維持舒適的體驗，而但如果我們要實(shí)現理論中的真正沉浸式AR，其最終可能需要更高的性能水平。

雖然虛擬現實(shí)可以在低于20ms延遲下實(shí)現舒適和沉浸式的表現，但增強現實(shí)需要幾乎零的延遲，為保持真實(shí)世界和數字世界非常接近的同步，AR對高頻輸出的需求十分嚴格。

為此，英偉達向我們展示了一款刷新率高達16000Hz的原型AR顯示屏。與之相比，傳統AR顯示屏的刷新率僅為60Hz（當前高端VR頭顯為90Hz/120Hz）。

從視頻中可以看到，他們把白色數字盒子疊加在真實(shí)的棋盤(pán)中。當前顯示屏的刷新率為60Hz，而你可以發(fā)現數字信息難以瞄定在真實(shí)世界對象中，因為移動(dòng)速度意味著(zhù)在渲染下一張圖像之前，渲染到屏幕的最新圖像已經(jīng)顯著(zhù)地偏離了現實(shí)世界對象。

與之對比，由于16000Hz的顯示更新如此迅速，不管攝像頭的移動(dòng)速度如何，圖像也能保持高速重新渲染，從而幾乎可以完全鎖定在真實(shí)世界的網(wǎng)格上。

在本周的GTC 2017大會(huì )上，英偉達展示了北卡羅萊納查普希爾大學(xué)分校、英偉達研究所和InnerOptic Technology共同合作的最新成果。英偉達的摩根·麥圭爾（Morgan McGuire）表示，16000Hz系統中的運動(dòng)到光子的延遲為0.08毫秒，這比當前的高端VR頭顯快100倍以上。

有趣的是，實(shí)驗中的60Hz顯示屏和16000Hz顯示屏的源輸入僅僅保持在60Hz。這意味著(zhù)研究人員已經(jīng)能夠實(shí)現這種超低延遲內插，不需要用16000fps源輸入匹配16000Hz顯示屏，因為這在現實(shí)場(chǎng)景中其實(shí)并不實(shí)際。

詳細的研究以標題《From Motion to Photons in 80 Microseconds: Towards Minimal Latency for Virtual and Augmented Reality》發(fā)表在《IEEE 視覺(jué)化與計算機圖示學(xué)匯刊》中。作者在摘要中解釋?zhuān)撓到y是檢驗圖像質(zhì)量與其他因素之間權衡的有用平臺。

我們描述了一種基于具有極快（16 kHz）二進(jìn)制更新速率的DMD芯片的增強現實(shí)光學(xué)透視顯示屏。為了把二進(jìn)制像素轉換為可感知的灰階，我們通過(guò)一種新的調制技術(shù)把后渲染二維偏移和即時(shí)追蹤更新相結合。這種在FPGA（現場(chǎng)可編程門(mén)陣列）中實(shí)現的處理元素與光學(xué)顯示元素一起安裝在頭部追蹤設備中，而用戶(hù)可通過(guò)頭部追蹤設備將合成圖像疊加在真實(shí)環(huán)境中。接近零延遲的機械追蹤與可重構顯示處理的組合僅帶來(lái)了平均80微妙的端到端延遲，這同時(shí)也是一種針對極低延遲顯示系統的廣泛測試平臺。我們已經(jīng)通過(guò)這個(gè)平臺來(lái)檢查圖像質(zhì)量和成本（即功率和邏輯復雜度）之間的權衡，并發(fā)現我們可以用相當簡(jiǎn)單的顯示調制方案來(lái)維持質(zhì)量。

16000Hz可能接近于A(yíng)R的理論目標值，但即便是更低的刷新率仍然能為我們帶來(lái)舒適的AR體驗。被認為是當前最高質(zhì)量的AR頭顯HoloLens，其刷新率也僅僅只是60Hz而已。雖然視覺(jué)表現不夠完美，但已經(jīng)屬于可以接受的水平。映維網(wǎng)相信隨著(zhù)AR頭顯的外形設計不斷優(yōu)化，用戶(hù)頭部的移動(dòng)速度將會(huì )越來(lái)越快，AR眼鏡需要匹配這一速度，所以我們希望顯示屏的表現能夠隨著(zhù)時(shí)間的推移而不斷改善。