新一代視頻會(huì )議系統編碼標準H.265

　　面對視頻應用不斷向高清晰度、高幀率、高壓縮率方向發(fā)展的趨勢，當前主流的視頻壓縮標準協(xié)議H.264(AVC)的局限性不斷凸顯，尤其在高清視頻快速發(fā)展下，H.264技術(shù)逐漸暴露了一些局限性。

　　H.264技術(shù)的局限性

　　首先，由于分辨率的大大增加，單個(gè)宏塊所表示的圖像內容信息大大減少，H.264所采用的4×4或8×8宏塊經(jīng)過(guò)整數變換后，低頻系數相似程度也大大提高，出現大量冗余，導致H.264編碼對高清視頻的壓縮效率明顯降低;其次，H.264算法宏塊個(gè)數的爆發(fā)式增長(cháng)，會(huì )導致每個(gè)編碼宏塊的預測模式、運動(dòng)矢量、參考幀索引和量化級等宏塊級參數信息占用更多碼流資源，在有限帶寬中，分配給真正描述圖像內容的殘差系數信息的可用帶寬明顯減少;由于分辨率的提高，表示同一個(gè)運動(dòng)的運動(dòng)矢量幅值也將大大增加，H.264中采用基于空間域的運動(dòng)矢量預測方式，對運動(dòng)矢量差編碼使用的是哥倫布指數編碼，該編碼方式的特點(diǎn)是數值越大使用的比特數越多，因此，隨著(zhù)運動(dòng)矢量幅值的大幅增加，H264中用來(lái)對運動(dòng)矢量進(jìn)行預測以及編碼的壓縮率也將逐漸降低;最后，H.264的一些關(guān)鍵算法都要求串行編碼，并行度比較低，針對GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的這種串行化處理越來(lái)越成為制約運算性能的瓶頸。

　　新一代視頻編碼技術(shù)H.265

　　對于視頻會(huì )議這種視頻應用技術(shù)，對視頻的要求更高，不僅是遠程通訊技術(shù)，而且是雙向實(shí)時(shí)交互式應用。由于用戶(hù)群較為高端，因此在低延時(shí)視頻編解碼技術(shù)上，視頻會(huì )議一直是個(gè)先行者。視頻會(huì )議從H.261時(shí)代開(kāi)始發(fā)展，歷經(jīng)H.263時(shí)代，到目前的H.264時(shí)代，視頻會(huì )議一直是低延時(shí)視頻編解碼最新技術(shù)的首批應用者。目前主流的H.264視頻會(huì )議系統最新的以H.264 High Profile為主，可以在1Mbps帶寬下達到1080P 30fps實(shí)時(shí)通信，且能夠讓用戶(hù)體驗到很好的圖像效果，也減少了網(wǎng)絡(luò )傳輸高清的壓力，目前應用得較為廣泛。但是隨著(zhù)數字化高清的持續發(fā)展，用戶(hù)的需求也越來(lái)越高，視頻會(huì )議作為視頻編解碼的高端應用，當然是要繼續發(fā)展到更高標準更優(yōu)化的視頻編解碼新技術(shù)。

　　2013年初據國外媒體報道，國際電信聯(lián)盟(ITU)已經(jīng)批準了下一代新視頻標準，這項新標準將有利于把4K視頻帶入未來(lái)的寬帶網(wǎng)絡(luò )之中，與此同時(shí)，該新標準還可以在低帶寬的移動(dòng)網(wǎng)絡(luò )上播放高清網(wǎng)絡(luò )視頻內容。這項新標準就是H.265，即高效率視頻編碼(High Efficiency Video Coding)，這一標準旨在把高質(zhì)量的網(wǎng)絡(luò )視頻帶到甚至是低帶寬的網(wǎng)絡(luò )中。

　　這個(gè)最新標準H.265技術(shù)，被命名為HEVC。該標準的核心目標，是在H.264的基礎上將壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%。因此，有望在512K帶寬下實(shí)現1080P 30fps高用戶(hù)體驗的實(shí)時(shí)通信。

　　目前，H.265(HEVC)制定了兩套選項，其中追求高圖像質(zhì)量的叫做High Efficiency，而追求低時(shí)延的叫做low-complexity。由于視頻會(huì )議的實(shí)時(shí)性，視頻會(huì )議領(lǐng)域基本上會(huì )選用low-complexity選項。

　　由于H.265標準是從H.264標準發(fā)展優(yōu)化而來(lái)，新的標準保留原來(lái)的某些技術(shù)，同時(shí)對一些相關(guān)的技術(shù)加以改進(jìn)。

　　作為視頻編碼的進(jìn)一步發(fā)展，H.265(HEVC)仍然沿用了H.264基礎的預測加變換的混合編碼框架，包含：

　　同時(shí)H.265著(zhù)力研究新的編碼工具或技術(shù)，在每一個(gè)環(huán)節都做了改進(jìn)，包含碼流改善、編碼質(zhì)量改善、延時(shí)和算法復雜度之間的關(guān)系的改善，并達到最優(yōu)化設置。

　　H.265相比H.264的主要技術(shù)優(yōu)勢

　　靈活的編碼結構

　　在H.265中，將宏塊的大小從H.264的16×16擴展到了64×64，以便于高分辨率視頻的壓縮。同時(shí)，H.265采用了更加靈活的編碼結構來(lái)提高編碼效率，包括編碼單元(CodingUnit)、預測單元(PredictUnit)和變換單元(TransformUnit)。編碼器可以根據視頻序列分辨率以及區域的復雜度等特性設置編碼單元的大小。

　　靈活的塊結構

　　變換單元TU使用類(lèi)似于編碼單元CU的四叉樹(shù)劃分方法，塊結構RQT(Residual quadtree transform)是正方形TU的四叉樹(shù)劃分方法;NSQT(Non-square quadtree)是非正方形TU的四叉樹(shù)劃分方法。

　　對于每個(gè)CU，在預測編碼過(guò)程中可進(jìn)一步劃分為一個(gè)或多個(gè)預測單元PU(Predict Unit)進(jìn)行幀間預測或幀內預測。幀內預測可使用2N×2N PU劃分，若CU大小為8×8時(shí)，還可使用N×N PU劃分;幀間預測可使用2N×2N、N×2N、2N×N PU劃分，當CU大小大于8×8時(shí)，還使用另外四種非對稱(chēng)PU劃分;Skip模式僅使用2N×2N PU劃分。PU劃分示意圖如圖1所示。

　　變換單元TU(Transform Unit)主要是在編碼單元CU和預測單元PU的基礎上選擇適當的殘差變換塊的大小。對于幀間編碼來(lái)說(shuō)，它允許變換塊的大小根據運動(dòng)補償塊的大小進(jìn)行自適應的調整;對于幀內編碼來(lái)說(shuō)，它允許變換塊的大小根據幀內預測殘差的特性進(jìn)行自適應的調整。

　　更先進(jìn)的幀內和幀間預測

　　幀內編碼改進(jìn)上使用了多種技術(shù)：

　　Intra_FromLuma模式僅用于色度分量的幀內預測。

　　HEVC使用以下方法獲得更高的幀間預測效率：

　　高效的運動(dòng)信息預測編碼方法AMVP，根據當前PU空間域和時(shí)域相鄰塊的運動(dòng)矢量構造當前PU運動(dòng)矢量的預測候選。選擇能夠最小化當前運動(dòng)矢量的編碼代價(jià)值的預測候選，并編碼該預測候選的索引序號。分數像素插值濾波方法，為提高幀間預測精度、降低頻譜混疊對幀間預測的影響，HEVC使用分數像素預測補償技術(shù)，亮度和色度分量的插值濾波器都采用DCT-IF插值濾波器(DCT-based interpolation filter)。Merge模式，使用Merge模式時(shí)，當前PU的運動(dòng)信息(包括運動(dòng)矢量和參考圖像索引)與Merge索引信息所標識的空間域或時(shí)域相鄰塊的運動(dòng)信息相同。HEVC使用基于Merge的Skip模式，稱(chēng)為Merge-Skip。Merge-Skip模式的候選運動(dòng)信息構造和運動(dòng)預測過(guò)程與Merge模式相同，不同之處在于Merge-Skip模式不對預測差信息進(jìn)行編碼。

　　采樣點(diǎn)自適應偏移

　　采樣點(diǎn)自適應偏移(Sample Adaptive Offset)在編解碼環(huán)路內，位于Deblock之后，通過(guò)對重建圖像的分類(lèi)，對每一類(lèi)圖像像素值加減一個(gè)偏移，達到減少失真的目的，從而提高壓縮率，減少碼流。采用SAO后，平均可以減少2%~6%的碼流，而編碼器和解碼器的性能消耗僅僅增加了約2%。

　　自適應環(huán)路濾波

　　自適應環(huán)內濾波包括Deblocking filter、SAO和ALF(Adaptive Loop Filter)三種。

　　Deblocking filter，消除圖像的塊效應，提高主觀(guān)圖像質(zhì)量;SAO，減少重建圖像和原始圖像誤差，提高客觀(guān)圖像質(zhì)量;ALF，減少重建圖像和原始圖像誤差，提高客觀(guān)圖像質(zhì)量。

　　并行化設計思路

　　H.265為了提升編解碼的并行度，提出可以按垂直和水平方向對圖像進(jìn)行分割，按LCU為單位組成多個(gè)矩形區域，這些矩形區域叫做Tile，這些Tile可獨立編解碼，遵循光柵掃描的順序。

　　當前芯片架構已經(jīng)從單核性能逐漸往多核并行方向發(fā)展，因此，H.265引入了很多并行運算的優(yōu)化思路提升效率。

　　H.265技術(shù)應用展望

　　從H.265技術(shù)的優(yōu)勢來(lái)看，它將來(lái)的應用主要是高清領(lǐng)域。

　　隨著(zhù)視頻通信應用產(chǎn)業(yè)鏈的快速發(fā)展，視頻應用向高分辨率高幀頻高壓縮比的方向發(fā)展的趨勢愈加明顯。分辨率目前流行的是1080P，后續將發(fā)展到4K×2K乃至8K×4K。但4K×2K以上分辨率市場(chǎng)還有待培育。

　　幀頻上，視頻幀頻從30fps向60fps、120fps甚至240fps的應用場(chǎng)景升級是有可能的。但人的肉眼識別極限為20ms，對應幀頻為50fps，也就是高于60fps以上的幀頻一般應用是用不到的，更高幀頻的應用場(chǎng)景為三維顯示，但三維視頻會(huì )議需要依靠裸眼三維電視技術(shù)，該技術(shù)目前還不夠完善，因此，目前的視頻會(huì )議將集中在30fps和60fps的應用上。而30fps與60fps的區別非專(zhuān)業(yè)人士是感知不到的，HEVC技術(shù)將首先出現在1080P 30fps的視頻會(huì )議應用上。在壓縮比進(jìn)一步提升的情況下，市場(chǎng)上將會(huì )推出512K、1080P、30fps低延時(shí)HEVC產(chǎn)品。

　　中興通訊作為業(yè)界領(lǐng)先的視頻會(huì )議廠(chǎng)商，在中國率先發(fā)布支持H.264 High Profile標準的全系列產(chǎn)品。目前，中興通訊緊跟標準，并于2013年6月發(fā)布業(yè)界首款支持H.265(HEVC)的視頻會(huì )議終端。該視頻會(huì )議終端支持H.265的實(shí)時(shí)編解碼，相比于當前的H.264產(chǎn)品，視頻壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%，這將極大減少用戶(hù)的網(wǎng)絡(luò )建設運營(yíng)成本。