視頻摘要技術(shù)在視頻分析領(lǐng)域的作用

　　視頻摘要技術(shù)解決的問(wèn)題是如何使視頻數據有效的表示和快速的訪(fǎng)問(wèn)，它是利用對視頻內容的分析來(lái)減小視頻存儲、分類(lèi)和索引的代價(jià)，提高視頻的使用效率、可用性和可訪(fǎng)問(wèn)性，它是基于內容的視頻分析技術(shù)的發(fā)展。

　　視頻摘要解釋

　　視頻摘要技術(shù)的研究最早始于1994年CMU大學(xué)的Informedia工程，隨后德國曼海姆大學(xué)、FXPaloAlto實(shí)驗室、Minnesota大學(xué)、MITRE公司、哥倫比亞大學(xué)與微軟研究院等都在這方面進(jìn)行了較為深入的研究，分別提出了各自的視頻摘要策略，視頻摘要的表現形式也由最初的靜態(tài)摘要轉變?yōu)楝F在的動(dòng)態(tài)縮略視頻。

　　總的來(lái)說(shuō)視頻摘要是對一長(cháng)段視頻內容的簡(jiǎn)短總結，即視頻摘要就是一連串靜止或運動(dòng)的圖像，分別稱(chēng)為靜態(tài)視頻摘要和動(dòng)態(tài)視頻摘要，它們用精簡(jiǎn)的方式代表了原視頻的內容，同時(shí)保留了原內容的要點(diǎn)。靜態(tài)視頻摘要是從原始視頻中剪取而生成的一系列靜止圖像的集合，這些代表了原始視頻的圖像成為關(guān)鍵幀;動(dòng)態(tài)視頻摘要是由一些圖像序列以及對應的音頻組成，它本身是一個(gè)視頻片斷。兩者區別是靜態(tài)視頻摘要只考慮其關(guān)鍵幀，忽略了音頻信息，但生成摘要的速度比動(dòng)態(tài)視頻摘要快;動(dòng)態(tài)視頻摘要表現的內容比靜態(tài)視頻摘要豐富，通常以鏡頭的方式表示，融合了圖像、聲音和文字等信息。

　　視頻摘要的作用主要是便于存儲和視頻的瀏覽或查找，相對于原始的視頻資料，視頻摘要的長(cháng)度要短很多，節省了存儲時(shí)間和空間。視頻摘要保留了原內容的要點(diǎn)，所以對于用戶(hù)來(lái)說(shuō)，瀏覽或查找視頻摘要比瀏覽原始視頻要節省時(shí)間。

　　視頻摘要生成方法及過(guò)程

　　視頻摘要的生成方法大致可以分為4類(lèi)：

　　簡(jiǎn)單的生成方法

　　基于時(shí)間點(diǎn)對視頻進(jìn)行采樣，即每間隔一定的時(shí)間抽取一個(gè)代表幀或者一個(gè)片段，這種生成方法很容易實(shí)現，但完全沒(méi)有基于視頻的內容。

　　基于視覺(jué)信息的生成方法

　　根據視頻里出現的顏色、紋理、形狀、運動(dòng)方向和強度等視覺(jué)信息，基于模式識別的思維，應用各種視頻和圖像處理技術(shù)，進(jìn)行鏡頭探測、關(guān)鍵幀提取、場(chǎng)景聚類(lèi)、運動(dòng)特征提取等一系列操作，最終生成具有代表性的關(guān)鍵幀序列或縮略視頻。這種算法完全基于視覺(jué)特征，忽略了音頻、字幕等信息對視頻的作用。

　　融合多特性的生成方法

　　在基于視覺(jué)方法的基礎上融入其他媒體提供的信息，準確的判斷視頻片段的重要程度，這種算法是目前大多數視頻摘要技術(shù)采用的方法。

　　基于視頻句法語(yǔ)義的生成方法

　　從視頻的句法結構分析入手，探尋鏡頭與鏡頭之間、場(chǎng)景與場(chǎng)景之間的結構規則，將視頻的句法語(yǔ)義盡可能完整的保存在摘要中。

　　視頻摘要生成過(guò)程可以歸納為3個(gè)過(guò)程：

　　視頻分割

　　任何視頻摘要算法都遵循“先分后合”的原則，要進(jìn)行視頻內容理解和分析必須首先將視頻切分成合理的基本單位，這些基本單位包括場(chǎng)景、鏡頭、幀等。

　　視頻內容提取

　　采用模式識別或者視頻結構探測的方法來(lái)獲取能夠被計算機或者人感覺(jué)的信息。

　　合成摘要

　　把判定為重要的視頻片段組合在一起形成某種形式的摘要。

　　如果將上述3個(gè)過(guò)程細化，由原始視頻生成視頻摘要首先要對非結構化的圖像流進(jìn)行處理，使之成為結構化的數據，這個(gè)過(guò)程被稱(chēng)為視頻結構化，又叫視頻分析。幀是視頻數據的最小單元，是一幅靜止的畫(huà)面，鏡頭是由幀組成的視頻數據的基本單位，是攝像頭的一次連續的動(dòng)作，只能拍攝相鄰地點(diǎn)連續發(fā)生的事情，場(chǎng)景由內容相近的鏡頭組成，從不同的角度描述同一個(gè)事件，視頻是由許多場(chǎng)景組成，敘述一件完成的事情。針對視頻內容的結構化提取是通過(guò)自底向上的方法從每一幀中分析出結構化信息。

　　視頻結構化主要步驟有鏡頭分割、關(guān)鍵幀提取、場(chǎng)景重構。

　　鏡頭分割：鏡頭是視頻檢索的基本單元，大部分視頻是由一個(gè)個(gè)鏡頭連接而成的。在編輯時(shí)，可能采用不同的方法將前后兩個(gè)鏡頭結合在一起。兩個(gè)鏡頭的結合方法可能是突變，即一個(gè)鏡頭直接加在上一個(gè)鏡頭最后一個(gè)畫(huà)面之后;也可能是漸變，如淡入淡出、慢轉換等。鏡頭分割過(guò)程的主要工作是鏡頭邊界的檢測。常用的鏡頭邊界檢測的算法有突變檢測算法和漸變檢測算法。

　　關(guān)鍵幀提?。涸谶M(jìn)行鏡頭分割后，視頻被分解為一個(gè)個(gè)連續的鏡頭。在同一鏡頭中，t時(shí)刻的圖像幀和t+1時(shí)刻的圖像幀往往在視覺(jué)特征和內容上差別不大，所以在一個(gè)鏡頭中對分析過(guò)程而言存在太多的冗余的圖像幀，因此就需要從成千上萬(wàn)的圖像幀中提取關(guān)鍵幀。所謂關(guān)鍵幀是用于描述一個(gè)鏡頭內容的關(guān)鍵圖像，它是從原始的視頻文件中抽取的一些靜態(tài)圖像。靜態(tài)視頻摘要就是由這些關(guān)鍵幀組成的。用它們來(lái)表示視頻，更加簡(jiǎn)潔，也消除了在視頻分析時(shí)的巨大冗余。關(guān)鍵幀提取主要是利用圖論、曲線(xiàn)分裂、聚類(lèi)和奇異值分解的方法。這些方法的基本思想是把一幀看成是多維特征空間中的一點(diǎn)，選擇的關(guān)鍵幀是點(diǎn)的子集，這些點(diǎn)集能夠覆蓋特征距離內的其它點(diǎn)，或者能夠表明場(chǎng)景內容的變化。關(guān)鍵幀提取算法主要有:基于鏡頭邊界法、基于顏色特征法、基于運動(dòng)分析法、基于內容的自適應提取方法、基于聚類(lèi)的關(guān)鍵幀提取方法等。

　　場(chǎng)景重構：場(chǎng)景是由語(yǔ)義上相關(guān)和時(shí)間上相鄰的若干組鏡頭組成的。場(chǎng)景是視頻所蘊涵的高層抽像概念和語(yǔ)義的表達。在視頻分割中，首先將視頻切分為一個(gè)個(gè)的鏡頭，然而實(shí)質(zhì)上某一些連續的鏡頭在情節上是相關(guān)的，這組鏡頭具有相同的語(yǔ)義，表達同樣的主題，將這些鏡頭重構成場(chǎng)景也是視頻結構化的重要部分。重構的場(chǎng)景是觀(guān)眾頭腦中形成的主觀(guān)概念，因此，場(chǎng)景重構的邊界檢測也就比鏡頭邊界檢測要困難得多，更具有挑戰性。完全自動(dòng)場(chǎng)景變換檢測系統很難實(shí)現，很多文獻提出了場(chǎng)景變化檢測的算法。這些算法可分為兩類(lèi):時(shí)間約束聚類(lèi)算法和聲音、視覺(jué)特性檢測算法。前者是把視覺(jué)相似和時(shí)間接近的鏡頭組織成一個(gè)場(chǎng)景，目標在于用一種緊湊且有語(yǔ)義含義的方法表示視頻;后者則強調模仿人的觀(guān)察力檢測場(chǎng)景變化。

　　視頻摘要未來(lái)發(fā)展趨勢

　　隨著(zhù)視頻、音頻內容分析技術(shù)、自然語(yǔ)言理解以及人工交互技術(shù)的不斷發(fā)展與完善，未來(lái)的視頻摘要技術(shù)將出現以下發(fā)展趨勢:

　　1)多模態(tài)的視頻摘要，即融合圖像、視頻、音頻以及文本等多種媒體內容的視頻摘要。大量的實(shí)驗證明，將各種媒體的特征有機地結合在一起，才能最大限度地讓用戶(hù)在短時(shí)間內迅速理解并獲取視頻的內容，如標題與故事板相結合的摘要形式必定會(huì )比單一的標題或故事板的摘要形式更容易讓人理解。

　　2)交互式的視頻摘要?，F在的視頻摘要多半是主觀(guān)的、按照生成者意圖定制的摘要，力求讓用戶(hù)理解或瀏覽視頻內容。但未來(lái)的視頻摘要將是交互式的，允許用戶(hù)指定摘要的形式，摘要哪方面的內容，便于用戶(hù)自己設計個(gè)性化的摘要。未來(lái)的視頻摘要技術(shù)目標是生成自適應的、可視化的視頻摘要，即根據用戶(hù)需求對內容進(jìn)行自適應的表現。具體體現在允許用戶(hù)對視頻片段進(jìn)行標注，允許用戶(hù)調整縮略的壓縮比，如對感興趣的內容設置較小的壓縮率。另外，它可以通過(guò)對用戶(hù)交互記錄的分析獲取用戶(hù)的喜好，按照用戶(hù)喜好自適應地生成縮略。目前，已經(jīng)能夠實(shí)現通過(guò)交互式的地圖以及時(shí)間線(xiàn)的方法對新聞視頻按地區和時(shí)間進(jìn)行快速信息的獲取。

　　總而言之，視頻摘要技術(shù)正在向多模態(tài)、個(gè)性化以及融合的方向發(fā)展，具有很好的研究?jì)r(jià)值以及廣闊的應用前景。

　　視頻摘要在安防領(lǐng)域的作用

　　視頻摘要技術(shù)目前已經(jīng)廣泛地應用于大量使用視頻監控的行業(yè)，例如：

　　公安行業(yè)：關(guān)鍵道路、卡口視頻智能摘要;

　　交通行業(yè)：重點(diǎn)路段、收費閘口視頻智能摘要;

　　監獄看守所：重點(diǎn)監舍、人員交接班視頻智能摘要;

　　大型展會(huì )：場(chǎng)館、出入口視頻智能摘要;

　　電信行業(yè)：相關(guān)網(wǎng)店、基站、機房視頻智能摘要;

　　電力行業(yè)：相關(guān)變電站、電力設備。

　　目前市場(chǎng)推出的視頻摘要子系統是從海量的視頻文件中迅速定位播放相關(guān)事件的視頻，找出有價(jià)值的視頻信息，縮短視頻回放翻查時(shí)間，節省人力成本，使查看所有視頻成為日常工作的一部分。視頻摘要子系統能夠對重點(diǎn)監控區域的錄像文件進(jìn)行特征分析，使原來(lái)需要數小時(shí)查看的文件，在幾分鐘內可以快速瀏覽查看。用戶(hù)通過(guò)摘要回放，可以快捷的預覽視頻覆蓋時(shí)間內的可疑事件和事件發(fā)生時(shí)間，并根據摘要短片中的單個(gè)事件索引，直接鏈接播放可疑事件的原始視頻，觀(guān)看整個(gè)事件的真實(shí)情況。同時(shí)視頻摘要子系統還提供對處理后的視頻文件進(jìn)行物件特征搜索功能，用戶(hù)可以通過(guò)設置活動(dòng)物件大小、移動(dòng)方向以及顏色等信息，對大范圍的視頻進(jìn)行搜索，找出與用戶(hù)設置信息類(lèi)似的物件，并通過(guò)查找結果，回溯到原始視頻。

　　結語(yǔ)

　　總的來(lái)說(shuō)視頻摘要技術(shù)已經(jīng)廣泛使用在安防行業(yè)各種應用場(chǎng)景。視頻摘要技術(shù)建立在基于內容的多媒體分析技術(shù)基礎上，多年以來(lái)一直是國內外多媒體研究的熱點(diǎn)之一。如何集成現有成熟技術(shù)到視頻摘要系統中，使視頻分析和檢索系統能夠真正實(shí)現商業(yè)化應用，也是今后研究的重點(diǎn)之一，面向監視視頻的視頻摘要技術(shù)具有很大的商業(yè)應用前景。