DAV首頁(yè)
數字音視工程網(wǎng)

微信公眾號

數字音視工程網(wǎng)

手機DAV

null
null
null
卓華,
招商,
null
null
null
快捷,
null

我的位置:

share

視頻摘要技術(shù)在視頻分析領(lǐng)域的作用

來(lái)源:數字音視工程網(wǎng)        編輯:merry2013    2015-06-03 06:10:03     加入收藏    咨詢(xún)

咨詢(xún)
所在單位:*
姓名:*
手機:*
職位:
郵箱:*
其他聯(lián)系方式:
咨詢(xún)內容:
驗證碼:
不能為空 驗證碼錯誤
確定

視頻摘要技術(shù)解決的問(wèn)題是如何使視頻數據有效的表示和快速的訪(fǎng)問(wèn),它是利用對視頻內容的分析來(lái)減小視頻存儲、分類(lèi)和索引的代價(jià),提高視頻的使用效率、可...

  視頻摘要技術(shù)解決的問(wèn)題是如何使視頻數據有效的表示和快速的訪(fǎng)問(wèn),它是利用對視頻內容的分析來(lái)減小視頻存儲、分類(lèi)和索引的代價(jià),提高視頻的使用效率、可用性和可訪(fǎng)問(wèn)性,它是基于內容的視頻分析技術(shù)的發(fā)展。

  視頻摘要解釋

  視頻摘要技術(shù)的研究最早始于1994年CMU大學(xué)的Informedia工程,隨后德國曼海姆大學(xué)、FXPaloAlto實(shí)驗室、Minnesota大學(xué)、MITRE公司、哥倫比亞大學(xué)與微軟研究院等都在這方面進(jìn)行了較為深入的研究,分別提出了各自的視頻摘要策略,視頻摘要的表現形式也由最初的靜態(tài)摘要轉變?yōu)楝F在的動(dòng)態(tài)縮略視頻。

  總的來(lái)說(shuō)視頻摘要是對一長(cháng)段視頻內容的簡(jiǎn)短總結,即視頻摘要就是一連串靜止或運動(dòng)的圖像,分別稱(chēng)為靜態(tài)視頻摘要和動(dòng)態(tài)視頻摘要,它們用精簡(jiǎn)的方式代表了原視頻的內容,同時(shí)保留了原內容的要點(diǎn)。靜態(tài)視頻摘要是從原始視頻中剪取而生成的一系列靜止圖像的集合,這些代表了原始視頻的圖像成為關(guān)鍵幀;動(dòng)態(tài)視頻摘要是由一些圖像序列以及對應的音頻組成,它本身是一個(gè)視頻片斷。兩者區別是靜態(tài)視頻摘要只考慮其關(guān)鍵幀,忽略了音頻信息,但生成摘要的速度比動(dòng)態(tài)視頻摘要快;動(dòng)態(tài)視頻摘要表現的內容比靜態(tài)視頻摘要豐富,通常以鏡頭的方式表示,融合了圖像、聲音和文字等信息。

  視頻摘要的作用主要是便于存儲和視頻的瀏覽或查找,相對于原始的視頻資料,視頻摘要的長(cháng)度要短很多,節省了存儲時(shí)間和空間。視頻摘要保留了原內容的要點(diǎn),所以對于用戶(hù)來(lái)說(shuō),瀏覽或查找視頻摘要比瀏覽原始視頻要節省時(shí)間。

  視頻摘要生成方法及過(guò)程

  視頻摘要的生成方法大致可以分為4類(lèi):

  簡(jiǎn)單的生成方法

  基于時(shí)間點(diǎn)對視頻進(jìn)行采樣,即每間隔一定的時(shí)間抽取一個(gè)代表幀或者一個(gè)片段,這種生成方法很容易實(shí)現,但完全沒(méi)有基于視頻的內容。

  基于視覺(jué)信息的生成方法

  根據視頻里出現的顏色、紋理、形狀、運動(dòng)方向和強度等視覺(jué)信息,基于模式識別的思維,應用各種視頻和圖像處理技術(shù),進(jìn)行鏡頭探測、關(guān)鍵幀提取、場(chǎng)景聚類(lèi)、運動(dòng)特征提取等一系列操作,最終生成具有代表性的關(guān)鍵幀序列或縮略視頻。這種算法完全基于視覺(jué)特征,忽略了音頻、字幕等信息對視頻的作用。

  融合多特性的生成方法

  在基于視覺(jué)方法的基礎上融入其他媒體提供的信息,準確的判斷視頻片段的重要程度,這種算法是目前大多數視頻摘要技術(shù)采用的方法。

  基于視頻句法語(yǔ)義的生成方法

  從視頻的句法結構分析入手,探尋鏡頭與鏡頭之間、場(chǎng)景與場(chǎng)景之間的結構規則,將視頻的句法語(yǔ)義盡可能完整的保存在摘要中。

  視頻摘要生成過(guò)程可以歸納為3個(gè)過(guò)程:

  視頻分割

  任何視頻摘要算法都遵循“先分后合”的原則,要進(jìn)行視頻內容理解和分析必須首先將視頻切分成合理的基本單位,這些基本單位包括場(chǎng)景、鏡頭、幀等。

  視頻內容提取

  采用模式識別或者視頻結構探測的方法來(lái)獲取能夠被計算機或者人感覺(jué)的信息。

  合成摘要

  把判定為重要的視頻片段組合在一起形成某種形式的摘要。

  如果將上述3個(gè)過(guò)程細化,由原始視頻生成視頻摘要首先要對非結構化的圖像流進(jìn)行處理,使之成為結構化的數據,這個(gè)過(guò)程被稱(chēng)為視頻結構化,又叫視頻分析。幀是視頻數據的最小單元,是一幅靜止的畫(huà)面,鏡頭是由幀組成的視頻數據的基本單位,是攝像頭的一次連續的動(dòng)作,只能拍攝相鄰地點(diǎn)連續發(fā)生的事情,場(chǎng)景由內容相近的鏡頭組成,從不同的角度描述同一個(gè)事件,視頻是由許多場(chǎng)景組成,敘述一件完成的事情。針對視頻內容的結構化提取是通過(guò)自底向上的方法從每一幀中分析出結構化信息。

  視頻結構化主要步驟有鏡頭分割、關(guān)鍵幀提取、場(chǎng)景重構。

  鏡頭分割:鏡頭是視頻檢索的基本單元,大部分視頻是由一個(gè)個(gè)鏡頭連接而成的。在編輯時(shí),可能采用不同的方法將前后兩個(gè)鏡頭結合在一起。兩個(gè)鏡頭的結合方法可能是突變,即一個(gè)鏡頭直接加在上一個(gè)鏡頭最后一個(gè)畫(huà)面之后;也可能是漸變,如淡入淡出、慢轉換等。鏡頭分割過(guò)程的主要工作是鏡頭邊界的檢測。常用的鏡頭邊界檢測的算法有突變檢測算法和漸變檢測算法。

  關(guān)鍵幀提?。涸谶M(jìn)行鏡頭分割后,視頻被分解為一個(gè)個(gè)連續的鏡頭。在同一鏡頭中,t時(shí)刻的圖像幀和t+1時(shí)刻的圖像幀往往在視覺(jué)特征和內容上差別不大,所以在一個(gè)鏡頭中對分析過(guò)程而言存在太多的冗余的圖像幀,因此就需要從成千上萬(wàn)的圖像幀中提取關(guān)鍵幀。所謂關(guān)鍵幀是用于描述一個(gè)鏡頭內容的關(guān)鍵圖像,它是從原始的視頻文件中抽取的一些靜態(tài)圖像。靜態(tài)視頻摘要就是由這些關(guān)鍵幀組成的。用它們來(lái)表示視頻,更加簡(jiǎn)潔,也消除了在視頻分析時(shí)的巨大冗余。關(guān)鍵幀提取主要是利用圖論、曲線(xiàn)分裂、聚類(lèi)和奇異值分解的方法。這些方法的基本思想是把一幀看成是多維特征空間中的一點(diǎn),選擇的關(guān)鍵幀是點(diǎn)的子集,這些點(diǎn)集能夠覆蓋特征距離內的其它點(diǎn),或者能夠表明場(chǎng)景內容的變化。關(guān)鍵幀提取算法主要有:基于鏡頭邊界法、基于顏色特征法、基于運動(dòng)分析法、基于內容的自適應提取方法、基于聚類(lèi)的關(guān)鍵幀提取方法等。

  場(chǎng)景重構:場(chǎng)景是由語(yǔ)義上相關(guān)和時(shí)間上相鄰的若干組鏡頭組成的。場(chǎng)景是視頻所蘊涵的高層抽像概念和語(yǔ)義的表達。在視頻分割中,首先將視頻切分為一個(gè)個(gè)的鏡頭,然而實(shí)質(zhì)上某一些連續的鏡頭在情節上是相關(guān)的,這組鏡頭具有相同的語(yǔ)義,表達同樣的主題,將這些鏡頭重構成場(chǎng)景也是視頻結構化的重要部分。重構的場(chǎng)景是觀(guān)眾頭腦中形成的主觀(guān)概念,因此,場(chǎng)景重構的邊界檢測也就比鏡頭邊界檢測要困難得多,更具有挑戰性。完全自動(dòng)場(chǎng)景變換檢測系統很難實(shí)現,很多文獻提出了場(chǎng)景變化檢測的算法。這些算法可分為兩類(lèi):時(shí)間約束聚類(lèi)算法和聲音、視覺(jué)特性檢測算法。前者是把視覺(jué)相似和時(shí)間接近的鏡頭組織成一個(gè)場(chǎng)景,目標在于用一種緊湊且有語(yǔ)義含義的方法表示視頻;后者則強調模仿人的觀(guān)察力檢測場(chǎng)景變化。

  視頻摘要未來(lái)發(fā)展趨勢

  隨著(zhù)視頻、音頻內容分析技術(shù)、自然語(yǔ)言理解以及人工交互技術(shù)的不斷發(fā)展與完善,未來(lái)的視頻摘要技術(shù)將出現以下發(fā)展趨勢:

  1)多模態(tài)的視頻摘要,即融合圖像、視頻、音頻以及文本等多種媒體內容的視頻摘要。大量的實(shí)驗證明,將各種媒體的特征有機地結合在一起,才能最大限度地讓用戶(hù)在短時(shí)間內迅速理解并獲取視頻的內容,如標題與故事板相結合的摘要形式必定會(huì )比單一的標題或故事板的摘要形式更容易讓人理解。

  2)交互式的視頻摘要?,F在的視頻摘要多半是主觀(guān)的、按照生成者意圖定制的摘要,力求讓用戶(hù)理解或瀏覽視頻內容。但未來(lái)的視頻摘要將是交互式的,允許用戶(hù)指定摘要的形式,摘要哪方面的內容,便于用戶(hù)自己設計個(gè)性化的摘要。未來(lái)的視頻摘要技術(shù)目標是生成自適應的、可視化的視頻摘要,即根據用戶(hù)需求對內容進(jìn)行自適應的表現。具體體現在允許用戶(hù)對視頻片段進(jìn)行標注,允許用戶(hù)調整縮略的壓縮比,如對感興趣的內容設置較小的壓縮率。另外,它可以通過(guò)對用戶(hù)交互記錄的分析獲取用戶(hù)的喜好,按照用戶(hù)喜好自適應地生成縮略。目前,已經(jīng)能夠實(shí)現通過(guò)交互式的地圖以及時(shí)間線(xiàn)的方法對新聞視頻按地區和時(shí)間進(jìn)行快速信息的獲取。

  總而言之,視頻摘要技術(shù)正在向多模態(tài)、個(gè)性化以及融合的方向發(fā)展,具有很好的研究?jì)r(jià)值以及廣闊的應用前景。

  視頻摘要在安防領(lǐng)域的作用

  視頻摘要技術(shù)目前已經(jīng)廣泛地應用于大量使用視頻監控的行業(yè),例如:

  公安行業(yè):關(guān)鍵道路、卡口視頻智能摘要;

  交通行業(yè):重點(diǎn)路段、收費閘口視頻智能摘要;

  監獄看守所:重點(diǎn)監舍、人員交接班視頻智能摘要;

  大型展會(huì ):場(chǎng)館、出入口視頻智能摘要;

  電信行業(yè):相關(guān)網(wǎng)店、基站、機房視頻智能摘要;

  電力行業(yè):相關(guān)變電站、電力設備。

  目前市場(chǎng)推出的視頻摘要子系統是從海量的視頻文件中迅速定位播放相關(guān)事件的視頻,找出有價(jià)值的視頻信息,縮短視頻回放翻查時(shí)間,節省人力成本,使查看所有視頻成為日常工作的一部分。視頻摘要子系統能夠對重點(diǎn)監控區域的錄像文件進(jìn)行特征分析,使原來(lái)需要數小時(shí)查看的文件,在幾分鐘內可以快速瀏覽查看。用戶(hù)通過(guò)摘要回放,可以快捷的預覽視頻覆蓋時(shí)間內的可疑事件和事件發(fā)生時(shí)間,并根據摘要短片中的單個(gè)事件索引,直接鏈接播放可疑事件的原始視頻,觀(guān)看整個(gè)事件的真實(shí)情況。同時(shí)視頻摘要子系統還提供對處理后的視頻文件進(jìn)行物件特征搜索功能,用戶(hù)可以通過(guò)設置活動(dòng)物件大小、移動(dòng)方向以及顏色等信息,對大范圍的視頻進(jìn)行搜索,找出與用戶(hù)設置信息類(lèi)似的物件,并通過(guò)查找結果,回溯到原始視頻。

  結語(yǔ)

  總的來(lái)說(shuō)視頻摘要技術(shù)已經(jīng)廣泛使用在安防行業(yè)各種應用場(chǎng)景。視頻摘要技術(shù)建立在基于內容的多媒體分析技術(shù)基礎上,多年以來(lái)一直是國內外多媒體研究的熱點(diǎn)之一。如何集成現有成熟技術(shù)到視頻摘要系統中,使視頻分析和檢索系統能夠真正實(shí)現商業(yè)化應用,也是今后研究的重點(diǎn)之一,面向監視視頻的視頻摘要技術(shù)具有很大的商業(yè)應用前景。

免責聲明:本文來(lái)源于網(wǎng)絡(luò )收集,本文僅代表作者個(gè)人觀(guān)點(diǎn),本站不作任何保證和承諾,若有任何疑問(wèn),請與本文作者聯(lián)系或有侵權行為聯(lián)系本站刪除。(原創(chuàng )稿件未經(jīng)許可,不可轉載,轉載請注明來(lái)源)
掃一掃關(guān)注數字音視工程網(wǎng)公眾號

相關(guān)閱讀related

評論comment

 
驗證碼:
您還能輸入500
    国产av福利久久精品can动漫|2021精品国产自在现线|亚洲无线观看国产高清|欧洲人妻丰满av无码久久不卡|欧美情侣性视频