海量視頻智能分析研判系統

　　作者簡(jiǎn)介：李子青，國防科大碩士、英國Surrey大學(xué)博士?，F為中科院自動(dòng)化所生物識別與安全技術(shù)研究中心主任?！　⌒枨蠓治?/p>

　　平安城市建設計劃在全國城市建設監控視頻設施，部署實(shí)施了2000多萬(wàn)攝像頭，在社會(huì )管理工作中起到了積極的作用。然而，監控視頻數據帶來(lái)的問(wèn)題日益突出，主要體現在海量視頻的有效利用上。2012年南京“1.6”案件發(fā)生后，在案件偵破過(guò)程中，南京警方從全市1萬(wàn)多個(gè)攝像頭共提取了近2000T的視頻數據，為了處理這些視頻，調動(dòng)1500多名公安干警查閱搜索視頻線(xiàn)索，共耗時(shí)一個(gè)多月。目前視頻偵查應用中面臨著(zhù)以下幾個(gè)重要問(wèn)題：

　　視頻數據未得到很好利用，人、車(chē)、物目標搜索識別，視頻分析研判等任務(wù)，靠人工進(jìn)行，無(wú)法有效處理海量視頻數據;

　　由于存儲容量限制，視頻數據存儲一個(gè)月即刪除，關(guān)鍵信息無(wú)法得到長(cháng)時(shí)間保存。

　　針對視頻設施應用存在的問(wèn)題，公安部要求：各級公安機關(guān)要圍繞視頻監控技術(shù)的深度應用，服務(wù)公安實(shí)戰，提升打防績(jì)效。對監控建設應用的要求，從以硬件建設為主的第一階段，向以智能應用為主要特征的第二階段過(guò)渡，解決視頻調閱慢、分析難的問(wèn)題，從海量視頻中發(fā)現重要而有價(jià)值的線(xiàn)索，快速識別定位目標，挖掘其行動(dòng)軌跡，從而縮短辦案時(shí)間，降低辦案人員的工作強度，提高各部門(mén)聯(lián)合作戰效率。公安視頻偵查、治安、情報等業(yè)務(wù)部門(mén)應該配備具有相應智能分析功能的實(shí)戰工具和裝備，能進(jìn)行海量視頻的智能視頻分析、信息檢索、特征識別、圖像增強、報警與監控。

　　面向公共安全應用，中國科學(xué)院自動(dòng)化研究所、中國物聯(lián)網(wǎng)研究發(fā)展中心(籌)和中科奧森科技有限公司聯(lián)合對公安視頻業(yè)務(wù)進(jìn)行了深入調研，認為：解決這些問(wèn)題的出路是，針對海量視頻分析研判，研發(fā)智能視頻分析、人車(chē)物目標識別、目標軌跡挖掘、海量數據分析等前沿高技術(shù)， 針對公安視頻偵查與情報業(yè)務(wù)，研發(fā)面向實(shí)戰的專(zhuān)業(yè)應用系統， 由此提升公安業(yè)務(wù)水平和效率。

　　針對上述迫切需求，在國家科技支撐計劃課題和工信部物聯(lián)網(wǎng)專(zhuān)項的支持下，中國科學(xué)院和中科奧森研發(fā)了海量視頻智能分析研判系統(簡(jiǎn)稱(chēng)VSearch)。該系統面向公安視頻偵查、治安和情報業(yè)務(wù)專(zhuān)業(yè)應用的智能視覺(jué)物聯(lián)網(wǎng)系統，如下圖所示，由2個(gè)部分構成：(1)視頻線(xiàn)索分析建庫(后臺)，(2)前臺 視頻線(xiàn)索綜合研判(前端)。第(1)部分處理分析海量監控視頻數據，從中提取出有價(jià)值的視頻線(xiàn)索并構建海量視頻情報庫，對視頻目標進(jìn)行多模態(tài)、全方位的描述，包括如空間、時(shí)間、表象、行為等特征。第(2)部分為公安業(yè)務(wù)綜合研判平臺，在海量視頻情報庫基礎上，提供多模態(tài)視頻線(xiàn)索和信息管理、目標快速搜索，軌跡挖掘、案件串并、綜合研判等功能。由此可見(jiàn)，該系統工作方式與Google索引和服務(wù)類(lèi)似，是一個(gè)面向中國公安業(yè)務(wù)的專(zhuān)用智能搜索系統。

　　視頻線(xiàn)索分析建庫

　　海量視頻智能分析研判基于智能視覺(jué)物聯(lián)網(wǎng)的視覺(jué)標簽系統。第一步是提取出有價(jià)值的視頻線(xiàn)索并構建出海量視頻情報線(xiàn)索庫。視頻線(xiàn)索提取包括目標檢測、目標屬性提取、目標關(guān)聯(lián)、和關(guān)系挖掘。這些線(xiàn)索構成視頻情報庫的基本元素，存儲在云端供客戶(hù)端應用隨時(shí)調閱。

　　中科院李子青博士2010年提出視覺(jué)物聯(lián)網(wǎng)(Visual Internet of Things, VIOT)，其核心為物聯(lián)網(wǎng)視覺(jué)標簽系統，對環(huán)境中主要物品 “人、車(chē)、物”及其事件進(jìn)行分析，識別目標的靜態(tài)屬性標簽，和動(dòng)態(tài)行為標簽。屬性標簽主要是視頻中的運動(dòng)對象的靜態(tài)屬性，如運動(dòng)目標的顏色、形狀和紋理(如衣服是豹紋還是格子衫)等低層特征，以及頭飾，眼鏡、發(fā)型、配飾等特征。此外，還包括運動(dòng)目標的類(lèi)別屬性(如行人，自行車(chē)，小汽車(chē)，公交車(chē)，大卡車(chē)等類(lèi)別，以及行人的性別，年齡，種族等分類(lèi))，和特定屬性(如行人身份，以及車(chē)輛車(chē)牌號等)。行為標簽是用來(lái)描述視頻數據中的運動(dòng)對象的運動(dòng)信息和行為信息，如運動(dòng)對象的運動(dòng)方向、運動(dòng)速度是屬于運動(dòng)標簽，徘徊、闖禁區、闖紅燈、損害公物、亂涂亂畫(huà)等是公共場(chǎng)合下的特定行為標簽。

　　視覺(jué)標簽的提取將構成對運動(dòng)目標的多模態(tài)的、全方位的描述。這些信息將保留在海量視頻情報庫中，構成快速視頻檢索的關(guān)鍵要素，是VSearch的技術(shù)核心部分。

　　目標屬性提取

　　目標屬性(視覺(jué)標簽)提取是VSearch的基礎技術(shù)，要求對環(huán)境中主要物品 “人、車(chē)、物”及其事件進(jìn)行分析，識別目標的靜態(tài)屬性標簽，和動(dòng)態(tài)行為標簽。分兩步：目標檢測和目標描述。

　　目標檢測把視頻里活動(dòng)的目標一一檢測和分割出來(lái)，并跟蹤其在單個(gè)場(chǎng)景里的活動(dòng)。在實(shí)際監控場(chǎng)景中，由于攝像機視角的不同以及環(huán)境光照的變化，對精確的行人、車(chē)輛檢測和分割提出了較高的要求。作為智能視頻分析中的核心問(wèn)題，VSearch擁有業(yè)內領(lǐng)先的專(zhuān)利技術(shù)，對由于攝像機視角，光照，和動(dòng)態(tài)背景變化，以及目標物體內在的表象變化(比如人的動(dòng)作和衣著(zhù)，以及車(chē)的類(lèi)型和顏色)等引起的復雜的運動(dòng)視頻能夠實(shí)現精確的行人、車(chē)輛檢測、分割和跟蹤。

　　VSearch的宗旨是從視頻里分割出來(lái)的目標不能有遺漏，這也是公安業(yè)務(wù)中最關(guān)心的功能，否則可能會(huì )丟失有重要價(jià)值的信息。其次是控制虛警。虛警太多不但影響后續模塊的處理，也影響分析研判的效率。

　　目標描述由靜態(tài)屬性標簽和動(dòng)態(tài)行為標簽組成。屬性標簽主要是視頻中的運動(dòng)對象的靜態(tài)屬性，VSearch提取的屬性標簽包括：

　　時(shí)間屬性：運動(dòng)目標活動(dòng)的時(shí)間;

　　空間屬性：運動(dòng)目標活動(dòng)的空間位置;

　　底層特征屬性：如運動(dòng)目標的顏色、形狀和紋理特征(如衣服是豹紋還是格子衫);

　　裝扮屬性：如帽子，頭飾，眼鏡，發(fā)型，配飾等特征;

　　類(lèi)別屬性：如行人，自行車(chē)，小汽車(chē)，公交車(chē)，大卡車(chē)等類(lèi)別，以及行人的性別，年齡，種族等分類(lèi);

　　特定屬性：如行人身份，以及車(chē)輛車(chē)牌號等。

　　行為標簽是用來(lái)描述視頻數據中的運動(dòng)對象的運動(dòng)信息和行為信息的，VSearch提取的行為標簽包括：

　　運動(dòng)標簽：如運動(dòng)對象的運動(dòng)方向、運動(dòng)速度和運動(dòng)軌跡;

　　特定行為標簽：如徘徊、闖禁區、闖紅燈、損害公物、亂涂亂畫(huà)等是公共場(chǎng)合下的特定行為標簽。

　　視覺(jué)標簽的提取將構成對運動(dòng)目標的多模態(tài)的、全方位的描述。VSearch提取的這些信息將保留在海量視頻情報庫中，構成快速視頻檢索的關(guān)鍵要素。

　　目標關(guān)聯(lián)

　　目標關(guān)聯(lián)是實(shí)現大范圍跨攝像機視頻情報檢索的基礎。實(shí)際應用中受物理距離和建筑物空間布局的影響，單個(gè)攝像機的監控范圍是有限的，通常需要多個(gè)攝像機合作共同監控一個(gè)公共區域，如機場(chǎng)、火車(chē)站、地鐵站、商場(chǎng)等。因此，跨攝像機目標關(guān)聯(lián)就成為VSearch系統針對大范圍視頻情報搜集的關(guān)鍵技術(shù)。有了跨攝像機目標關(guān)聯(lián)技術(shù)，VSearch將能繪制出每個(gè)運動(dòng)目標的大范圍活動(dòng)軌跡，這對公安辦案時(shí)掌握嫌疑人的來(lái)龍去脈是非常重要的。VSearch技術(shù)攻克了諸多導致跨攝像機目標關(guān)聯(lián)困難的挑戰性問(wèn)題，如實(shí)際場(chǎng)景的復雜多樣性，光照變化，距離變化，目標姿態(tài)變化，目標遮擋，攝像頭參數不一等困難問(wèn)題。

　　由于國內人口眾多，大部分公共區域都涉及比較密集的人流。這種情況下傳統的顏色特征將不足以鑒別跨攝像機的目標匹配。海量視頻智能分析研判系統針對這一國情一方面加強了高清攝像機視頻的研究，使得目標的局部細節能被利用起來(lái)作為更有效的目標匹配方式。另一方面，VSearch技術(shù)也挖掘時(shí)間、空間、環(huán)境相關(guān)的局部約束等多模態(tài)信息實(shí)現更可靠的跨攝像機目標關(guān)聯(lián)。

　　以上描述的目標發(fā)現、關(guān)聯(lián)與標簽提取都是關(guān)注運動(dòng)目標本身的。然而，在情報偵察中僅僅關(guān)注目標本身是不夠的。因此，VSearch同時(shí)關(guān)注一個(gè)目標與其周?chē)繕说幕?dòng)關(guān)系，如同伙關(guān)系(總是在一起活動(dòng)的人)和接洽關(guān)系(兩個(gè)目標不定期地會(huì )接觸)。同時(shí)，一旦關(guān)系的判定為真，則同時(shí)挖掘同伙或接洽人的大范圍活動(dòng)軌跡，提取所有與其相關(guān)的視覺(jué)標簽，以及同伙或接洽人的衍生關(guān)系。

　　VSearch技術(shù)深層的關(guān)系挖掘最終能夠繪制出同伙或接洽人的分布圖，以及一個(gè)團伙的所有關(guān)系網(wǎng)，這些情報對公安在緝拿逃犯過(guò)程中的全局把握，和對一個(gè)團伙活動(dòng)的縱深認識都將具有重要的利用價(jià)值。

　　云端存儲

　　以上描述的四個(gè)處理環(huán)節將產(chǎn)生巨大的信息量，如何組織和存儲這些信息也將是個(gè)艱巨的課題。VSearch系統將大范圍的監控視頻逐級匯總到分布式的云端服務(wù)器中，并保障傳輸網(wǎng)可靠的安全性和穩定性。同時(shí)，存儲端的訪(fǎng)問(wèn)設置了逐級權限控制，整個(gè)公安專(zhuān)網(wǎng)的監控視頻網(wǎng)絡(luò )中，公安部具有最高權限，往下是省廳，市局和各地派出所。

　　海量視頻智能分析研判系統支持涉案完整原始視頻資料存儲在案件所屬分局、案件相關(guān)視頻片段以及相關(guān)信息存儲在地市、案件視頻線(xiàn)索信息存儲在省廳，大要案、系列案視頻線(xiàn)索信息全國集中存儲的四級存儲管理機制。保障涉案視頻信息完整性以及共享、查詢(xún)工作。從而制定案件視頻信息資料存儲標準，構建分級管理的標準化，開(kāi)放式存儲平臺。

　　視頻線(xiàn)索綜合研判

　　多模態(tài)信息綜合研判

　　監控視頻改變了傳統信息化背景下的案件信息分布和作用模式，進(jìn)而改變了案件信息綜合研判的方式。這與當前“大情報”信息戰略的發(fā)展趨勢是一致的。視頻偵查技術(shù)體系涉及從集成、到上級主管部門(mén)、各警種相互配合以及各類(lèi)信息綜合利用，建設視頻線(xiàn)索綜合研判技術(shù)平臺以及相關(guān)標準，保證足夠有效的信息獲取，以形成信息的規模效應。因此，在當前公安信息化的大背景下，如何利用已有公安信息資源，有效整合治安監控、道路監控、社會(huì )資源監控等各類(lèi)視頻監控資源，統一規劃實(shí)施建設適應當前一線(xiàn)干警視頻偵查工作的作戰模式、支持視頻偵查相關(guān)業(yè)務(wù)單位業(yè)務(wù)工作流程、支持案件查證和串并案案件視頻共享機制，成為視頻線(xiàn)索綜合研判的關(guān)鍵。

　　視頻線(xiàn)索綜合研判的過(guò)程是一個(gè)盡量充分利用視頻信息的過(guò)程，包括已知信息的獲取、重點(diǎn)信息梳理、殘缺信息推斷、信息擴展和關(guān)聯(lián)。監控視頻既反映了犯罪現場(chǎng)的靜態(tài)信息，又反映了犯罪行為及包含犯罪現場(chǎng)的區域相關(guān)動(dòng)態(tài)信息;既包含了時(shí)間和空間點(diǎn)的局部信息，又包含了時(shí)間段和空間距離內的大范圍信息。信息內容豐富而形象，具有傳統信息無(wú)法比擬的優(yōu)勢。同時(shí)，監控視頻包含有許多與其他種類(lèi)信息關(guān)聯(lián)的冗余信息，可以與其他信息進(jìn)行相互驗證，深入挖掘，有利于情報信息的融合。如在監控視頻中反應的嫌疑人形態(tài)、面貌可以與目擊證人描述相印證，監控視頻中的車(chē)輛信息可以與車(chē)輛庫信息相印證等。

　　在公安信息化建設中，目前主要包含了公共基礎信息(金盾工程信息庫包括全國人口基本信息資源庫、全國出入境人員資源庫、全國機動(dòng)車(chē)/駕駛人信息庫、全國警員基本信息資源庫、全國在逃人員信息資源庫、全國違法犯罪人員信息資源庫、全國被盜搶汽車(chē)信息資源庫、全國安全重點(diǎn)單位信息資源庫等信息庫)、旅館業(yè)治安管理信息系統、涉槍、涉爆人員信息庫;現場(chǎng)勘查信息(正在推進(jìn)的現場(chǎng)勘驗信息系統);刑偵應用信息系統(十五個(gè)，其中包括物證信息如DNA數據庫、指紋數據庫等);PGIS系統和其他一些專(zhuān)業(yè)應用系統等。

　　在視頻線(xiàn)索綜合研判過(guò)程中，派出所、偵查員以視頻偵查采集工作為主體，主要完成視頻提取、疑似目標檢索、相關(guān)信息標注、視頻資料打包上傳;區縣刑偵部門(mén)(專(zhuān)案組)以視頻偵查分析工作為主體，主要完成涉案視頻匯總、清晰化處理、信息關(guān)聯(lián)研判;地市相關(guān)部門(mén)以偵查與技術(shù)支持、主要完成地區視頻案件信息管理、完整技術(shù)體系建設、重特大案件技術(shù)支持和指導;省廳相關(guān)部門(mén)以技術(shù)標準、規劃、指導為主體，主要完成技術(shù)體系規劃、信息共享平臺建設、人員培訓以及重特大案件技術(shù)支持。

　　將“海量視頻智能分析研判系統”和“大規模數據庫人臉識別比對系統”納入“大視頻”系統建設中，與“大情報”并列。對案件視頻線(xiàn)索實(shí)行統一管理，對圖像、視頻線(xiàn)索進(jìn)行多模態(tài)全方位描述，對大案要案、窩案串案進(jìn)行深度關(guān)聯(lián)分析，利用視頻資源捕捉發(fā)案規律，破解突破方向，提高視頻線(xiàn)索分析利用對辦案工作的“貢獻率”。

　　通過(guò)構建海量視頻情報庫，就可以通過(guò)有效的查詢(xún)手段實(shí)現特定目標的快速查詢(xún)和分析，從而構建一個(gè)海量視頻智能分析研判系統(VSearch系統)，及其相應的便攜式工作站設備。

　　VSearch系統

　　海量視頻智能分析研判系統面向公安視頻偵察新業(yè)務(wù)，集成智能視頻分析技術(shù)，包括運動(dòng)目標提取，視覺(jué)標簽檢索，目標軌跡挖掘，及目標關(guān)系挖掘等，提取海量視頻中的有用信息，提升監控視頻的利用效能，從而支撐公安的智能視頻偵查業(yè)務(wù)平臺。

　　針對視頻偵察業(yè)務(wù)的特點(diǎn)，VSearch設計為可接入公安視頻監控專(zhuān)網(wǎng)和連接其他視頻文件。通過(guò)人工參與的半自動(dòng)視頻研判處理和脫離人工參與的全自動(dòng)的視頻研判處理兩種處理方式，將視頻中包含的案件信息線(xiàn)索保存至案件視頻庫，使前方辦案警員可以隨時(shí)查看最新進(jìn)展、線(xiàn)索，或者直接將最新線(xiàn)索推送到前方辦案警員處。

　　VSearch面向公安的主要應用業(yè)務(wù)包括：

　　視頻線(xiàn)索瀏覽：該應用提供給公安直接瀏覽提取出來(lái)的所有目標圖像，優(yōu)勢是不會(huì )遺漏任何一個(gè)目標，但不足的是目標數目有可能非常龐大，難以快速定位嫌疑目標。

　　視頻濃縮快覽：將提取出來(lái)的所有運動(dòng)目標重新安排進(jìn)一個(gè)短小的視頻播放，類(lèi)似視頻快進(jìn)功能，但重新生成的視頻畫(huà)面里不會(huì )遺漏任何一個(gè)曾經(jīng)出現過(guò)的運動(dòng)目標。該應用使得公安能夠短時(shí)間地快速瀏覽視頻場(chǎng)景里的所有目標。同時(shí)，觀(guān)看視頻的過(guò)程中只要對某一目標感興趣，可立刻定位到原始視頻進(jìn)行細節察看。

　　視頻目標檢索：視頻目標檢索是VSearch的核心業(yè)務(wù)，該業(yè)務(wù)類(lèi)似于Google的搜索功能，能根據語(yǔ)義明確的關(guān)鍵詞檢索滿(mǎn)足要求的特定目標。VSearch提取出的所有目標屬性都可以通過(guò)單一或組合的檢索條件實(shí)現目標檢索。如：紅色小汽車(chē);中關(guān)村東路上的紅色小汽車(chē);2012年9月16日上午10點(diǎn)至11點(diǎn)在中關(guān)村東路上往北行駛的紅色小汽車(chē);穿白色上衣的行人;知春路地鐵站A出口穿白色上衣戴黑色帽子的男人等。將列出所有滿(mǎn)足要求的目標供公安干警瀏覽確認(正如在Google搜索里瀏覽確認檢索到的網(wǎng)頁(yè)條目)。這大大地縮小排查的范圍，加快辦案速度。另一方面，如果有嫌疑目標的截圖或視頻片段，可以直接作為VSearch的輸入，從監控視頻里檢索出相似的目標?；趫D像或視頻的目標再辨識技術(shù)相比于語(yǔ)義檢索能更精確地搜索到滿(mǎn)足要求的目標，從而實(shí)現更便利的辦案排查。

　　視頻圖像增強：對于鎖定的嫌疑目標，監控錄像有可能存在模糊不清的情況，使得關(guān)鍵細節無(wú)法辨認(如人的臉像或車(chē)輛的車(chē)牌號碼)。VSearch提供視頻圖像增強技術(shù)，對感興趣的目標進(jìn)行視頻圖像后處理，使得感興趣的細節得到明顯增強，給公安破案提供更多有價(jià)值的線(xiàn)索。目前視頻圖像增強支持的功能包括：去噪，去模糊，去霧，暗處增強，和基于動(dòng)態(tài)序列的超分辨率等。

　　目標軌跡挖掘：鎖定嫌疑目標后，VSearch可以進(jìn)一步在其他相關(guān)的監控錄像中搜索嫌疑目標，并進(jìn)一步在地圖上繪制出嫌疑目標的行蹤軌跡，從而為公安掌握嫌疑目標的來(lái)龍去脈，獲取破案線(xiàn)索和制定緝逃計劃提供全面的參考。

　　目標關(guān)系挖掘：鎖定嫌疑目標后，VSearch還可以進(jìn)一步挖掘嫌疑目標的同伙和接洽人，及其衍生的關(guān)系網(wǎng)。深層的關(guān)系挖掘最終能夠繪制出同伙或接洽人的分布圖，以及一個(gè)團伙的所有關(guān)系網(wǎng)，這些情報對公安在緝拿逃犯過(guò)程中的全局把握，和對一個(gè)團伙活動(dòng)的縱深認識都將具有重要的利用價(jià)值。

　　VSearch設備

　　便攜式智能視頻工作站是VSearch系統的移動(dòng)式延伸，其功能與前述平臺一樣，可一站式調往突發(fā)事件、重大任務(wù)現場(chǎng)、能有效增強警力和業(yè)務(wù)效率，實(shí)現實(shí)時(shí)警務(wù)，是智能視頻情報偵察平臺的立體化延伸，是海量視頻信息處理與案情研判的金剛利器。

　　由上，海量視頻智能分析研判系統將構建一個(gè)基于海量視頻并能快速響應的情報檢索平臺。該系統工作方式與Google索引和服務(wù)類(lèi)似，是一個(gè)面向中國公安業(yè)務(wù)的專(zhuān)用智能搜索系統。該平臺利用海量視頻云端情報庫，可實(shí)時(shí)檢索公安需求的情報信息，如滿(mǎn)足特定條件(視覺(jué)標簽)的目標人或車(chē)輛，該目標大范圍的行蹤軌跡，該目標的同伙的分布及其關(guān)系網(wǎng)等等。這些信息都將能立體地呈現出來(lái)，給公安辦案裝備全新的、高科技的武裝。

　　結束語(yǔ)

　　海量視頻智能分析研判系統(VSearch)基于中科院核心技術(shù)，其系統產(chǎn)品經(jīng)過(guò)實(shí)戰測試和演練，展示了視頻偵查、治安和情報業(yè)務(wù)的智能分析研判能力。未來(lái)將在實(shí)踐中提煉關(guān)鍵問(wèn)題并全力攻關(guān)，進(jìn)一步加強核心技術(shù)研發(fā)，使之能處理密集人群中精確的目標跟蹤，遠距離攝像機的目標關(guān)聯(lián)，和復雜的目標關(guān)系網(wǎng)絡(luò )的可靠推斷等。VSearch在實(shí)戰中不斷改進(jìn)，逐漸成熟，將能極大地提升公安的警力和辦案效率。我們期待那一天的到來(lái)!