大數據平臺讓視頻更智能

　　智慧城市的管理中，視頻監控發(fā)揮著(zhù)越來(lái)越重要的作用。隨著(zhù)視頻監控數據量的飛速增長(cháng)，工作人員在用傳統方式對視頻進(jìn)行分析和檢索的時(shí)候遇到了很大的挑戰。而大數據技術(shù)可以重構傳統視頻數據處理的架構，讓人們可以更快速、更智能地分析和應用視頻監控的大數據。

　　我國智慧城市戰略已經(jīng)實(shí)施了多年，全面提升了城市的管理和服務(wù)能力。而從數據上來(lái)看，市民感受城市最直接的變化就是攝像頭密集度越來(lái)越高。而且，很多城市都已經(jīng)開(kāi)始實(shí)施“天眼工程”，為的就是實(shí)現對城市全方位無(wú)死角的監控。密集分布的攝像頭網(wǎng)絡(luò )組成了城市的公共安全視頻監控系統，也提升了一個(gè)城市治安、交通、消防、市政、城管等各部門(mén)的整體管理和服務(wù)水平。

　　海量視頻數據帶來(lái)的挑戰

　　隨著(zhù)視頻監控數據量的快速增長(cháng)，以及攝像頭高清化、超高清化的趨勢加強，視頻監控數據規模將以更快的指數級別增長(cháng)。以一個(gè)部署了1萬(wàn)個(gè)攝像頭的中等城市為例，假定每個(gè)攝像頭每秒壓縮視頻數據量為1Mb(比特)，則一天共產(chǎn)生108TB的視頻錄像，一個(gè)月共產(chǎn)生約3PB的視頻錄像。

　　現在，新的問(wèn)題出來(lái)了，攝像頭7×24小時(shí)地錄制視頻，讓每個(gè)城市都產(chǎn)生了大量的視頻監控文件。但是，當公安部門(mén)或交通部門(mén)希望快速搜索某時(shí)間或某些特征的視頻段時(shí)，這個(gè)看似簡(jiǎn)單的想法，操作起來(lái)卻猶如大海撈針。

　　與通常的結構化數據不同，視頻監控業(yè)務(wù)產(chǎn)生的數據絕大多數以非結構化的數據為主，必須經(jīng)過(guò)復雜繁重的分析處理才能提取出文本結構化的數據進(jìn)行下一步處理。這些都給傳統視頻監控體系架構、數據的管理方式、數據分析，以及視頻監控數據的傳輸、存儲和計算帶寬等帶來(lái)了極大的挑戰。

　　挑戰一 ：數據量的急劇擴大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則：在滿(mǎn)足客戶(hù)需求的前提之下，往往技術(shù)成本越低，其生命力越強。由于數據量的急速擴大，以及隨之而來(lái)的大規模計算的需求越來(lái)越多，一味采用高配硬件，使得硬件投資成為客戶(hù)不可承受之重，客戶(hù)越來(lái)越希望在滿(mǎn)足需求的前提下，用中低端的 硬件來(lái)替換高配硬件。

　　挑戰二 ：海量數據和有效數據之間的矛盾。攝像頭7×24小時(shí)地工作如實(shí)記錄鏡頭覆蓋范圍內所發(fā)生的一切。但是，大部分視頻監控信息是無(wú)效的，有效信息可能只分布在一個(gè)較短的時(shí)間段內，按照數學(xué)統計的說(shuō)法，信息是呈現冪律分布的，也稱(chēng)之為信息的密度，往往越高密度的信息對客戶(hù)價(jià)值越大。

　　挑戰三 ：資源利用和效率之間的矛盾。隨著(zhù)視頻監控數據量的增加，哪怕對TB級別的數據進(jìn)行視頻內容的數據分析和檢索，采用傳統方式都可能需要花費數小時(shí)的計算，這遠遠不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴(lài)于傳統的手段，視頻智能分析必須尋找新的突破。

　　因此，想要從如此海量的視頻監控文件檢索到所需的視頻信息，必須借助特殊的技術(shù)幫忙。

　　改造傳統數據處理架構

　　大數據理念和開(kāi)源生態(tài)系統Hadoop的誕生，激活了各行業(yè)的思路。IT領(lǐng)域開(kāi)始采用基于Hadoop的大數據技術(shù)框架對視頻文件進(jìn)行存儲和計算，使得城市各部門(mén)的工作人員可以實(shí)現對視頻的快速檢索和智能分析。

　　視頻監控的大數據平臺一般以分布式集群的方式進(jìn)行建設。分布式集群能夠對數據處理進(jìn)行負載均衡，同時(shí)，也便于未來(lái)一段時(shí)間進(jìn)行擴展。而擴展的過(guò)程也無(wú)需重新部署系統，只需增加集群節點(diǎn)即可提升大數據平臺的整體性能。

　　視頻監控的大數據平臺采用分布式計算，同時(shí)結合內存加速、負載均衡、本地處理，以提供高效的數據分析和挖掘能力。視頻監控大數據處理過(guò)程中的存儲則采用了分布式存儲方式，以提高讀寫(xiě)速度和擴大存儲容量。在數據存儲方面，大數據平臺需要考慮以下3個(gè)方面：一是哪些數據需要保存到大數據平臺上;二是如何對原有系統進(jìn)行改造，原有系統中已存在的數據該如何處理;三是如何保證數據的可靠性。

　　實(shí)踐證明，基于大數據框架改造的傳統視頻處理系統架構能煥發(fā)出新的活力。首先，架構更加靈活，伸縮彈性更大。一些城市的中大型項目，由于起點(diǎn)的差異，缺乏視頻監控架構的頂層設計，為后期的擴容升級增大了難度。在建設初期，IT規劃者如果能引入基于大數據的架構，就會(huì )為未來(lái)的擴張打開(kāi)通路。

　　其次，可以以廉價(jià)通用的硬件產(chǎn)品應對視頻監控數據的爆發(fā)性增長(cháng)。在面向大數據的架構中，IT規劃者后期可以根據視頻監控業(yè)務(wù)的部署需要，設立多個(gè)HDFS(Hadoop分布式文件系統)集群，采集的流數據會(huì )被劃分成段，并分布于各個(gè)數據節點(diǎn)上。更為重要的是，這些數據節點(diǎn)可以采用廉價(jià)通用型的硬件，由軟件技術(shù)保證其高可靠性。這種方式避免采用傳統高端硬件模式，大大降低了大數據平臺的后續運維成本。

　　最后，可以通過(guò)高速并行計算實(shí)現智能分析和數據挖掘。對于城市管理者來(lái)說(shuō)，面對海量的視頻監控數據，傳統人工和串行的數據篩選方式已不能滿(mǎn)足搜索和分析要求?；诖髷祿募軜嬀褪菍⒑Ａ繑祿纸鉃檩^小的更易訪(fǎng)問(wèn)的批量數據，在多臺服務(wù)器上并行分析處理，從而大大加快視頻數據的處理進(jìn)程。

　　視頻大數據的智能應用

　　以2012年在南京發(fā)生的“1•6”搶劫案為例，在案件偵破過(guò)程中，南京警方從全市1萬(wàn)多個(gè)攝像頭共提取了近2000TB的視頻數據，為了處理這些視頻，調動(dòng) 1500多名公安干警查閱搜索視頻線(xiàn)索，共耗時(shí)一個(gè)多月的時(shí)間。很顯然，通過(guò)人工查看模式，一段視頻往往需要數倍于視頻時(shí)間才能審看完，因此需要大量工作人員連續加班進(jìn)行視頻的審查，就不足為奇。

　　即便如此，人海戰術(shù)仍然會(huì )影響公安部門(mén)破案的進(jìn)度和效率，而且也使得工作人員把過(guò)多的精力耗費在查找視頻線(xiàn)索上來(lái)。如果這時(shí)候，有一個(gè)視頻監控的大數據平臺就可以在短時(shí)間內對視頻中運動(dòng)的物體進(jìn)行檢索和排除，從而大大提高公安部門(mén)的辦案效率。

　　時(shí)至今日，視頻監控的大數據平臺已經(jīng)被成熟地應用于智能交通，可以輕松監控攝像覆蓋范圍內的所有車(chē)輛的行駛狀態(tài)、運行軌跡，快速分析出其是否違章。2015年1月8日上午，在寧連高速上，一輛白色轎車(chē)飛速行駛，車(chē)內儀表盤(pán)上的時(shí)速指針已接近200公里/小時(shí)。

　　與此同時(shí)，南京市高速七大隊指揮室內，執勤的交警正在通過(guò)大屏幕監控著(zhù)過(guò)往的車(chē)輛。當這輛白色轎車(chē)飛馳而過(guò)時(shí)，路邊的測速設備捕捉到這輛車(chē)的時(shí)速已達到180公里/小時(shí)。交警利用監控探頭鎖定了這輛車(chē)，當車(chē)接近收費站時(shí)，司機將車(chē)停了下來(lái)，繞到車(chē)尾將號牌上一個(gè)藍色東西撕下，隨后繼續往收費站駛去。

　　幾分鐘后，當這輛白車(chē)進(jìn)入了收費站時(shí)，早已在此等候的交警立即上前將車(chē)攔截。當交警遞上了車(chē)輛超速照片，司機指著(zhù)車(chē)牌剛想狡辯，交警又遞上另一張這位司機正在撕號牌貼的照片。頓時(shí)，這位司機啞口無(wú)言，乖乖認罰。

　　據了解，南京市交管部門(mén)全面升級警務(wù)系統，啟用視頻巡查機制，利用現代化的高科技手段，將交通管理搬上網(wǎng)絡(luò )視頻大數據平臺，利用布控在全城的道路監控系統，實(shí)現日常事務(wù)的智慧化管理。

　　同時(shí)，在智能交通領(lǐng)域，視頻監控的大數據平臺還可以落地很多以前無(wú)法實(shí)現的操作。例如，實(shí)時(shí)交通狀況分析，通過(guò)視頻實(shí)時(shí)分析道路交通流量，然后綜合分析統計出全城市的交通狀況;汽車(chē)套牌的行為，通過(guò)視頻進(jìn)行車(chē)牌識別，按照一定的規則在全城檢索相同車(chē)牌的汽車(chē);犯罪嫌疑車(chē)輛追查，輸入嫌疑車(chē)的照片或顏色車(chē)型等相關(guān)特征在所有視頻中尋找;犯罪嫌疑人追查，通過(guò)輸入嫌疑人照片進(jìn)行人臉特征識別并在所有視頻中尋找該人臉;人車(chē)物的軌跡分析，在所有視頻中按照特征查找指定的人車(chē)物并繪制其時(shí)空軌跡等。

　　顯然，視頻監控的大數據框架是一種革命性的技術(shù)，特別在實(shí)時(shí)智能分析和數據挖掘方面，讓視頻監控從人工抽檢進(jìn)步到高效事前預警和事后分析，實(shí)現智能化的信息分析和預測，為視頻監控領(lǐng)域業(yè)務(wù)帶來(lái)深刻的變革。