視頻大數據技術(shù)在智慧城市中的應用
來(lái)源：數字音視工程網(wǎng) 作者：崔玉洋 編輯：ann 2014-05-05 10:58:51 加入收藏 咨詢(xún)
| 所在單位: | * |
| 姓名: | * |
| 手機: | * |
| 職位: | |
| 郵箱: | * |
| 其他聯(lián)系方式: | |
| 咨詢(xún)內容: | |
| 驗證碼: |
|
現代社會(huì )的信息量正以飛快的速度增長(cháng)，這些信息里又積累著(zhù)大量的數據。預計到2025年，每年產(chǎn)生的數據信息將會(huì )有超過(guò)1/3的內容駐留在云平臺中或借助云平臺處理。我們需要對這些數據進(jìn)行分析和處理，以獲取更多有價(jià)值的信息。在未來(lái)的“智慧城市”中，會(huì )有越來(lái)越大的結構化以及非結構化的數據。那么我們如何高效地存儲和管理這些數據，如何分析這些數據呢?答案是，我們需要強有力的大數據處理系統進(jìn)行支撐。
作為目前最火熱的詞匯之一，大數據在各個(gè)領(lǐng)域都已有了較為成熟的應用。在視頻監控領(lǐng)域，大數據時(shí)代正悄悄來(lái)臨。在城市安全、交通管理中將部署大量的視頻監控設備，這些視頻監控設備將產(chǎn)生大量的視頻及其相關(guān)的數據，如交通卡口數據達到十億條甚至更大級別，人臉庫數據量達到千萬(wàn)條甚至更大級別。針對如此大級別的數據量，當前系統會(huì )逐漸暴露出數據檢索速度越來(lái)越慢;數據統計、分析效率越來(lái)越低等問(wèn)題，這些問(wèn)題都需要一個(gè)成熟的技術(shù)來(lái)解決。
隨著(zhù)“智慧城市”中城市安全、智慧交通等的迅速發(fā)展，城市中非結構化的數據量越來(lái)越大。視頻大數據技術(shù)側重幫助各類(lèi)客戶(hù)從日趨海量的非結構化視頻數據中快速發(fā)掘高價(jià)值的信息，協(xié)助客戶(hù)提升其決策的效率和精準度。因此，視頻大數據的處理好壞成了客戶(hù)關(guān)注的焦點(diǎn)，視頻大數據的處理技術(shù)也成了廠(chǎng)家能力的體現。針對“智慧城市”建設中大量視頻數據的快速檢索、統計分析的需求，?？低?/a>等視頻領(lǐng)域的領(lǐng)軍企業(yè)已有了成熟的視頻大數據的解決方案，目前已應用多個(gè)“智慧城市”的建設中。
一、視頻大數據平臺技術(shù)
針對結構化或半結構化數據的數據量特別大的場(chǎng)景，大數據平臺作為應用平臺的支撐平臺，提供海量數據的高效處理能力。通過(guò)大數據平臺，應用能夠對這些數據進(jìn)行高效地存儲、檢索(秒級)、分析和統計，切實(shí)地提高效率，提升用戶(hù)體驗度。
視頻大數據平臺一般以分布式集群的方式進(jìn)行建設，集群能夠對數據處理進(jìn)行負載均衡，同時(shí)，集群能夠方便地進(jìn)行擴展，能夠通過(guò)增加集群節點(diǎn)來(lái)提升平臺整體性能。數據存儲需要考慮以下幾個(gè)方面：一、哪些數據需要保存到視頻大數據平臺;二、如果對原有系統進(jìn)行改造，原有系統中已存在的那些數據該如何處理;三、如何保證數據的可靠性。視頻大數據平臺采用分布式計算，同時(shí)結合內存加速、負載均衡、本地處理，提供高效的數據計算能力。
視頻大數據處理系統，在應對視頻大數據處理中的存儲問(wèn)題，采用了分布式存儲方式，提高了讀寫(xiě)速度，并擴大了存儲容量;在應對視頻大數據處理中的計算問(wèn)題，采用分布式計算系統，提高了數據分析和挖掘能力。視頻大數據處理系統總體架構如下圖所示，包括資源層、平臺層、應用層三個(gè)層次。
視頻大數據處理系統總體架構
資源層：包括IT基礎資源、數據資源、視頻資源等。能夠產(chǎn)生、存儲、處理海量數據的資源如過(guò)車(chē)數據、人臉數據、案事件數據等。
平臺層：即視頻大數據平臺，包括數據存儲、數據處理、數據遷移、集群管理等功能，同時(shí)為上層應用提供接口。視頻大數據平臺地位類(lèi)似于數據庫，但是它比數據庫的處理能力要強大很多，可以對海量數據進(jìn)行處理。
應用層：基于視頻大數據平臺提供的高效數據處理服務(wù)，行業(yè)應用平臺(公安、交通、司法、能源、教育等)能夠為用戶(hù)提供海量數據的高效存儲、檢索、分析和統計等功能。
二、視頻大數據技術(shù)在智慧交通中的應用
在智慧交通的道路交通應用中，卡口過(guò)車(chē)數據呈爆炸式增長(cháng)。對于一個(gè)城市，每個(gè)卡口每天會(huì )經(jīng)過(guò)成千上萬(wàn)輛車(chē)，假設一個(gè)城市有1000個(gè)卡口，每個(gè)卡口每天平均過(guò)車(chē)記錄數為10000次，需要對一年內的數據進(jìn)行處理，則過(guò)車(chē)記錄總數為36.5億。當卡口過(guò)車(chē)數據規模達到十億級別甚至更大后，當前系統的運行速度越來(lái)越慢，過(guò)車(chē)信息檢索、研判和分析的耗時(shí)越來(lái)越長(cháng)，用戶(hù)體驗越來(lái)越差。使用傳統的關(guān)系型數據庫解決方案會(huì )使效率大大降低，或者在保證效率的情況下，會(huì )使軟件、硬件投入成本大大增加，如采用小型機等。針對此類(lèi)場(chǎng)景，可采用大數據技術(shù)，數據量特別大的過(guò)車(chē)數據由視頻大數據平臺來(lái)處理，視頻大數據平臺可提供足夠大的內存和本地存儲，同時(shí)，采用分布式計算，各節點(diǎn)并行進(jìn)行計算，極大地提高數據處理的能力。視頻大數據平臺具有系統可靠、數據安全、數據處理能力高效、投入成本低、擴展能力強等特點(diǎn)。
交通卡口大數據應用設計如下圖所示：
交通卡口大數據應用示意圖
交通卡口大數據應用的不同之處在于后端子系統的設計。傳統方案中，只有一個(gè)智慧交通平臺;而大數據方案中，智慧交通平臺之下多了一個(gè)視頻大數據平臺，海量的過(guò)車(chē)數據存儲于視頻大數據平臺中，大數據平臺為上層平臺提供海量數據的高效處理服務(wù)。以10億條數據為例，在檢索、研判和統計分析等應用中傳統方案檢索時(shí)間是分鐘級，采用大數據技術(shù)檢索時(shí)間可以達到秒級?；谝曨l大數據平臺，智慧交通平臺實(shí)現了高效的檢索、分析、統計等功能，能夠為用戶(hù)提供更好的服務(wù)。以下是目前可實(shí)現應用功能主要功能：
快速檢索
能夠根據精確條件/模糊條件快速查詢(xún)出過(guò)車(chē)數據記錄。大數據方案可以從數十億條數據中快速篩選出目標過(guò)車(chē)記錄，提高交通管理部門(mén)的執勤效率。
研判分析
研判分析包括頻度研判、特定時(shí)間段車(chē)輛研判、初次入城、行車(chē)軌跡、跟車(chē)研判等應用。大數據方案可以迅速及時(shí)的發(fā)現事件信息，提高交通管理部門(mén)的快速響應能力。
統計分析
統計分析包括車(chē)流量統計、車(chē)流量對比、車(chē)輛違法統計、特定時(shí)段車(chē)流量、行車(chē)軌跡統計等應用。大數據方案可以實(shí)現更大范圍的交通流量數據統計，可以更加全面完整的反應一個(gè)城市的交通狀況，為交通管理部門(mén)決策提供數據支撐。
三、視頻大數據技術(shù)在智慧安全中的應用
在智慧安全的案件偵緝等應用中，經(jīng)常需要進(jìn)行人員信息的查詢(xún)，人員信息庫中的一個(gè)重要組成部分是人臉庫，人臉庫包括人員的基本信息、頭像圖片以及根據頭像建模而得的人臉特征向量。其中案件偵緝中一個(gè)重要的應用是人臉檢索，即從視頻圖像中提取人帶人臉的特征向量跟人臉庫中的數據進(jìn)行比對，查詢(xún)出來(lái)此人的基本信息。當人臉庫數量達到1000萬(wàn)級別甚至更大后，目前人臉檢索方式會(huì )出現瓶頸。因為在人臉的檢索過(guò)程中需要檢索整個(gè)人臉庫，需要將整個(gè)人臉庫導入到內存中以提高檢索效率，對服務(wù)器內存要求高，而當前大多人臉檢索方案不支持集群架構，只能增加單服務(wù)器的內存以滿(mǎn)足需求，容易出現瓶頸。針對此類(lèi)場(chǎng)景，可采用人臉檢索的大數據解決方案，人臉庫保存于視頻大數據平臺中，視頻大數據平臺采用集群架構，并且可平滑擴展，可以提供足夠大的內存，同時(shí)，采用分布式計算，各節點(diǎn)并行進(jìn)行計算，極大地提高數據處理的能力。
人臉檢索大數據應用設計如下圖所示：
人臉檢索大數據方案示意圖
人臉檢索大數據應用的不同之處在于后端子系統中加入了視頻大數據平臺。智慧安全應用平臺為用戶(hù)提供人臉檢索功能;視頻大數據平臺存儲人臉庫數據，進(jìn)行高效的人臉?lè )治霰葘?，為應用平臺提供人臉檢索服務(wù)。以1000萬(wàn)條數據為例。如果傳統的方式數據庫需要管理員進(jìn)行手動(dòng)的分庫分表操作，隨著(zhù)數據的增長(cháng)維護工作量會(huì )越來(lái)越大，同時(shí)也很難保證系統的正常運行;采用視頻大數據技術(shù)可以輕松的做到系統的橫向擴展，保證系統高效的運行?；谝曨l大數據平臺，智慧安全應用平臺能夠為用戶(hù)提供快速的人臉檢索功能。
四、總結展望
視頻大數據技術(shù)能夠解決當前系統處理海量視頻及相關(guān)數據能力不足的問(wèn)題，幫助客戶(hù)從海量的視頻數據中快速挖掘高價(jià)值的信息，協(xié)助客戶(hù)提升其決策的效率和精準度?？梢灶A見(jiàn)在未來(lái)的“智慧城市”建設中，視頻的數據量會(huì )爆炸性增長(cháng)，對海量視頻數據處理系統的要求會(huì )越來(lái)越高，對視頻數據挖掘的能力要求越來(lái)越強，視頻大數據平臺將引入越來(lái)越多的機器學(xué)習、圖算法等尖端技術(shù)來(lái)提高整個(gè)系統的智能化水平。
評論comment