論"大數據"時(shí)代下的海量數據存儲技術(shù)

　　論"大數據"時(shí)代下的海量數據存儲技術(shù)

　　作者：?？低?/a> 解洪國

　　摘要 ：隨著(zhù)高清攝像機的快速普及和推廣，數據呈現爆發(fā)式增長(cháng)，而相關(guān)法律的出臺(如《中華人民共和國反恐怖主義法》和《關(guān)于人民法院訴訟檔案保管期限的規定》規定資料長(cháng)周期保存)又成為有力的市場(chǎng)推手，加速了數據的暴增程度，對海量存儲空間的需求為存儲廠(chǎng)商帶來(lái)了前所未有的良好機遇。如何解決大數據時(shí)代下的客戶(hù)對海量數據的長(cháng)周期、分層存儲和快速查詢(xún)的訴求，是存儲廠(chǎng)商面臨的挑戰。

　　高清 、長(cháng)周期 呈現 海量存儲需求

　　高清已經(jīng)在安防行業(yè)全面鋪開(kāi)應用。除了帶給用戶(hù)能夠看得更清的良好視覺(jué)感受外，對存儲容量的需求亦成幾何式增長(cháng)。例如: 前端IPC有130W到500W像素,碼流也從有2Mbps到8Mbps，而一個(gè)130W像素,8Mbps碼流的前端， 錄像一個(gè)月就需要2531.3GB，數據量不可小覷。

　　存儲周期方面，現在也有了政府的有力推動(dòng)。如《中華人民共和國反恐怖主義法》規定采集的視頻圖像數據保存周期不得少于90天;最高人民法院與國家檔案局聯(lián)合發(fā)布的《關(guān)于人民法院訴訟檔案保管期限的規定》更是規定：將法院訴訟檔案的保管期限分為永久、長(cháng)期、短期三種，根據人民法院訴訟檔案的特點(diǎn)，凡屬本院審判活動(dòng)形成的需要長(cháng)遠利用的訴訟檔案，劃為永久保管。凡屬在相當長(cháng)的時(shí)期內需要查考使用的訴訟檔案，劃為長(cháng)期保管，保管時(shí)間為60年。凡屬在相對較短的時(shí)期內需要查考利用的訴訟檔案，劃為短期保管，保管時(shí)間為30年，可以想象，數據量非常之大。

　　對當前整個(gè)安防市場(chǎng)來(lái)講，特別是大公安、大交通、樓宇、司法監所、金融、文教衛、能源項目等行業(yè)迅猛發(fā)展，甲方客戶(hù)的需求及大集成商的存儲解決方案越來(lái)越傾向集中化。需要保存的數據也成線(xiàn)性增長(cháng).應對如此巨大的數據量,數據存儲及客戶(hù)數據快速有效查詢(xún)就變得至關(guān)重要。?？狄恢本o跟行業(yè)發(fā)展方向，。致力于推出更符合用戶(hù)需求與行業(yè)需求的監控/數據中心解決方案，

　　現有 的安防存儲模式

　　1.DVR/NVR前端本地 存儲

　　此種模式，一般應用于實(shí)施較早項目，使用的是DVR/NVR前端本地存儲,隨著(zhù)大數據時(shí)代的來(lái)臨,采用了比較直接的方法,在DVR/NVR直接連接擴展柜來(lái)實(shí)現容量的擴容。原來(lái)系統及原數據保持不變。此種模式由于采用DVR/NVR存儲容量相對較小，況且DVR/NVR性能較低,信息孤島現象嚴重,無(wú)法滿(mǎn)足大數據需求。

　　2. 集中 存儲模式

　　客戶(hù)數據采用磁盤(pán)陣列模式?？梢圆捎迷诖鎯濣c(diǎn)后直接增加擴展柜的模式,隨著(zhù)集群的推出也可以通過(guò)增加存儲節點(diǎn)來(lái)實(shí)現容量增加。相對于DVR/NVR模式,容量大大提升,并實(shí)現了數據的集中存儲，同時(shí)支持存儲節點(diǎn)間的故障的自動(dòng)業(yè)務(wù)接管,最大程度上實(shí)現了業(yè)務(wù)數據的完整性。但是隨著(zhù)大數據的來(lái)臨,后續項目擴容時(shí),需要人為配置設備的負載均衡。一臺存儲故障后導致設備存儲的數據部分中斷或者接管設備壓力較大，另外考慮到網(wǎng)絡(luò )延時(shí)，可能導致存儲數據不完整，數據獲取需要人為指定設備數據獲取，管理成本較高等。為了設備的負載均衡,空間的虛擬化設備易維護的問(wèn)題,云存儲技術(shù)應運而生。

　　3. 云存儲 模式

　　隨著(zhù)云存儲技術(shù)普及.目前市面大體分為通用云存儲(文件云\集群NAS )和視頻云存儲。

　　通用 云存儲

　　通過(guò)軟件運用集群技術(shù)、虛擬化技術(shù)、分布式存儲技術(shù)將網(wǎng)絡(luò )中大量各種不同類(lèi)型的存儲設備集合起來(lái)協(xié)同工作，共同對外提供數據存儲和業(yè)務(wù)訪(fǎng)問(wèn)功能。

　　通用云存儲較傳統集中基本設備形態(tài)不變，故主要部件為：存儲服務(wù)器(元數據服務(wù)器)+磁盤(pán)陣列。

　　通用云存儲中許多都是通過(guò)優(yōu)化改造傳統IPSAN/NAS存儲而演化而來(lái)，其通過(guò)實(shí)現服務(wù)器和存儲設備集群化管理，存儲資源虛擬化，達到分布式數據存儲，因其內部數據處理以結構化數據為主。

　　工作模式：前端攝像機視頻數據流經(jīng)流媒體服務(wù)器轉發(fā)到存儲管理服務(wù)器集群，最后在寫(xiě)入指定的磁盤(pán)陣列。視頻數據需經(jīng)過(guò)流媒體服務(wù)器轉發(fā)進(jìn)入存儲服務(wù)器，一定流媒體故障，系統業(yè)務(wù)中斷，數據存在丟失風(fēng)險。

　　通用云存儲可以實(shí)現存儲資源虛擬化，但虛擬化能力有限。通用云存儲以結構化的文件系統存儲非結構化視頻圖片數據，視頻存儲效率低。

　　基于以上幾點(diǎn),通用云存儲產(chǎn)品當前都是面向全行業(yè)項目支持，主要作為一款存儲方案，即不對安防視頻應用做應用支撐.不太適合做安防視頻整體的解決方案。

　　安防 專(zhuān)用 的 視頻云存儲

　　基于云架構進(jìn)行開(kāi)發(fā)，融合了集群應用、負載均衡、虛擬化、云結構化、離散存儲等技術(shù)，將網(wǎng)絡(luò )中各種不同類(lèi)型的存儲設備，通過(guò)專(zhuān)業(yè)應用軟件集合起來(lái)協(xié)同工作，共同對外提供視頻、圖片數據存儲和業(yè)務(wù)訪(fǎng)問(wèn)服務(wù)。

　　視頻云存儲基本組成單元: 云存儲管理服務(wù)器、云存儲存儲節點(diǎn)、云存儲軟件。

　　視頻監控平臺根據業(yè)務(wù)需求為各前端攝像機下發(fā)錄像計劃，視頻云存儲系統根據當前系統內的業(yè)務(wù)負載情況分配具體的存儲空間，前端攝像機推送視頻數據流直寫(xiě)到分配的存儲設備上。視頻云存儲數據傳輸協(xié)議支持主流的流媒體協(xié)議(如RTSP/ONVIF/PSIA等)和GB/T28181規范;支持平臺直接調取，架構簡(jiǎn)化而開(kāi)放，空間自我管理，可獨立組網(wǎng)。

　　對于通用云存儲,視頻云存儲優(yōu)勢如下

　　Ø 相在大型視頻監控項目中，視頻云存儲在視頻/圖片存儲效率優(yōu)于通用云存儲。

　　Ø 在項目預算中，視頻云存儲較通用云存儲能節省部分服務(wù)器投入，有成本優(yōu)勢。

　　Ø 視頻云存儲是專(zhuān)門(mén)針對視頻安防行業(yè)的高效安全穩定的后端存儲解決方案，所以可以支撐大量的視頻功能應用，這個(gè)也是通用云存儲所不具備的。

　　視頻云存儲特點(diǎn)如下:

　　1) 高效靈活的空間管理

　　Ø 對存儲資源進(jìn)行虛擬化整合，提高用戶(hù)管理效率;

　　Ø 支持存儲資源的在線(xiàn)擴展，實(shí)現容量與性能的線(xiàn)性增長(cháng);

　　Ø 虛擬空間可靈活調整，不但能擴大，同樣能縮小;后續產(chǎn)品只需要增加存儲節點(diǎn)就能完成容量升級

　　2) 海量數據的快速檢索

　　Ø 采用一體化索引設計，大大提高了查找速度;

　　Ø 深化視頻、圖片的應用設計，支持I幀信息快速讀取;

　　3) 持續可靠的數據服務(wù)

　　Ø 提供7X24小時(shí)不間斷高效可持續的數據服務(wù)，充分保護數據安全和可靠性;

　　Ø 采用全集群化設計，性能全面提升，設備壓力負載均衡，單/多點(diǎn)故障，錄像業(yè)務(wù)不中斷;

　　Ø 數據存儲采用離散存儲算法，提供系統級高效、穩定存取服務(wù);

　　4) 高可擴展的應用支撐

　　Ø 系統的高性能設計，能夠并發(fā)服務(wù)以滿(mǎn)足視頻數據的高速讀取需求。

　　Ø 采用流式數據結構，面向視頻、圖片數據而設計，滿(mǎn)足視頻數據的持續寫(xiě)入;

　　Ø 深入開(kāi)發(fā)視頻錄像的專(zhuān)業(yè)化應用設計，優(yōu)化了應用的服務(wù)質(zhì)量;

　　5) 開(kāi)放透明的兼容系統

　　Ø 統一開(kāi)放的應用功能接口，由上層業(yè)務(wù)平臺直接調用;

　　Ø 數據存儲采用離散存儲算法，提供系統級高效、穩定存取服務(wù);

　　6) 高可擴展的應用支撐

　　Ø 系統的高性能設計，能夠并發(fā)服務(wù)以滿(mǎn)足視頻數據的高速讀取需求。

　　Ø 采用流式數據結構，面向視頻、圖片數據而設計，滿(mǎn)足視頻數據的持續寫(xiě)入;

　　Ø 深入開(kāi)發(fā)視頻錄像的專(zhuān)業(yè)化應用設計，優(yōu)化了應用的服務(wù)質(zhì)量;

　　7) 開(kāi)放透明的兼容系統

　　Ø 統一開(kāi)放的應用功能接口，由上層業(yè)務(wù)平臺直接調用;

　　Ø 采用的是標準設備兼容模式，支持標準IP SAN、FC SAN存儲設備的接入;

　　Ø 目前需要存儲容量不斷增加,客戶(hù)要求數據存儲周期越來(lái)越長(cháng),帶庫和云存儲融合方案慢慢呈現在客戶(hù)面前。

　　4 .視頻云+帶庫

　　長(cháng)周期數據云存儲+帶庫方案：致力于解決重要數據的歸檔備份，數據快速提取。存儲組成緩存存儲系統，提供足夠的存儲空間滿(mǎn)足熱數據及備份數據的容量需求，結合專(zhuān)業(yè)的備份軟件和磁帶庫實(shí)現數據的在線(xiàn)和離線(xiàn)備份云存儲系統統一管理冷熱數據存儲及狀態(tài)切換，提供對熱數據的轉碼、壓縮等豐富的功能應用。同時(shí)完全繼承傳統云存儲虛擬化資源分配、離散存儲、在線(xiàn)擴容、集群容災,兼容第三方存儲等云存儲特性

　　方案中所有存儲設備均可設計為冗余連接，在滿(mǎn)足用戶(hù)存儲需求的同時(shí)，兼顧整個(gè)系統的存儲性能和安全性。

　　系統功能簡(jiǎn)介;

　　Ø 業(yè)務(wù)層面

　　支持實(shí)時(shí)視頻流、視頻文件、圖片、普通文件混合存儲;支持對數據自定義歸檔存儲，同時(shí)保存熱數據及歸檔數據;將客戶(hù)經(jīng)常使用的視頻圖片及文件存入熱數據存儲資源池;把客戶(hù)訪(fǎng)問(wèn)頻率不高的視頻視頻文件、圖片、普通文件且需要長(cháng)周期存儲的數據存入冷數據存儲資源池.冷熱數據資料可以通過(guò)管理軟件實(shí)現數據遷移.數據歸檔和遷移時(shí)可以按照文件時(shí)間、文件大小、各級存儲的位置、文件的歷史版本、存根信息等進(jìn)行策略定制，實(shí)現基于策略的數據歸檔和遷移

　　Ø 數據高可靠性保障系統

　　帶庫方案是基于目前穩定的存儲系統架構，采用成熟穩定的硬件，可以保障系統長(cháng)時(shí)間穩定運行。系統的管理軟件具有報警措施，控制軟件發(fā)現軟硬件異常時(shí)，通過(guò)多種方式進(jìn)行報警。管理軟件包括快照和克隆的功能，可以使所管理的數據回滾到原來(lái)某一時(shí)刻的狀態(tài)，防止用戶(hù)錯誤操作帶來(lái)的數據丟失。同時(shí)通過(guò)存儲管理軟件實(shí)現備份功能。

　　Ø 高安全數據存儲

　　系統通過(guò)用戶(hù)名、密碼、IP地址認證等認證方式，保證數據空間訪(fǎng)問(wèn)權限的控制，保障數據不會(huì )被其他人惡意竊取或破壞。

　　方案中，根據客戶(hù)需求可以設定不同的登錄權限和讀寫(xiě)操作權限，實(shí)現數據的安全性

　　存儲設備內嵌WORM歸檔模塊，它是針對檔案類(lèi)存儲提供的基于硬盤(pán)的寫(xiě)一次，讀多次的存儲產(chǎn)品?？梢杂行Х乐龟P(guān)鍵文件數據被篡改。

　　Ø 高擴展的帶庫存儲

　　整個(gè)系統的存儲容量可以在不影響業(yè)務(wù)運行的情況下隨需采購磁帶擴展。存儲的性能也可以動(dòng)態(tài)線(xiàn)性增加，通過(guò)增加驅動(dòng)器的方式，拓寬整個(gè)系統的處理性能。

　　系統易擴展為遠程容災存儲系統。系統是基于存儲和備份軟件結合，易于實(shí)現遠程的數據傳輸;為以后擴展到其他地區，結合為一體的容災存儲系統建立好的基礎條件。

　　Ø 科學(xué)有效的備份實(shí)現

　　日常需要備份的主要業(yè)務(wù)數據，可以用文件同步和文件備份功能實(shí)現。設定合理的備份策略, 盡可能利用非業(yè)務(wù)時(shí)間進(jìn)行文件同步和備份,避免增加對應用局域網(wǎng)的負載壓力。

　　采用專(zhuān)業(yè)的文件集中備份功和數據庫備份功能實(shí)現。不干擾用戶(hù)的局域網(wǎng)正常業(yè)務(wù)，達到LAN FREE效果。

　　Ø 較低的保存環(huán)境要求

　　磁帶是可移動(dòng)介質(zhì)，可以異地離線(xiàn)保存，運輸方便，可以根據用戶(hù)需求在不同存放地點(diǎn)之間搬運，這對數據的安全來(lái)說(shuō)是非常有利的，適合數據交換。離線(xiàn)磁帶不會(huì )受機械振動(dòng)、電力變化等因素帶來(lái)對壽命的影響，對存放條件要求簡(jiǎn)單。

　　通常情況下,性?xún)r(jià)比和高可用仍是企業(yè)或者個(gè)人選擇存儲系統最優(yōu)先考慮的兩大因素,此外存儲的易于部署和管理以及磁盤(pán)和閃存的緊密整合也是企業(yè)用戶(hù)評估存儲的重要考慮因素.隨著(zhù)大數據時(shí)代的來(lái)臨,企業(yè)會(huì )根據自身需求和預算來(lái)挑選適合自己的企業(yè)的解決方案。                 整體來(lái)說(shuō)，目前云存儲發(fā)展最為迅猛, 以其遙遙領(lǐng)先的優(yōu)勢獨占鰲頭，必然會(huì )是未來(lái)大數據應用的重點(diǎn)組成部分，同時(shí)數據分層、融合以及智能也將逐漸普及應用，可以說(shuō)，安防行業(yè)為了迎接大數據來(lái)臨，已經(jīng)做好了充足的準備。