探討大數據整理過(guò)程的分析

　　數據整理是數據分析過(guò)程中最重要的環(huán)節，在大數據分析過(guò)程中也是如此。在小數據時(shí)代，數據整理包括數據的清洗、數據轉換、歸類(lèi)編碼和數字編碼等過(guò)程，其中數據清洗占據最重要的位置，就是檢查數據一致性，處理無(wú)效值和缺失值等操作。在大數據時(shí)代，這些工作被弱化了，在有些大數據的算法和應用中，基本不再進(jìn)行數據清洗了，因為大數據的多樣化使得其數據，有一定的不精確性，但數據轉換和編碼過(guò)程還是需要的。下面以大數據分析中文本分類(lèi)的例子，來(lái)分析大數據整理的過(guò)程。

　　在本例中，以mahout為大數據分析軟件，文本分類(lèi)算法選用樸素貝葉斯算法(new bayes)，分類(lèi)對象是來(lái)自不同類(lèi)別的新聞數據。

　　當我們使用網(wǎng)頁(yè)爬蟲(chóng)，每小時(shí)源源不斷的從多個(gè)不同類(lèi)別的新聞網(wǎng)站上取得數據時(shí)，取得的這些數據都是文本數據，也就是非結構化數據，這些數據是不需要進(jìn)行數據清洗過(guò)程，但它們在進(jìn)入到mahout實(shí)現的樸素貝葉斯算法時(shí)，需要進(jìn)行必要的數據轉換。該轉換主要分兩個(gè)步驟：

　　1.數據系列化

　　由于取得的大量的文本數據集中，每個(gè)新聞?wù)家粋€(gè)文檔，共有無(wú)數個(gè)小的文件，由于Mahout運行在Hadoop的HDFS上，HDFS是為大文件設計的。如果我們把這些無(wú)窮多個(gè)小文件都拷貝上去，這樣是非常不合適。試想：假設對1000萬(wàn)篇新聞進(jìn)行分類(lèi)，難道要拷貝1000w個(gè)文件么?這樣會(huì )使HDFS中運行name node節點(diǎn)的終端崩潰掉。

　　因此，Mahout采用SequenceFile作為其基本的數據交換格式。其思路是：通過(guò)調用mahout內置的解析器，掃描所有目錄和文件，并把每個(gè)文件都轉成單行文本，以目錄名開(kāi)頭，跟著(zhù)是文檔出現的所有單詞，這樣就把無(wú)窮多個(gè)小文件，轉換成一個(gè)系列化的大文件。然后把這個(gè)大文件，再上傳到HDFS上，就可以充分發(fā)揮HDFS分布式文件系統的優(yōu)勢。當然，這個(gè)轉換過(guò)程由mahout的內置工具完成，而大數據分析師這個(gè)時(shí)候只需要把所有的新聞按文件夾分好類(lèi)放置好，同時(shí)運行mahout內置的解析器命令就可以了。

　　2.文本內容向量化

　　簡(jiǎn)單地說(shuō)就是把文本內容中的每個(gè)單詞(去除一些連接詞后)轉換成數據，復雜地說(shuō)就是進(jìn)行向量空間模型化(VSM)。該過(guò)程使每個(gè)單詞都有一個(gè)編號，這個(gè)編號是就它在文檔向量所擁有的維度。這個(gè)工作在mahout中實(shí)現時(shí)，大數據分析師也只需要執行其中的一個(gè)命令，就可以輕松地實(shí)現文本內容的向量化。

　　有了這些被向量化的數據，再通過(guò)mahout的樸素貝葉斯算法，我們就可以對計算機訓練出一套規則，根據這個(gè)規則，機器就可以對后續收集的新聞數據進(jìn)行自動(dòng)的分類(lèi)了。

　　從上述文本分類(lèi)的大數據整理過(guò)程可以看出，大數據時(shí)代的數據整理過(guò)程不再強調數據的精確性，而強調的是對非結構化數據的數量化。當然，不同的大數據分析應用使用的算法也不一樣，其數據整理過(guò)程也不太一樣，但從總體上看，大數據分析的數據整理區別于小數據時(shí)代的精確性，而變得更粗放一些。