基于Hadoop的文本分析平臺(tái)實(shí)踐

(1、2.貴州師范大學(xué)大數(shù)據(jù)與計(jì)算機(jī)科學(xué)學(xué)院，貴州 貴陽550001)

現(xiàn)階段，人工智能和機(jī)器學(xué)習(xí)正在改變當(dāng)下業(yè)務(wù)形態(tài)，特別是隨著深度學(xué)習(xí)革命的興起，其系統(tǒng)化實(shí)現(xiàn)將引領(lǐng)數(shù)據(jù)驅(qū)動(dòng)的計(jì)算智能在各領(lǐng)域爆發(fā)[1-3]。數(shù)據(jù)分析能力將逐漸成為商業(yè)游戲規(guī)則的核心競(jìng)爭(zhēng)力。而針對(duì)當(dāng)前大多數(shù)領(lǐng)域的數(shù)據(jù)分析而言，其數(shù)據(jù)往往停留在一些易獲取、易量化、可度量的傳統(tǒng)數(shù)值數(shù)據(jù)分析階段，數(shù)據(jù)驅(qū)動(dòng)智能還遠(yuǎn)遠(yuǎn)沒有體現(xiàn)。特別是針對(duì)文本信息，其作為人類自然語言的載體，信息處理一直是智能化的瓶頸問題。

中文信息的預(yù)處理是一項(xiàng)繁雜的工作，近年來，隨著自然語言處理技術(shù)的發(fā)展，作為一種處理海量非結(jié)構(gòu)化文本的前沿技術(shù)，其為大量的社會(huì)科學(xué)如傳播學(xué)[4]、社會(huì)學(xué)[5]等發(fā)展帶來了新的機(jī)遇。針對(duì)大量的非結(jié)構(gòu)化文本數(shù)據(jù)，開源的數(shù)據(jù)分析平臺(tái)，解決了一臺(tái)計(jì)算機(jī)無法進(jìn)行存儲(chǔ)、無法在要求時(shí)間內(nèi)進(jìn)行處理的關(guān)鍵問題。Hadoop[6]作為一個(gè)開源的分布式系統(tǒng)，因其實(shí)現(xiàn)了云計(jì)算和分布式云存儲(chǔ)，近年來得到廣泛的開發(fā)應(yīng)用。圍繞大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析及管理，Hadoop形成了自身的大數(shù)據(jù)生態(tài)。文章結(jié)合Hadoop開源分布式計(jì)算框架，嵌入IKAnalyzer中文分詞模塊進(jìn)行了中文分詞及詞頻統(tǒng)計(jì)分析，結(jié)合Spring boot框架及Node.js技術(shù)，搭建了一個(gè)基于Web的中文分詞及詞頻分析統(tǒng)計(jì)平臺(tái)。與此同時(shí)，研究利用下載的金庸小說文本語料及貴州極貧鄉(xiāng)鎮(zhèn)教育調(diào)研收集的文檔語料進(jìn)行了相關(guān)數(shù)據(jù)分析實(shí)踐。

一、基于Hadoop的文本分析框架

Hadoop繼承并改進(jìn)了Google的MapReduce編程框架[7]，可以把應(yīng)用程序處理成眾多小塊，讓集群節(jié)點(diǎn)并行進(jìn)行處理。Hadoop分布式計(jì)算基礎(chǔ)架構(gòu)由分布式文件系統(tǒng)(HDFS, Hadoop Distributed File System)和MapReduce編程模塊兩部分組成。HDFS部署在成本較低的PC上，它以流式訪問模式訪問數(shù)據(jù)，能夠大大的提高數(shù)據(jù)吞吐量以提高系統(tǒng)整體的效率。它為MapReduce計(jì)算框架提供了基礎(chǔ)數(shù)據(jù)支撐，一個(gè)HDFS分布式文件管理系統(tǒng)包括一個(gè)NameNode節(jié)點(diǎn)和多個(gè)DataNode節(jié)點(diǎn)，NameNode節(jié)點(diǎn)即為文件管理系統(tǒng)的 “管理者”，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間、存儲(chǔ)塊的復(fù)制和集群配置信息，DataNode節(jié)點(diǎn)是文件存儲(chǔ)的基礎(chǔ)單元，主要負(fù)責(zé)將文件塊存儲(chǔ)至本地文件系統(tǒng)并周期性地發(fā)送所有存儲(chǔ)的文件塊的信息給NameNode節(jié)點(diǎn)。MapReduce為并行計(jì)算框架，此系統(tǒng)中完成對(duì)中文信息的分詞及統(tǒng)計(jì)。

結(jié)合應(yīng)用及現(xiàn)有資源，系統(tǒng)基于同一局域網(wǎng)下三臺(tái)CentOS系統(tǒng)的虛擬機(jī)進(jìn)行三個(gè)節(jié)點(diǎn)的Hadoop分布式集群搭建，三臺(tái)虛擬機(jī)主機(jī)分別為：HadoopAdmin(192.168.160.81)、HadoopPart01(192.168.160.82)、HadoopPart02(192.168.160.83)，其中HadoopAdmin主機(jī)作為名稱節(jié)點(diǎn)，主要負(fù)責(zé)管理整個(gè)HDFS文件系統(tǒng)，同時(shí)也作為數(shù)據(jù)節(jié)點(diǎn)，另外兩臺(tái)主機(jī)作為數(shù)據(jù)節(jié)點(diǎn)，主要負(fù)責(zé)保存文件中的數(shù)據(jù)，HadoopPart01 作為SecondaryNameNode節(jié)點(diǎn)，HadoopPart02 作為ResourceManager服務(wù)器。本研究中構(gòu)建的HDFS體系集群結(jié)構(gòu)如圖1所示[8]。

圖1 HDFS體系結(jié)構(gòu)

為快速進(jìn)行應(yīng)用開發(fā)，系統(tǒng)選取Spring Boot作為系統(tǒng)框架[9]，其為2013年推出的一款全新的Java Spring框架，目的在于解決用戶在Spring開發(fā)過程中需要進(jìn)行大量繁雜配置的問題，使得開發(fā)人員能夠從復(fù)雜配置中解脫出來專注于程序開發(fā)。Spring Boot框架對(duì)現(xiàn)在主流的Maven構(gòu)建工具也提供了非常好的支持。因此，系統(tǒng)選取該框架作為系統(tǒng)開發(fā)的工具。

與此同時(shí)，選取了開源的Java中文分析包IKAnalyzer作為中文分詞及詞頻統(tǒng)計(jì)的工具包[10]。IKAnalyzer以開源項(xiàng)目Lucene為應(yīng)用主體的，結(jié)合詞典分詞和文法分析算法實(shí)施分詞。本文研究中采用的是IKAnalyzer2012_u6版本，在2012_u6版本中，其實(shí)現(xiàn)了分詞歧義排除算法，采用正向迭代最細(xì)粒度切分算法，支持細(xì)粒度分詞模式和智能分詞模式。

例如：“交管局正在治理解放大道路面結(jié)冰問題”

細(xì)粒度分詞模式對(duì)應(yīng)分詞結(jié)果為：交管局 | 交管 | 管局 | 正在 | 治理 | 理解 | 解放 | 放大 | 大道 | 道路 | 路面 | 結(jié)冰 | 問題

智能分詞模式對(duì)應(yīng)分詞結(jié)果為：交管局 | 正在 | 治理 | 解放 | 大道 | 路面 | 結(jié)冰 | 問題

系統(tǒng)在普通的環(huán)境中具有160萬字/秒的高速處理能力。

為了使得系統(tǒng)有一個(gè)友好而靈活的UI呈現(xiàn)，系統(tǒng)采用了node.js技術(shù)，選取了Vue.js構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的Web界面框架。利用iView組件及百度提供的Echarts實(shí)施前端設(shè)計(jì)及數(shù)據(jù)可視化呈現(xiàn)[11]。

Vue.js具有組件化開發(fā)思想，數(shù)據(jù)雙向綁定等優(yōu)點(diǎn)。利用組件化進(jìn)行開發(fā)，能體現(xiàn)出高內(nèi)聚低耦合的特性，并且組件化能夠?qū)TML、CSS、JavaScript前端開發(fā)語言集成到一個(gè)文件中，非常便于前端開發(fā)人員編寫、維護(hù)前端項(xiàng)目。各組件之間的數(shù)據(jù)、邏輯方法等互不干擾，非常利于開發(fā)人員定位解決問題。雙向數(shù)據(jù)綁定即是視圖層顯示數(shù)據(jù)與數(shù)據(jù)模型之間的綁定，當(dāng)視圖層顯示數(shù)據(jù)發(fā)生改變時(shí)，其對(duì)應(yīng)的數(shù)據(jù)模型也發(fā)生改變，同樣的，當(dāng)數(shù)據(jù)模型發(fā)生改變時(shí)，其對(duì)應(yīng)的視圖層顯示數(shù)據(jù)也會(huì)發(fā)生相應(yīng)的改變，這樣大大降低了前端開發(fā)人員的工作量。

系統(tǒng)搭建了友好的應(yīng)用界面，以便用戶能在Hadoop平臺(tái)實(shí)施應(yīng)用，研究實(shí)踐了從文檔收集、文檔預(yù)處理、分布式計(jì)算、詞頻分析、可視化呈現(xiàn)的初步流程實(shí)踐。

二、文本分析系統(tǒng)組成

基于Hadoop分布式計(jì)算框架為大規(guī)模文本分析提供了基礎(chǔ)保障，嵌入IKAnalyzer中文分詞器進(jìn)行中文文本切割，借助Hadoop自帶的交換Key-Value功能實(shí)現(xiàn)按詞頻降序排序功能。結(jié)合Web系統(tǒng)服務(wù)應(yīng)用開發(fā)，用戶可通過訪問前端Web頁面實(shí)現(xiàn)用戶注冊(cè)，文件上載，文本分析，結(jié)果可視化等文本分析服務(wù)。

系統(tǒng)整體框架如圖2所示。現(xiàn)階段實(shí)現(xiàn)的基礎(chǔ)功能如下：

(一)用戶管理

系統(tǒng)搭建了Web應(yīng)用，用戶管理模塊可完成用戶信息注冊(cè)，登錄，查看和修改等功能，以便管理用戶為注冊(cè)用戶提供文本分析服務(wù)；

系統(tǒng)實(shí)施注冊(cè)用戶驗(yàn)證登陸后提供服務(wù)模式，用戶填入用戶名和密碼進(jìn)行登錄，用戶可選擇記住密碼，若選擇記住密碼，登錄成功后系統(tǒng)將自動(dòng)記住該用戶賬號(hào)和密碼，下次登錄時(shí)不用再輸入賬號(hào)密碼信息，若驗(yàn)證通過則跳轉(zhuǎn)至系統(tǒng)首頁，否則頁面不做跳轉(zhuǎn)。

用戶登入系統(tǒng)進(jìn)入首頁后，可將鼠標(biāo)放置到用戶頭像處進(jìn)行用戶信息查看，點(diǎn)擊“修改密碼”圖標(biāo)進(jìn)行密碼修改，點(diǎn)擊“退出系統(tǒng)”圖標(biāo)登出系統(tǒng)，點(diǎn)擊“上傳文件”按鈕進(jìn)行待分詞文本文件上傳，點(diǎn)擊“開始分詞”按鈕調(diào)用算法進(jìn)行中文分詞及詞頻統(tǒng)計(jì)操作，點(diǎn)擊“查看統(tǒng)計(jì)圖”按鈕進(jìn)行分詞結(jié)果查看。

(二)文件管理

系統(tǒng)可進(jìn)行服務(wù)端口配置，文件上載大小配置，為注冊(cè)用戶提供計(jì)算文檔的上載接口；在文件上傳成功后，便將文本文件重命名為text.input作為備用文件。

圖2 系統(tǒng)模塊

(三)文本分析

分詞是中文信息處理一個(gè)很難回避的基礎(chǔ)問題，文本分詞、關(guān)鍵詞提取、詞頻統(tǒng)計(jì)都是自然語言處理基礎(chǔ)性任務(wù)，西方字母文字語言，如英語可利用單詞之間的空格作為自然分界符。中文信息是表意文字，缺乏形態(tài)變化，語義和語法規(guī)則進(jìn)行字或詞切分存在固有的技術(shù)難點(diǎn)和障礙，所以，中文文本分詞被廣泛研究。常見的分詞工具有LTP，ICTCLAS，Jieba分詞，THULAC等，考慮基于Java開源平臺(tái)搭建Web應(yīng)用，研究采用開源的IKAnalyzer工具包，其中的IKSegmenter將文本內(nèi)容進(jìn)行智能切分，并配置停用詞表將中文分詞常用停用詞進(jìn)行過濾。

當(dāng)中文文本數(shù)據(jù)量非常大時(shí)，基于Hadoop分布式系統(tǒng)進(jìn)行并行運(yùn)算，在MapReduce階段完成對(duì)大量文本數(shù)據(jù)的分詞與詞頻統(tǒng)計(jì)任務(wù)，從而提高了文本分析系統(tǒng)的運(yùn)行效率。

關(guān)鍵詞是文本分析的關(guān)鍵，其往往是文本摘要，主題呈現(xiàn)的關(guān)鍵，系統(tǒng)初步進(jìn)行分詞詞頻，借助數(shù)據(jù)詞典，改進(jìn)TF-IDF，如論文統(tǒng)計(jì)中考慮TF所在標(biāo)題或摘要中的權(quán)重。TextRank等即可實(shí)現(xiàn)初步需求。系統(tǒng)給更進(jìn)一步的主題分析提供了接口

(四)可視化結(jié)果

系統(tǒng)利用node.js環(huán)境構(gòu)建Web前端服務(wù)，通過安裝npm構(gòu)建Vue項(xiàng)目，通過npm包管理工具下載和安裝iView組件庫、vuex管理工具、axios和echarts。借助可視化圖表庫echarts完成文本統(tǒng)計(jì)結(jié)果的可視化呈現(xiàn)。

當(dāng)前，系統(tǒng)集群計(jì)算主要是利用Mapreduce進(jìn)行分詞及詞頻統(tǒng)計(jì)，Map借助IKAnalyzer中文分詞器的IKSegmenter將文本內(nèi)容進(jìn)行智能切分模式的切分，并配置停用詞表進(jìn)行文本濾掉。Reduce將Map產(chǎn)生的輸出結(jié)果作為輸入數(shù)據(jù)進(jìn)行切分好的詞語的詞頻統(tǒng)計(jì)，最終以鍵值對(duì)的方式輸出，關(guān)鍵詞為鍵，詞頻為值。Reduce按照鍵來排序，因中文關(guān)鍵詞為鍵，所以當(dāng)分詞和詞頻統(tǒng)計(jì)任務(wù)結(jié)束后先將輸出的結(jié)果文件保存至臨時(shí)文件夾temporaryData下，然后將臨時(shí)文件夾下的結(jié)果文件作為按詞頻降序排序任務(wù)的輸入文件繼續(xù)創(chuàng)建并執(zhí)行Job，此任務(wù)借助由Hadoop庫提供的InverseMapper類完成，該類將鍵值對(duì)數(shù)據(jù)中的鍵和值進(jìn)行交換，交換后詞頻為鍵詞名為值，Hadoop會(huì)根據(jù)鍵值對(duì)中的值即詞頻進(jìn)行降序排序，然后將結(jié)果文件輸出至指定目錄。

平臺(tái)實(shí)施文本分析的初步策略為：

1. 提供用戶管理，系統(tǒng)登錄平臺(tái)，傳輸所需要處理的文檔進(jìn)行文本轉(zhuǎn)換等預(yù)處理操作。

2. 首先進(jìn)行數(shù)據(jù)預(yù)處理，提取出數(shù)據(jù)集中所有的中文文本信息，將提取出的信息以UTF-8編碼格式整合至txt文本中，然后將待分詞txt文本上傳至Hadoop平臺(tái)的HDFS分布式文件系統(tǒng)上。

3. 后端程序創(chuàng)建并提交任務(wù)至Hadoop平臺(tái)，以上傳的待分詞文本為輸入數(shù)據(jù)，經(jīng)過分詞，詞頻統(tǒng)計(jì)和按詞頻降序排序步驟將結(jié)果輸出至HDFS文件系統(tǒng)上。

4.實(shí)施文本分析任務(wù)，將計(jì)算結(jié)果處理后進(jìn)行顯示與數(shù)據(jù)可視化處理。

三、系統(tǒng)實(shí)施及數(shù)據(jù)測(cè)試

數(shù)據(jù)實(shí)驗(yàn)語料來源之一為網(wǎng)絡(luò)下載的金庸小說集文本文件。與此同時(shí)，現(xiàn)實(shí)中大量的文本信息并非標(biāo)準(zhǔn)化文本文件，本文實(shí)驗(yàn)語料之二來源于其他項(xiàng)目研究中獲取的貴州省20個(gè)極貧鄉(xiāng)鎮(zhèn)基礎(chǔ)教育辦公調(diào)研收集的1237份(約1G)基層文檔數(shù)據(jù)。借助Python文本數(shù)據(jù)處理的便利性，如工具包Pdfminer等構(gòu)建了文本預(yù)處理模塊，完成了pdf、doc、docx等文件的預(yù)處理及數(shù)據(jù)去噪工作。金庸武俠語料文本文件可直接作為text.input進(jìn)行上載，基層教育文檔則需進(jìn)行批量預(yù)處理轉(zhuǎn)存后作為處理文檔進(jìn)行上載。如由于Word不同版本，要考慮壓縮文件，不同后綴.doc及.docx的批量統(tǒng)一轉(zhuǎn)換，以及文檔遍歷進(jìn)行內(nèi)容的格式轉(zhuǎn)換。如圖3所示。

圖3 文檔預(yù)處理

由于Web應(yīng)用采用了Vue.js構(gòu)建的數(shù)據(jù)驅(qū)動(dòng)Web框架，頁面顯示可由數(shù)據(jù)進(jìn)行動(dòng)態(tài)驅(qū)動(dòng)，借助百度開源Echarts中可視化應(yīng)用，可以提供友好的可視化界面呈現(xiàn)。

語料一分析時(shí)長(zhǎng)為33.371s，分析結(jié)果顯示，幾大英雄人名占主導(dǎo)地位，如郭靖、黃蓉、歐陽鋒和洪七公為出現(xiàn)頻次最多的四位，在文中出現(xiàn)次數(shù)分別為4993次、3644次、1167次和1059次，而“武功”中以“掌”為重點(diǎn)。

語料二分析時(shí)長(zhǎng)為32.015s。計(jì)算得到基層教育調(diào)研文本中詞頻前十五名詞語在文本中出現(xiàn)次數(shù)差值并不是特別大。排名前三的依次為學(xué)生、教師和學(xué)校，分別出現(xiàn)16469次、14634次和12298次，圖4顯示了收集文檔的高頻關(guān)鍵詞匯?？梢姌O貧地區(qū)基礎(chǔ)教育文檔數(shù)據(jù)反映學(xué)生、教師、學(xué)校三者主體地位不言而喻。而排名靠前的教學(xué)、活動(dòng)、教育、工作、學(xué)習(xí)、課和培訓(xùn)，說明基層教育辦公文檔核心內(nèi)容主要圍繞教學(xué)活動(dòng)開展及發(fā)展。總體文檔顯示整體基層教育仍然不斷在夯實(shí)基礎(chǔ)上下功夫，相信教育才是我省精準(zhǔn)扶貧的長(zhǎng)效機(jī)制。

圖4 高頻關(guān)鍵詞統(tǒng)計(jì)結(jié)果

結(jié)合詞云圖分析等文本可視化技術(shù)，系統(tǒng)能更直觀對(duì)信息文本進(jìn)行直觀呈現(xiàn)。而相信引入更精細(xì)文本分析是大數(shù)據(jù)和智能計(jì)算的一個(gè)關(guān)鍵。

四、結(jié)論及展望

綜上所述，多學(xué)科融合，數(shù)據(jù)實(shí)證研究的興起，給文本計(jì)算提供了很多應(yīng)用場(chǎng)景，也給計(jì)算機(jī)應(yīng)用的集成提供了契機(jī)。本文的工作及研究具有很好的應(yīng)用價(jià)值和現(xiàn)實(shí)實(shí)踐意義，具體表現(xiàn)在：

自然語言處理是人工智能皇冠上的寶石，毫無疑問，文本是最便捷和廣泛的語言信息載體，日益增長(zhǎng)的海量數(shù)據(jù)中，大量存在非結(jié)構(gòu)化文本數(shù)據(jù)。因此，基于Hadoop構(gòu)建一個(gè)文本分析系統(tǒng)具有很好的現(xiàn)實(shí)意義，而文本分詞和詞頻統(tǒng)計(jì)是文本分析中最基礎(chǔ)和重要的環(huán)節(jié)，借助MapReduce并行計(jì)算模型實(shí)現(xiàn)分布式、并行運(yùn)算可大大提升計(jì)算效率，增強(qiáng)文本處理的能力。

整合了文檔預(yù)處理及中文分詞和詞頻統(tǒng)計(jì)，可視化呈現(xiàn)，為中文信息處理提供了一個(gè)基礎(chǔ)的信息處理流程的Web應(yīng)用，借助Spring Boot進(jìn)行系統(tǒng)開發(fā)，并實(shí)施基于node.js的數(shù)據(jù)驅(qū)動(dòng)UI前端設(shè)計(jì)，為數(shù)據(jù)驅(qū)動(dòng)的Web應(yīng)用提供了一個(gè)很好的案例實(shí)踐。

在現(xiàn)階段實(shí)踐的基礎(chǔ)上，還有以下兩個(gè)方面的工作需做更進(jìn)一步的探索：

1.集群規(guī)模及效率

本系統(tǒng)基于三臺(tái)CentOS系統(tǒng)的虛擬機(jī)進(jìn)行三個(gè)節(jié)點(diǎn)的Hadoop分布式集群搭建，集群處理數(shù)據(jù)能力有限，在今后研究中，集群節(jié)點(diǎn)擴(kuò)大，集群性能優(yōu)化，集群運(yùn)行效率及穩(wěn)定性等方面還有待于結(jié)合理論做進(jìn)一步實(shí)踐。

2.中文信息表示及分析

由于中文信息缺乏形態(tài)變換，語言具有模糊性，歧義性等特點(diǎn)，且其形態(tài)在語素、詞、短語、句子、段落、篇章整體的切分及對(duì)應(yīng)的語義變換上存在固有的不確定性。因此，系統(tǒng)在后續(xù)的數(shù)據(jù)處理、語義表示及數(shù)據(jù)呈現(xiàn)上將進(jìn)行更多的文本分析探索和實(shí)踐，相關(guān)研究將做進(jìn)一步的系統(tǒng)集成。從語言和領(lǐng)域知識(shí)角度探討語義關(guān)系將需要進(jìn)一步研究[12-13]。

當(dāng)前大規(guī)模語言預(yù)訓(xùn)練模型如BERT, ERNIE，XLNet等得到了廣泛的關(guān)注和應(yīng)用，與此同時(shí)，隨著自然語言處理技術(shù)的發(fā)展和行業(yè)融合，結(jié)合領(lǐng)域知識(shí)，文本挖掘?qū)楦黝I(lǐng)域數(shù)據(jù)處理帶來更多新的發(fā)展機(jī)遇和挑戰(zhàn)[14-15]。