基于MapReduce的檔案數(shù)據(jù)快速查詢?cè)O(shè)計(jì)與應(yīng)用

陳 斯 潔

(復(fù)旦大學(xué)附屬華山醫(yī)院　上海 200040)

0　引　言

隨著計(jì)算機(jī)應(yīng)用的普及，各行各業(yè)的計(jì)算機(jī)信息化系統(tǒng)建設(shè)重點(diǎn)已從早期的事務(wù)信息管理逐漸向數(shù)據(jù)應(yīng)用方向轉(zhuǎn)變。傳統(tǒng)的信息管理系統(tǒng)主要為聯(lián)機(jī)事務(wù)處理OLTP(On-Line Transaction Processing)，實(shí)現(xiàn)數(shù)據(jù)采集與存儲(chǔ)、業(yè)務(wù)流程管理等功能，技術(shù)關(guān)注點(diǎn)在于事務(wù)、流程與數(shù)據(jù)之間的依存與表達(dá)。當(dāng)通常意義的信息管理系統(tǒng)已基本建成后，必定來臨的是信息應(yīng)用即大數(shù)據(jù)時(shí)代。計(jì)算機(jī)信息系統(tǒng)主要完成在線分析處理OLAP(On-Line Analytical Processing)功能，計(jì)算機(jī)信息系統(tǒng)設(shè)計(jì)與開發(fā)的重心更關(guān)注于數(shù)據(jù)的清洗、比對(duì)與交換，查詢、統(tǒng)計(jì)與分析，注重于系統(tǒng)的性能、效率和擴(kuò)展性，偏重于海量遠(yuǎn)程用戶的高可用訪問性能[1]。

在當(dāng)前大數(shù)據(jù)時(shí)代，信息處理技術(shù)飛速進(jìn)步，數(shù)據(jù)存儲(chǔ)從典型的集中式Oracle關(guān)系數(shù)據(jù)庫發(fā)展到現(xiàn)今代表性的Hadoop分布式文件系統(tǒng)。然而不論從保護(hù)前期投資還是現(xiàn)實(shí)可操作性觀點(diǎn)出發(fā)，都不可能一夜之間將目前廣泛使用的關(guān)系型數(shù)據(jù)庫如Oracle、SQL Server等關(guān)系型數(shù)據(jù)庫產(chǎn)品替換成NoSQL數(shù)據(jù)庫，這既無必要也不可行。因此，放在廣大主要從事計(jì)算機(jī)信息管理與應(yīng)用領(lǐng)域技術(shù)人員面前的是如何快速、有效且低成本解決SQL類關(guān)系數(shù)據(jù)庫從原本的OLTP強(qiáng)項(xiàng)進(jìn)化到最大程度地滿足與適用于OLAP應(yīng)用的問題。

SQL型關(guān)系數(shù)據(jù)庫產(chǎn)品大多采用的都是行存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)，相應(yīng)的軟件開發(fā)也是通過行搜索的方式進(jìn)行，即將一個(gè)個(gè)完整的數(shù)據(jù)行存儲(chǔ)在數(shù)據(jù)頁中，在搜索應(yīng)用時(shí)找到相應(yīng)的表，逐行取出符合條件的數(shù)據(jù)以形成數(shù)據(jù)集。在一些OLAP應(yīng)用場景中，特別是在海量數(shù)據(jù)表構(gòu)成的檔案數(shù)據(jù)庫如人口資源庫、信用記錄庫、醫(yī)療過程數(shù)據(jù)庫等應(yīng)用場合中，采用通常多表行搜索的方式就會(huì)導(dǎo)致系統(tǒng)不能滿足實(shí)際應(yīng)用需求，數(shù)據(jù)庫性能急劇下降甚至癱瘓的事件時(shí)有發(fā)生。

為此，本文針對(duì)傳統(tǒng)關(guān)系型檔案數(shù)據(jù)庫的多表存儲(chǔ)與搜索問題，提出了一種基于MapReduce思想的構(gòu)建數(shù)據(jù)解析抽取函數(shù)表的搜索方法，以解決OLAP應(yīng)用場景中關(guān)系數(shù)據(jù)的查詢和系統(tǒng)維護(hù)問題。

1　傳統(tǒng)檔案數(shù)據(jù)處理方法分析

1.1　傳統(tǒng)數(shù)據(jù)搜索方法簡介

一對(duì)多及多對(duì)多的數(shù)據(jù)交換和抽取是計(jì)算機(jī)信息管理系統(tǒng)的基本功能，采用傳統(tǒng)多表存儲(chǔ)的方法是在關(guān)系型數(shù)據(jù)庫中建兩張同構(gòu)數(shù)據(jù)(庫)表。系統(tǒng)按照數(shù)據(jù)來源的數(shù)據(jù)結(jié)構(gòu)進(jìn)行映射，目標(biāo)表和原始表一一對(duì)應(yīng)，不對(duì)表結(jié)構(gòu)進(jìn)行任何變化，以此完成數(shù)據(jù)的無損抽取與匯集。

這樣的檔案數(shù)據(jù)共享應(yīng)用場景比比皆是，如在智慧醫(yī)療系統(tǒng)中，將各醫(yī)院的每個(gè)病人醫(yī)治記錄匯集到大數(shù)據(jù)共享平臺(tái)通常都采用此方法。由此大數(shù)據(jù)平臺(tái)中存儲(chǔ)的是各醫(yī)院每位病人的醫(yī)療記錄，然而當(dāng)數(shù)據(jù)共享時(shí)，主治醫(yī)生需要的是當(dāng)前患者曾經(jīng)在各醫(yī)院治療過程的檢測(cè)和用藥記錄匯總，以此減少不必要的重復(fù)檢查和提高醫(yī)療質(zhì)量。

針對(duì)上述需求，通常的系統(tǒng)搜索匯總工作機(jī)制流程是：系統(tǒng)軟件按照需查找信息對(duì)象的ID號(hào)，在所有相關(guān)數(shù)據(jù)(庫)表掃中描每一張數(shù)據(jù)表，逐個(gè)比對(duì)這些表中的主鍵與輸入條件匹配的ID數(shù)據(jù)記錄，將其抽取出來，并把這些數(shù)據(jù)記錄關(guān)聯(lián)匯總成數(shù)據(jù)集，推送到系統(tǒng)頁面進(jìn)行展示。該行搜索方法示意如圖1所示。

圖1　行搜索模式示意圖

在這種傳統(tǒng)行搜索的場景下，軟件系統(tǒng)需要掃描多張表，若系統(tǒng)龐大到有上萬張表時(shí)，按此方法，系統(tǒng)性能和效率將是無法承受的。且一旦有新的資源目錄事項(xiàng)加入時(shí)，需要不斷地在數(shù)據(jù)庫中新建表。為此相應(yīng)的底層適配讀寫的查找軟件功能代碼都需要重新開發(fā)，由此造成數(shù)據(jù)管理和開發(fā)成本高居高不下，軟件代碼的可擴(kuò)展性和兼容性不能滿足實(shí)時(shí)應(yīng)用的需求。因此，該方法在小容量檔案數(shù)據(jù)庫中可使用，對(duì)于海量數(shù)據(jù)平臺(tái)是無法應(yīng)用的。

1.2　檔案數(shù)據(jù)特征分析

為了解決絕大多數(shù)目前活躍使用的檔案數(shù)據(jù)庫的快速信息查找與抽取問題，需要對(duì)此類數(shù)據(jù)庫進(jìn)行分析，以便從中發(fā)現(xiàn)解決問題的方法。經(jīng)對(duì)常見的關(guān)系型檔案數(shù)據(jù)庫表結(jié)構(gòu)解析，社會(huì)公共信息檔案數(shù)據(jù)具有如下主要特征：

(1) 主鍵編碼穩(wěn)定且唯一根據(jù)國家有關(guān)法律法規(guī)，法人和自然人均使用全國統(tǒng)一賦碼的18位代碼作為身份識(shí)別的編碼，一個(gè)主體只能擁有一個(gè)統(tǒng)一代碼，一個(gè)統(tǒng)一代碼只能賦予一個(gè)主體。并且，統(tǒng)一代碼一經(jīng)賦予，在其主體存續(xù)期間，主體信息即使發(fā)生任何變化，統(tǒng)一代碼均保持不變[1]。

(2) 以結(jié)構(gòu)化數(shù)據(jù)信息為主社會(huì)公共信息檔案數(shù)據(jù)源于各個(gè)主管部門已有的信息管理系統(tǒng)，如工商部門的企業(yè)注冊(cè)登記信息、公安部門的行駛證登記信息以及醫(yī)療單位的治療記錄信息等。這些數(shù)據(jù)均是關(guān)系型數(shù)據(jù)庫的產(chǎn)品，通常情況下都是結(jié)構(gòu)化的數(shù)據(jù)信息。

(3) 數(shù)據(jù)來源繁多類別與結(jié)構(gòu)復(fù)雜檔案數(shù)據(jù)歸屬于多頭采集且部門繁多，各領(lǐng)域、各系統(tǒng)都具有不同的業(yè)務(wù)規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致檔案數(shù)據(jù)資源目錄的元數(shù)據(jù)名稱、格式、標(biāo)準(zhǔn)、長度、類型千差萬別，本質(zhì)上具有分布式數(shù)據(jù)庫的主要特征。

以上海市某資源目錄為例，資源目錄共有5 198個(gè)事項(xiàng)，字段最多的資源目錄事項(xiàng)有34個(gè)字段，最少的有8個(gè)字段。另外，除國家制定的少量特殊數(shù)據(jù)之外，沒有一個(gè)資源目錄事項(xiàng)的字段是一致的。

2　數(shù)據(jù)映射歸約函數(shù)表的構(gòu)建方法

針對(duì)前節(jié)結(jié)構(gòu)化數(shù)據(jù)中數(shù)據(jù)標(biāo)準(zhǔn)不一致的問題，本文采用構(gòu)建數(shù)據(jù)映射歸約(MapReduce)函數(shù)表方式予以解決，其中map和reduce提供的是所需對(duì)象數(shù)據(jù)抽取的計(jì)算框架。可以把MapReduce過程簡單理解為把一堆互不關(guān)聯(lián)的數(shù)據(jù)(表)按照某種特征歸納起來，然后處理并得到最終需要的結(jié)果。本質(zhì)上是一種用函數(shù)程序語言來實(shí)現(xiàn)泛數(shù)據(jù)歸集[2]。

采用MapReduce函數(shù)表方式后，在檔案數(shù)據(jù)查詢抽取程序設(shè)計(jì)中就較為簡單了，只要構(gòu)建兩張函數(shù)表，一張為map表，另一張為reduce表。Map函數(shù)表實(shí)現(xiàn)將源數(shù)據(jù)表中的數(shù)據(jù)名稱、類型、長度以及該數(shù)據(jù)字段在目標(biāo)顯示系統(tǒng)的展示順序、寬度和名稱等數(shù)據(jù)結(jié)構(gòu)(屬性)信息列入表中。而Reduce函數(shù)表的作用是將數(shù)據(jù)(屬性)結(jié)構(gòu)中對(duì)應(yīng)的各數(shù)據(jù)內(nèi)容提供一個(gè)存儲(chǔ)空間。用計(jì)算機(jī)編程語言來講，Map表中記錄的key，Reduce表中存儲(chǔ)的是value。

為了便于理解MapReduce函數(shù)程序語言編程方法，本文提供了Map表T_HEADER(表1)與Reduce表T_DATA(表2)的示意結(jié)構(gòu)。所有檔案的元數(shù)據(jù)統(tǒng)一在“數(shù)據(jù)名稱表T_HEADER”中存儲(chǔ)，所有數(shù)據(jù)記錄在“數(shù)據(jù)內(nèi)容表T_DATA”中存儲(chǔ)。

表1　數(shù)據(jù)名稱表T_HEADER表結(jié)構(gòu)

表2　數(shù)據(jù)內(nèi)容表T_DATA表結(jié)構(gòu)

數(shù)據(jù)內(nèi)容表T_DATA統(tǒng)一管理所有的數(shù)據(jù)記錄，這些數(shù)據(jù)記錄是嚴(yán)格按照T_HEADER的元數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行存儲(chǔ)的，分別用A1至A50存放每個(gè)元數(shù)據(jù)字段所對(duì)應(yīng)的具體數(shù)據(jù)。法人統(tǒng)一代碼和單位名稱、自然人的身份證號(hào)碼和姓名單獨(dú)用兩個(gè)字段“CREDITCODE”和“NAME”單獨(dú)存放。其與各原始表的映射關(guān)系如圖2所示。

圖2　列搜索表結(jié)構(gòu)與原始表結(jié)構(gòu)映射關(guān)系圖

從圖2中可以看到，任意多張?jiān)磾?shù)據(jù)表的數(shù)據(jù)(屬性)結(jié)構(gòu)映射到Map表中，而任意多張?jiān)磾?shù)據(jù)表的數(shù)據(jù)內(nèi)容歸集到Reduce表中。MapReduce表中的A1、A2、…即為函數(shù)代碼，具體含義由系統(tǒng)實(shí)際需求確定。

檔案數(shù)據(jù)的映射歸集如圖2示意，在實(shí)際應(yīng)用中，最終需要的是相關(guān)數(shù)據(jù)的展現(xiàn)，其工作機(jī)制流程示意如圖3所示。

圖3　列搜索模式示意圖

圖3的工作流程為，以查找對(duì)象的統(tǒng)一代碼為主鍵，軟件系統(tǒng)首先在數(shù)據(jù)內(nèi)容表T_DATA中進(jìn)行匹配，將CREDITCODE字段中所有符合條件的數(shù)據(jù)記錄全部找到，以ZYMLID為外鍵，在數(shù)據(jù)名稱表T_HEADER中找到這些數(shù)據(jù)記錄對(duì)應(yīng)的表頭名稱信息、類型信息、長度信息、信用檔案中展示的先后順序、展示的寬度、展示的別名等。然后將這些數(shù)據(jù)記錄關(guān)聯(lián)起來進(jìn)行展示。

通過舉例說明，可以清楚地認(rèn)識(shí)到，Map實(shí)現(xiàn)的是對(duì)數(shù)據(jù)表中每個(gè)結(jié)構(gòu)元素Key獨(dú)立處理，且這些數(shù)據(jù)表中可以是互補(bǔ)關(guān)聯(lián)的。而Reduce實(shí)現(xiàn)的數(shù)據(jù)key后面所屬的若干內(nèi)容(value) 歸集，這些value是有相關(guān)性的，至少它們都在一個(gè)key下面。這是典型的函數(shù)式語言Map和Reduce基本思想方法：Map表示對(duì)一個(gè)列表(List)中的每個(gè)元素Key做計(jì)算，Reduce表示對(duì)一個(gè)列表中的每個(gè)元素Value做迭代計(jì)算。它們具體的計(jì)算是通過傳入的函數(shù)來實(shí)現(xiàn)的[3]。

3　應(yīng)用實(shí)踐與分析

通過對(duì)資源數(shù)據(jù)的MapReduce整合，可以實(shí)現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)ETL成本大幅降低，因?yàn)椴捎迷摲椒ǎ瑪?shù)據(jù)整合應(yīng)用系統(tǒng)只需針對(duì)兩張表進(jìn)行開發(fā)。不需要在關(guān)系數(shù)據(jù)庫中對(duì)各張數(shù)據(jù)表進(jìn)行關(guān)注，不需要為每張表單獨(dú)建立實(shí)體類進(jìn)行讀寫維護(hù)的開發(fā)，簡化了數(shù)據(jù)整合軟件開發(fā)，降低了應(yīng)用系統(tǒng)軟件的開發(fā)時(shí)間和維護(hù)成本。

其次，數(shù)據(jù)易于維護(hù)與擴(kuò)展。隨著未來新的部門不斷接入，新的信用信息資源目錄事項(xiàng)不斷增加，在基于MapReduce的數(shù)據(jù)管理模式下，只需要在數(shù)據(jù)內(nèi)容標(biāo)T_DATA中新增數(shù)據(jù)記錄，并把對(duì)應(yīng)數(shù)據(jù)記錄的元數(shù)據(jù)信息插入數(shù)據(jù)名稱表T_HEADER中即可。不需要修改軟件程序，也不需要新增表實(shí)體或修改表結(jié)構(gòu)就可以完成擴(kuò)展，并保持來源部門的原始數(shù)據(jù)結(jié)構(gòu)不變。

第三，提高了查詢應(yīng)用的效率。在此模式下，軟件系統(tǒng)不需要掃描幾千張表，只需要對(duì)兩張表進(jìn)行操作即可。大大提高了應(yīng)用系統(tǒng)的查詢效率。

在上海相關(guān)的醫(yī)療信息資源交互平臺(tái)項(xiàng)目中進(jìn)行了試驗(yàn)與實(shí)踐，截止2017年1月，該方法通過整合醫(yī)療系統(tǒng)近20多家機(jī)構(gòu)的相關(guān)數(shù)據(jù)，實(shí)現(xiàn)了病人相關(guān)治療信息的交互與整合，避免了病人重復(fù)檢查的成本支持，取得了良好的社會(huì)效益。

4　數(shù)據(jù)搜索與歸集方法的分析與討論

各類數(shù)據(jù)的搜索、查詢與歸集可以理解為通常意義上的數(shù)據(jù)ETL過程，主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。在目前的實(shí)際應(yīng)用中，從關(guān)系數(shù)據(jù)庫中抽取數(shù)據(jù)一般有以下幾種方式：

1) 全量抽取。全量抽取類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動(dòng)地從數(shù)據(jù)庫中抽取出來，并轉(zhuǎn)換成自己的ETL工具可以識(shí)別的格式并加載到目標(biāo)數(shù)據(jù)庫。

2) 增量抽取。增量抽取只抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增或修改的數(shù)據(jù)。在ETL 使用過程中，增量抽取較全量抽取應(yīng)用更廣。如何捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。

3) 日志表方式。在業(yè)務(wù)系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL 加載時(shí)，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。

優(yōu)點(diǎn)：不需要修改業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)，源數(shù)據(jù)抽取清楚，速度較快。可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。

缺點(diǎn)：日志表維護(hù)需要由業(yè)務(wù)系統(tǒng)完成，需要對(duì)業(yè)務(wù)系統(tǒng)業(yè)務(wù)操作程序作修改，記錄日志信息。日志表維護(hù)較為麻煩，對(duì)原有系統(tǒng)有較大影響。工作量較大，改動(dòng)較大，有一定風(fēng)險(xiǎn)。

4) 全表比對(duì)方式。全表比對(duì)的方式是ETL 工具事先為要抽取的表建立一個(gè)結(jié)構(gòu)類似的臨時(shí)表，該臨時(shí)表記錄源表主鍵以及根據(jù)所有字段的數(shù)據(jù)計(jì)算出來。每次進(jìn)行數(shù)據(jù)抽取時(shí)，對(duì)源表和臨時(shí)表進(jìn)行的比對(duì)，如有不同，進(jìn)行Update 操作，如目標(biāo)表沒有存在該主鍵值，表示該記錄還沒有，即進(jìn)行Insert 操作。

優(yōu)點(diǎn)：對(duì)已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序，所有抽取規(guī)則由ETL完成，管理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載，沒有風(fēng)險(xiǎn)。

缺點(diǎn)：ETL 比對(duì)較復(fù)雜，設(shè)計(jì)較為復(fù)雜，速度較慢。與觸發(fā)器和時(shí)間戳方式中的主動(dòng)通知不同，全表比對(duì)方式是被動(dòng)地進(jìn)行全表數(shù)據(jù)的比對(duì)，性能較差。當(dāng)表中沒有主鍵或唯一列且含有重復(fù)記錄時(shí)，全表比對(duì)方式的準(zhǔn)確性較差。

本文提出的檔案數(shù)據(jù)快速查詢方法從原理上屬于數(shù)據(jù)轉(zhuǎn)換和加工ETL方法。因?yàn)樵诂F(xiàn)實(shí)應(yīng)用場景中，數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目標(biāo)庫的數(shù)據(jù)要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等，所以有必要對(duì)抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換、選取和加工，與前述的覆蓋式數(shù)據(jù)ETL有極大的差別。

數(shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進(jìn)行，也可以在數(shù)據(jù)抽取過程中利用關(guān)系數(shù)據(jù)庫的特性同時(shí)進(jìn)行。通過對(duì)各種數(shù)據(jù)抽取機(jī)制的對(duì)比分析發(fā)現(xiàn)，沒有

一種機(jī)制具有絕對(duì)的優(yōu)勢(shì)，不同機(jī)制在各種因素下的表現(xiàn)大體上都是相對(duì)平衡的。

ETL實(shí)施過程中究竟選擇哪種抽取機(jī)制，要根據(jù)實(shí)際的數(shù)據(jù)源系統(tǒng)環(huán)境進(jìn)行決策，需要綜合考慮源系統(tǒng)數(shù)據(jù)庫的類型、抽取的數(shù)據(jù)量(決定對(duì)性能要求的苛刻程度)、對(duì)源業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫的控制能力以及實(shí)現(xiàn)難度等各種因素，甚至結(jié)合各種不同的數(shù)據(jù)類型及不同環(huán)境的數(shù)據(jù)源系統(tǒng)進(jìn)行ETL實(shí)施，合適的才是最好的。本文提出的利用key-value語言函數(shù)抽取及歸集數(shù)據(jù)的方法相比較適合與分布式數(shù)據(jù)源的重點(diǎn)關(guān)注數(shù)據(jù)抽取，也是當(dāng)前海量數(shù)據(jù)挖掘與應(yīng)用的熱點(diǎn)課題，在此提出以供各位借鑒與參考。

5　結(jié)　語

本文提出的MapReduce實(shí)時(shí)異構(gòu)數(shù)據(jù)存儲(chǔ)技術(shù)是一項(xiàng)面向?qū)ο蟮姆植际綌?shù)據(jù)庫存儲(chǔ)技術(shù)，具有良好的實(shí)時(shí)讀寫性能和可擴(kuò)展性及查詢能力。但該技術(shù)和所有 NoSql 非關(guān)系型數(shù)據(jù)存儲(chǔ)系統(tǒng)一樣， 都面臨著一個(gè)共性問題。其存儲(chǔ)與檢索效率受限于各節(jié)點(diǎn)的服務(wù)器磁盤性能影響，如磁盤的尋道時(shí)間、盤片轉(zhuǎn)速、碟片密度以及接口速度等都對(duì)本技術(shù)的讀寫速率產(chǎn)生一定的影響。上述局限性需要今后不斷的探索與優(yōu)化[4]。

同時(shí)在應(yīng)用過程中，發(fā)現(xiàn)MapReduce存儲(chǔ)模式下的一些問題，如統(tǒng)計(jì)報(bào)表和專題分析等應(yīng)用的開發(fā)相對(duì)SQL模式無明顯優(yōu)勢(shì)。下一步工作是如何兼容SQL與NoSQL的混合存儲(chǔ)模式，以兼顧分布式大數(shù)據(jù)架構(gòu)下的存儲(chǔ)與分類查詢的系統(tǒng)性能和效率。

[1] 馬建光, 姜巍. 大數(shù)據(jù)的概念、特征及其應(yīng)用[J]. 國防科技, 2013,34(2):10-17.

[2] 周楓. 大數(shù)據(jù)時(shí)代檔案館的特征及發(fā)展策略[J]. 檔案與建設(shè), 2013(8):6-9.

[3] 庫俊平. 大數(shù)據(jù)環(huán)境中企業(yè)文書檔案的信息化管理及利用[J]. 創(chuàng)新科技,2013(9):50-51.

[4] 李斌. 大數(shù)據(jù)及其發(fā)展趨勢(shì)研究[J]. 廣西教育,2013(35):190-192.

[5] 杜方, 陳躍國, 杜小勇. RDF數(shù)據(jù)查詢處理技術(shù)綜述[J]. 軟件學(xué)報(bào), 2013(6):1222-1242.

[6] 冷泳林, 魯富宇. 基于MapReduce的SimRank算法在圖聚類中的應(yīng)用[J]. 電子設(shè)計(jì)工程, 2015(6):9-11.

[7] 李彬, 劉莉莉. 基于MapReduce的Web日志挖掘[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012,48(22):95-98.

[8] 應(yīng)毅, 任凱, 曹陽. 基于改進(jìn)的MapReduce模型的Web挖掘[J]. 科學(xué)技術(shù)與工程, 2013,13(5):1205-1209.