基于數(shù)據(jù)挖掘技術(shù)的智能圖書(shū)館云檢索系統(tǒng)設(shè)計(jì)

趙翀 王麗達(dá)

摘 ?要： 針對(duì)當(dāng)前圖書(shū)館云檢索系統(tǒng)未能較多關(guān)注用戶(hù)需求，檢索效率低的問(wèn)題，以數(shù)據(jù)挖掘技術(shù)為核心，以分布式開(kāi)源框架Hadoop為支撐，提出一種基于數(shù)據(jù)挖掘技術(shù)的智能圖書(shū)館云檢索系統(tǒng)。首先集成Hive，HDFS，MapReduce，Hadoop組件對(duì)智能圖書(shū)館云檢索系統(tǒng)的硬件部分進(jìn)行設(shè)計(jì)。Hive主要用于圖書(shū)館書(shū)籍資源關(guān)鍵詞的存儲(chǔ)與分析;MapReduce主要用于圖書(shū)館書(shū)籍資源實(shí)際統(tǒng)計(jì)分析計(jì)算;HDFS主要用于相關(guān)操作數(shù)據(jù)的存儲(chǔ);而Hadoop主要用于存儲(chǔ)設(shè)備的相關(guān)管理。然后在系統(tǒng)架構(gòu)下，確定了系統(tǒng)的實(shí)現(xiàn)流程以及圖書(shū)館資源在分布式環(huán)境下的檢索機(jī)制。通過(guò)多組實(shí)驗(yàn)數(shù)據(jù)測(cè)試系統(tǒng)性能，并與其他同類(lèi)檢索系統(tǒng)相比較，所設(shè)計(jì)系統(tǒng)檢索效率有明顯提升，且隨著數(shù)據(jù)量的增加，提升效率會(huì)更加明顯。

關(guān)鍵詞： 智能圖書(shū)館; 云檢索系統(tǒng); 數(shù)據(jù)挖掘技術(shù); 系統(tǒng)設(shè)計(jì); 數(shù)據(jù)檢索; 性能測(cè)試

中圖分類(lèi)號(hào)： TN911.23?34; TP391 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）02?0060?04

Design of intelligent library cloud retrieval system based on data mining technology

ZHAO Chong， WANG Lida

Abstract： As for the little focus on user requirements and low retrieval efficiency in the current library cloud retrieval system， an intelligent library cloud retrieval system based on data mining technology is proposed， which takes the data mining technology as the core and the distributed open source framework Hadoop as the support. During the system design， Hive HDFS， MapReduce and Hadoop， components are integrated to design the hardware part of the intelligent library cloud retrieval system. Hive is mainly used for the storage and analysis of the keywords in the library book resources， MapReduce is mainly applied to the actual statistical analysis and calculation of the library book resources， HDFS is mainly used for the storage of the related operational data， and Hadoop is mainly used for the related management of the storage devices. In the system architecture， the implementation process of the system and the retrieval mechanism of the library resources in a distributed environment are determined. The performances of the system were tested with multi?group experimental data and compared with those of other similar retrieval systems. The retrieval efficiency of the designed system has been significantly improved， and can be lifted more obviously with the increase of data volume.

Keywords： intelligent library; cloud retrieval system; data mining technology; system design; data retrieval; performance test

0 ?引 ?言

從大型企業(yè)檢索系統(tǒng)到數(shù)字圖書(shū)館，隨著數(shù)據(jù)量的急速上漲，相關(guān)數(shù)據(jù)服務(wù)商不斷研究更完善的技術(shù)手段，但仍然難以滿(mǎn)足讀者對(duì)圖書(shū)館檢索數(shù)據(jù)的多樣性需求[1]。對(duì)于海量的圖書(shū)館資源，如何快速?gòu)闹蝎@取所需信息，已經(jīng)是國(guó)內(nèi)專(zhuān)家學(xué)者當(dāng)前的研究重點(diǎn)[2]。

劉愛(ài)琴等人提出基于SOM神經(jīng)網(wǎng)絡(luò)的圖書(shū)館檢索系統(tǒng)[3]。首先對(duì)圖書(shū)館用戶(hù)網(wǎng)絡(luò)訪(fǎng)問(wèn)行為進(jìn)行分析與統(tǒng)計(jì)，根據(jù)分析結(jié)果對(duì)用戶(hù)閱覽行為數(shù)據(jù)以及相關(guān)文獻(xiàn)數(shù)據(jù)庫(kù)等關(guān)聯(lián)資源進(jìn)行過(guò)濾匯總;然后構(gòu)建可用性更強(qiáng)的資源數(shù)據(jù)集，并使用語(yǔ)義檢索技術(shù)創(chuàng)建圖書(shū)館檢索系統(tǒng)。該系統(tǒng)對(duì)于大規(guī)模數(shù)據(jù)集，檢索耗時(shí)較長(zhǎng)。李廣麗等人使用深度學(xué)習(xí)理論創(chuàng)建了圖書(shū)館信息檢索系統(tǒng)[4]。該系統(tǒng)能夠有效滿(mǎn)足讀者知識(shí)需求，有效提高圖書(shū)館資源服務(wù)質(zhì)量，但在時(shí)間復(fù)雜性方面還有待提升。黃容等人提出基于數(shù)值知識(shí)元的數(shù)字圖書(shū)館元檢索系統(tǒng)[5]。通過(guò)對(duì)數(shù)值知識(shí)元進(jìn)行有效分析，提出圖書(shū)館資源識(shí)別、獲取、檢索方法，并建立一個(gè)面向圖書(shū)館資源檢索的系統(tǒng)。這種模式下的圖書(shū)館資源查詢(xún)時(shí)間過(guò)長(zhǎng)。

本文采用數(shù)據(jù)挖掘技術(shù)設(shè)計(jì)了一種基于數(shù)據(jù)挖掘的智能圖書(shū)館云檢索系統(tǒng)，為及時(shí)、有效地獲取面向?qū)I(yè)內(nèi)容的書(shū)籍資源提供了一種有效方式。

1 ?智能圖書(shū)館云檢索系統(tǒng)

1.1 ?智能圖書(shū)館云檢索系統(tǒng)架構(gòu)

在構(gòu)建智能圖書(shū)館云檢索系統(tǒng)過(guò)程中，需要?jiǎng)?chuàng)建一個(gè)適用于智能圖書(shū)館信息云檢索的分布式檢索架構(gòu)。依據(jù)圖書(shū)館資源檢索需求，使用開(kāi)源云計(jì)算平臺(tái)Hadoop，建立基于HDFS，MapReduce，Hive相融合的智能圖書(shū)館云檢索框架。智能圖書(shū)館云檢索系統(tǒng)可劃分為四個(gè)部分，分別為訪(fǎng)問(wèn)層、應(yīng)用接口層、基礎(chǔ)管理層以及資源存儲(chǔ)層，具體結(jié)構(gòu)如圖1所示。

1） 訪(fǎng)問(wèn)層。圖書(shū)館用戶(hù)根據(jù)相關(guān)應(yīng)用接口登錄智能圖書(shū)館云檢索系統(tǒng)，用戶(hù)通過(guò)該系統(tǒng)享受圖書(shū)信息檢索服務(wù)，圖書(shū)館服務(wù)端向檢索系統(tǒng)實(shí)時(shí)更新新入庫(kù)的書(shū)籍信息[6]。

2） 應(yīng)用接口層。應(yīng)用接口層作為智能圖書(shū)館云檢索系統(tǒng)最主要的應(yīng)用組件，可根據(jù)實(shí)際業(yè)務(wù)類(lèi)型提供圖書(shū)館資源檢索平臺(tái)和各種網(wǎng)絡(luò)服務(wù)。

3） 基礎(chǔ)管理層。基礎(chǔ)管理層是智能圖書(shū)館云檢索系統(tǒng)云存儲(chǔ)最關(guān)鍵組件，數(shù)據(jù)基礎(chǔ)管理層通過(guò)HDFS，MapReduce，Hive等技術(shù)實(shí)現(xiàn)系統(tǒng)相關(guān)設(shè)備之間的聯(lián)合工作，對(duì)系統(tǒng)外部提供統(tǒng)一檢索服務(wù)[7]。

4） 存儲(chǔ)層。存儲(chǔ)層是智能圖書(shū)館云檢索系統(tǒng)最基礎(chǔ)的組件。存儲(chǔ)設(shè)備均由系統(tǒng)統(tǒng)一管理，使用開(kāi)源云計(jì)算平臺(tái)Hadoop來(lái)實(shí)現(xiàn)云存儲(chǔ)設(shè)備的虛擬化管理，以及存儲(chǔ)設(shè)備的故障狀態(tài)診斷等。

1.2 ?系統(tǒng)具體組件分析

Hive主要用于圖書(shū)館書(shū)籍資源關(guān)鍵詞的存儲(chǔ)與分析;MapReduce主要用于圖書(shū)館書(shū)籍資源實(shí)際統(tǒng)計(jì)分析計(jì)算;HDFS主要用于相關(guān)操作數(shù)據(jù)的存儲(chǔ);而開(kāi)源云計(jì)算平臺(tái)Hadoop主要用于存儲(chǔ)設(shè)備相關(guān)管理，具體示意圖如圖2所示。

本文所設(shè)計(jì)的智能圖書(shū)館云檢索系統(tǒng)中HDFS架構(gòu)如圖3所示。

1） HDFS架構(gòu)中的管理者即控制節(jié)點(diǎn)，可用于管理圖書(shū)館書(shū)籍文件的命名空間、集中分配和存儲(chǔ)模塊的拷貝等。控制節(jié)點(diǎn)將圖書(shū)館書(shū)籍文件的元數(shù)據(jù)存儲(chǔ)至內(nèi)存中，書(shū)籍文件的元數(shù)據(jù)含有書(shū)籍文件信息以及文件信息在數(shù)據(jù)節(jié)點(diǎn)的信息等。

2） 數(shù)據(jù)節(jié)點(diǎn)是圖書(shū)館資源存儲(chǔ)的基本構(gòu)成部分，能夠?qū)?shū)籍資源按照塊狀形式存儲(chǔ)于本地，存儲(chǔ)書(shū)籍資源的元數(shù)據(jù)，按照給定周期將全部存在的圖書(shū)館資源塊信息傳送給控制節(jié)點(diǎn)。

3） 客戶(hù)主要負(fù)責(zé)獲取HDFS中的書(shū)籍文件。

智能圖書(shū)館云檢索系統(tǒng)中的MapReduce架構(gòu)如圖4所示。MapReduce架構(gòu)中的作業(yè)節(jié)點(diǎn)專(zhuān)注于調(diào)度作業(yè)的運(yùn)行。任務(wù)節(jié)點(diǎn)根據(jù)具體任務(wù)的執(zhí)行，調(diào)度作業(yè)被劃分為多個(gè)切片，任務(wù)節(jié)點(diǎn)主要負(fù)責(zé)對(duì)切片數(shù)據(jù)進(jìn)行映射和相關(guān)運(yùn)算。客戶(hù)向MapReduce上交圖書(shū)館信息檢索查詢(xún)的計(jì)算作業(yè)[8]。HDFS可提供圖書(shū)館信息存儲(chǔ)功能，主要用于向全部作業(yè)節(jié)點(diǎn)提供所需資源。

智能圖書(shū)館云檢索系統(tǒng)中的Hive架構(gòu)具體功能描述如下：

1） Hive架構(gòu)中解析器主要負(fù)責(zé)信息分析查詢(xún)，對(duì)于不同的圖書(shū)館資源查詢(xún)塊進(jìn)行語(yǔ)義分析，并通過(guò)從存儲(chǔ)節(jié)點(diǎn)中獲取分區(qū)的元數(shù)據(jù)構(gòu)成執(zhí)行計(jì)劃。

2） 圖書(shū)館信息元數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)層中全部表與分區(qū)的信息，能夠獲取云檢索系統(tǒng)中HDFS中的數(shù)據(jù)。

3） 執(zhí)行器負(fù)責(zé)執(zhí)行計(jì)劃，執(zhí)行引擎負(fù)責(zé)在相關(guān)系統(tǒng)組件上執(zhí)行上述計(jì)劃。

4） 處理節(jié)點(diǎn)是接受信息查詢(xún)的組件。

2 ?系統(tǒng)架構(gòu)下圖書(shū)館資源數(shù)據(jù)檢索算法

2.1 ?圖書(shū)館資源數(shù)據(jù)存儲(chǔ)模型及特征量提取

為了實(shí)現(xiàn)智能圖書(shū)館目標(biāo)數(shù)據(jù)的優(yōu)化檢索，需要分析智能圖書(shū)館數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)模型。使用非線(xiàn)性時(shí)間序列分析方法構(gòu)建智能圖書(shū)館資源數(shù)據(jù)信息流模型，提取圖書(shū)館綜合資源的頻繁項(xiàng)集特征，以提取的頻繁項(xiàng)集特征作為目標(biāo)函數(shù)，建立智能圖書(shū)館資源時(shí)間序列單變量時(shí)間序列[xn]。將資源樣本長(zhǎng)度設(shè)定為[N]，[X]和[Y]為智能圖書(shū)館資源聚類(lèi)特征屬性類(lèi)別，使用存儲(chǔ)節(jié)點(diǎn)和存儲(chǔ)層空間區(qū)域分段方法進(jìn)行圖書(shū)館資源數(shù)據(jù)的集成分配。當(dāng)資源云檢索的區(qū)域劃分閾值[ε]滿(mǎn)足[2-λt<ε]，[λ>0]時(shí)，智能圖書(shū)館資源數(shù)據(jù)信息流模型為：

[xn=x（t0+nΔt）=h[z（t0+nΔt）]+ωn] （1）

式中，[h[z（t0+nΔt）]]用于描述圖書(shū)館資源數(shù)據(jù)時(shí)間序列的近似性特征量。

為智能圖書(shū)館資源信息云檢索提供數(shù)據(jù)輸入基礎(chǔ)[9]，在上述進(jìn)行智能圖書(shū)館資源信息存儲(chǔ)結(jié)構(gòu)分析以及非線(xiàn)性時(shí)間序列重構(gòu)的基礎(chǔ)上，進(jìn)行頻繁項(xiàng)集特征提取。輸入觀(guān)測(cè)向量[Y（i）]和關(guān)聯(lián)規(guī)則矩陣[X（i）]，[N（i）]用于描述關(guān)聯(lián)維數(shù)，[L×m]表示圖書(shū)館資源分類(lèi)中頻繁項(xiàng)集干擾的階數(shù)。當(dāng)滿(mǎn)足[L>m]時(shí)，矩陣[X（i）]可被劃分為[pi]個(gè)大小等同的資源塊，依據(jù)圖書(shū)館資源信息聚類(lèi)特征空間中的嵌入維數(shù)，獲取一個(gè)[Nij×m]維子矩陣，[Xij]用于描述聚類(lèi)中心向量[10]，此時(shí)圖書(shū)館資源信息的頻繁項(xiàng)為[p（i）=N（i）L]，相反則有[p（i）=N（i）L]。

依據(jù)圖書(shū)館資源信息在存儲(chǔ)層中分布的均勻性特征可獲得：

[minβY（i）-X（i）β=minβY（i+1）-X（i+1）β] （2）

在系統(tǒng)存儲(chǔ)層存儲(chǔ)節(jié)點(diǎn)位置進(jìn)行擾動(dòng)約束處理，實(shí)現(xiàn)對(duì)圖書(shū)館資源信息的頻繁項(xiàng)特征提取：

[y1y2?yn=1x11…x1，m-11x21…x2，m-1????1xn1…xn，m-1 β0 β1?βm-1+e1e2?en] ?（3）

式中，提取的圖書(shū)館資源信息的頻繁項(xiàng)特征能夠準(zhǔn)確描述目標(biāo)數(shù)據(jù)特征信息。

2.2 ?圖書(shū)館資源數(shù)據(jù)模糊K均值聚類(lèi)

對(duì)提取的頻繁項(xiàng)特征利用模糊K均值聚類(lèi)方法進(jìn)行分類(lèi)，獲取模糊K均值聚類(lèi)后輸出信息的特征矢量為：[Y（i+1）=U′Ti1Yi1 ? ??U′Tip（i）Yip（i）] （4）

對(duì)參數(shù)運(yùn)算得到的圖書(shū)館資源，采用最小二乘擬合算法進(jìn)行并行挖掘，如下：

[β?=V1（k）Σ-11（k）UT1（k）Y（k）] （5）

式中，[V1（k）]，[Σ-11（k），UT1（k）]分別表示圖書(shū)館資源[Xk]特征、干擾項(xiàng)和收斂值。經(jīng)過(guò)式（5），即可完成圖書(shū)館資源云檢索。

2.3 ?數(shù)據(jù)檢索輸出

使用特征分解算法對(duì)存儲(chǔ)層中存儲(chǔ)節(jié)點(diǎn)進(jìn)行決策樹(shù)分叉設(shè)計(jì)，具體描述如下：

1） 假設(shè)滿(mǎn)足[N（i）mod L

2） 對(duì)[p（i）=N（i）/L]進(jìn)行特征分解;

3） [p（i）=N（i）L+1]分解圖書(shū)館資源信息時(shí)間序列[X（i）]與[Y（i）]進(jìn)行自適應(yīng)加權(quán);

4） [Yij=Y（i）[L（j-1）+1：Lj]]對(duì)關(guān)聯(lián)特征進(jìn)行譜分析;

5） [Xij=UijΣijVTij]滿(mǎn)足收斂條件;

6） 輸出最優(yōu)檢索結(jié)果。

3 ?實(shí)驗(yàn)結(jié)果與分析

仿真實(shí)驗(yàn)數(shù)據(jù)使用隨機(jī)生成的多組數(shù)據(jù)，測(cè)試環(huán)境為：Windows Server 2012 R2 Intel[?] XeonTM CPU E5?2650@2.30 GHz 2.30 GHz with 32.0 GB of RAM，Matlab 2014a編程實(shí)現(xiàn)。

為了驗(yàn)證智能圖書(shū)館云檢索系統(tǒng)的高效性，將其與文獻(xiàn)[4]、文獻(xiàn)[5]檢索系統(tǒng)進(jìn)行多組對(duì)比實(shí)驗(yàn)，多組實(shí)驗(yàn)數(shù)據(jù)量為GB數(shù)量級(jí)，時(shí)間單位為ms，為了準(zhǔn)確表示系統(tǒng)檢索結(jié)果，對(duì)時(shí)間按照10為底取對(duì)數(shù)，如圖5所示。

分析圖5可知，使用本文提出的基于數(shù)據(jù)挖掘的智能圖書(shū)館云檢索系統(tǒng)數(shù)據(jù)檢索效率較高，使用文獻(xiàn)[4]系統(tǒng)、文獻(xiàn)[5]系統(tǒng)直接對(duì)圖書(shū)館資源進(jìn)行查詢(xún)時(shí)，隨著數(shù)據(jù)量的增加檢索時(shí)間也會(huì)隨之增加，整體呈現(xiàn)出線(xiàn)性變化趨勢(shì)。表1給出的是對(duì)500 GB圖書(shū)館數(shù)據(jù)下檢索的時(shí)間匯總結(jié)果。

分析表1可知，隨著圖書(shū)館檢索范圍的增大，相應(yīng)的數(shù)據(jù)檢索時(shí)間也會(huì)逐漸增加，主要原因在于當(dāng)圖書(shū)館資源檢索空間增加時(shí)，滿(mǎn)足查詢(xún)條件的圖書(shū)館資源數(shù)據(jù)塊也會(huì)增加。

當(dāng)智能圖書(shū)館云檢索系統(tǒng)節(jié)點(diǎn)數(shù)量減少時(shí)，對(duì)大小為500 GB的圖書(shū)館資源進(jìn)行檢索的時(shí)間統(tǒng)計(jì)結(jié)果如表2所示。

分析表2可知，當(dāng)智能圖書(shū)館云檢索系統(tǒng)節(jié)點(diǎn)數(shù)量減少時(shí)，對(duì)應(yīng)的檢索時(shí)間會(huì)增加。由此可推斷，當(dāng)智能圖書(shū)館云檢索系統(tǒng)節(jié)點(diǎn)數(shù)量持續(xù)增加時(shí)，由于MapReduce計(jì)算節(jié)點(diǎn)數(shù)量增加，因此數(shù)據(jù)檢索效率有顯著提高，檢索時(shí)間大幅度縮短。

4 ?結(jié) ?語(yǔ)

對(duì)海量大數(shù)據(jù)的快速查詢(xún)已成為當(dāng)前智能圖書(shū)館資源管理方法研究的熱點(diǎn)，本文基于海量圖書(shū)館資源特點(diǎn)提出了數(shù)據(jù)挖掘算法，并將其應(yīng)用于分布式開(kāi)源框架Hadoop中，通過(guò)對(duì)多組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果分析驗(yàn)證了系統(tǒng)的有效性。

參考文獻(xiàn)

[1] 陳春陽(yáng).基于圖書(shū)館微信平臺(tái)的館配云平臺(tái)圖書(shū)數(shù)據(jù)推送研究[J].出版發(fā)行研究，2018（5）：44.

[2] 鮑玉來(lái)，白淑霞，飛龍，等.漢蒙跨語(yǔ)言檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].情報(bào)理論與實(shí)踐，2017，40（4）：128?132.

[3] 劉愛(ài)琴，李永清.基于SOM神經(jīng)網(wǎng)絡(luò)的高校圖書(shū)館個(gè)性化推薦服務(wù)系統(tǒng)構(gòu)建[J].圖書(shū)館論壇，2018，38（4）：95?102.

[4] 李廣麗，朱濤，劉斌，等.面向大數(shù)據(jù)的數(shù)字圖書(shū)館多媒體信息檢索系統(tǒng)優(yōu)化研究[J].情報(bào)科學(xué)，2019，37（2）：115?119.

[5] 黃容，何楊煜琪，王忠義，等.數(shù)字圖書(shū)館數(shù)值知識(shí)元檢索系統(tǒng)設(shè)計(jì)[J].圖書(shū)情報(bào)工作，2018，62（14）：125?132.

[6] 徐延華.云計(jì)算技術(shù)環(huán)境下數(shù)字圖書(shū)館資源的整合[J].山西檔案，2018（4）：102?104.

[7] 容海萍.圖書(shū)館數(shù)字資源跨媒體語(yǔ)義關(guān)聯(lián)檢索的實(shí)現(xiàn)模型及保障措施[J].圖書(shū)館工作與研究，2018（7）：60?64.

[8] 徐彤陽(yáng)，任浩然，張國(guó)標(biāo)，等.數(shù)字圖書(shū)館圖像資源檢索框架的構(gòu)建與實(shí)現(xiàn)：基于非下采樣的Contourlet變換[J].現(xiàn)代情報(bào)，2017，37（6）：55?60.

[9] 王茜，張黎.基于云平臺(tái)的智慧圖書(shū)館系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].圖書(shū)館，2019（2）：50?54.

[10] 李巖，張博文，陳松路，等.基于重排序融合的社會(huì)圖書(shū)檢索系統(tǒng)[J].計(jì)算機(jī)應(yīng)用研究，2017，34（3）：781?784.

作者簡(jiǎn)介：趙 ?翀（1981—），女，河北寧晉縣人，碩士，館員，研究方向?yàn)殡娮訄D書(shū)檔案、圖書(shū)館網(wǎng)絡(luò)及數(shù)字化建設(shè)。

王麗達(dá)（1974—），女，黑龍江哈爾濱人，副研究館員，研究方向?yàn)殡娮訄D書(shū)檔案、圖書(shū)館網(wǎng)絡(luò)及數(shù)字化建設(shè)。