圖書館大數據技術應用及關鍵問題研究

摘 要 論文分析了圖書館應用大數據技術開展知識服務需要的五個數據挖掘來源，提出圖書館在應用大數據技術時面臨人力財力、大數據分析和可視化、數據采集對象、第三方數據管理、讀者隱私保護等五個方面的問題。

關鍵詞 大數據 圖書館 數據采集 知識服務

分類號 G250.7

DOI 10.16810/j.cnki.1672-514X.2016.07.014

Research on the Application and Key Problems of Big Data Technology in the Library

Liu Xingxing

Abstract This paper discusses five sources of data mining for knowledge services of the library by using big data technology， and puts forward such issues as human and financial resources， large data analysis and visualization， data collection， third party data management， the readers privacy protection in the application of big data technology in the library.

Keywords Big data. Library. Data collection. Knowledge service.

“互聯網+”時代的到來使得傳統產業和互聯網相結合迸發出驚人的能量。圖書館傳統業務在“互聯網+”時代如何轉型成為學界討論熱點。百度和谷歌在滿足用戶信息需求方面顯示出巨大的優勢，終其一點，在于其擁有的數據優勢及數據處理能力，使用戶能夠方便獲取所需的信息資源。大數據內含的巨大經濟社會價值得到各界重視。數據成為一種重要的資產和資源，運用數據和數據挖掘技術實現圖書館在“互聯網+”時代讀者知識服務轉型是圖書館發展趨勢。

1 圖書館大數據技術應用體系

大數據（Big data）是指無法在可容忍的時間內運用傳統IT技術和工具對其進行處理和管理的數據資源。維基百科對于大數據的定義是指一些使用目前現有數據庫管理工具或傳統數據處理應用很難處理的大型而復雜的數據集，其挑戰包括采集、管理、存儲、搜索、共享、分析和可視化。“大數據”可以認為是“分析”的另一種表述，它是尋求從數據中萃取知識，并將其轉化為商業優勢的智能化活動[1]。大數據不是傳統數據的物理疊加，而是數據邏輯的統一。

1.1 圖書館大數據采集來源

每項新技術的發展一般都會引起圖書館界的關注，大數據技術也不例外，比如Harvard已經將“大數據”服務引入到圖書館中[2]。有效獲取讀者身份、閱讀行為、閱讀愛好、閱讀社會關系等數據是大數據時代圖書館提升服務，實現文獻服務向知識服務、數據服務轉型的重要因素。圖書館大數據可以來源于現有的圖書館信息系統、圖書館內部的電腦、讀者手機、移動終端、網絡上的各種評論，以及與圖書館有關的視頻、網絡等方面的信息。

（1）文獻管理系統。圖書館文獻管理系統是大數據的重要來源，其記錄了讀者的閱讀歷史和行為，可反映讀者的閱讀偏好和習慣及其學習和研究方向。這方面數據的挖掘是充分利用大數據技術實現圖書館已有數據價值提升的重要體現。近年來圖書館面臨著嚴重的閱讀危機，讀者借閱量下降明顯，歸根到底是因為圖書館在大數據時代不能有效滿足讀者知識服務需要。通過大數據技術深入挖掘文獻管理系統數據，同時利用可視化技術方便有效地了解讀者及其行為，了解其閱讀習慣與閱讀圈，及時跟蹤其學習與研究需要，進而提供更加切合讀者需要的知識資源。在互聯網+時代，讀者需要獲取的資源更多的是知識，而不是資源線索，圖書館需要打造“在復雜創新需求下的知識組織、知識集成、知識融匯、知識發現、知識創造”[3]的知識服務。運用大數據技術獲取館藏文獻管理系統數據，能夠深入挖掘知識主體、客體資源及其之間相互關系，從而為實現知識服務創造條件。

（2）傳感器技術。近年來，傳感器技術應用廣泛，交通運輸、醫療健康、環境保護等各個領域和場所都有傳感器的應用，傳感器的應用為大數據的獲取提供了重要的來源。傳感器將物理環境（如運動）信號轉換成數據并連續進行傳輸，智能傳感器可以根據數據價值進行數據的傳輸，從而避免因數據量大造成擁塞。圖書館目前應用的傳感器較多，如為解決占座位現象而運用的紅外傳感器。利用分布于圖書館內的各種傳感器，進行數據收集和存儲，對于研究讀者閱讀行為，有針對性地調整讀者服務策略，調整館舍布局具有參考價值。

（3）Web2.0技術?！癢eb2.0”的概念始于出版社經營者OReilly和MediaLive International之間的頭腦風暴論壇。它是指互聯網上每個用戶的身份由單純的“讀者”進化為“作者”，由被動的接收信息，變成主動的創造互聯網信息。圖書館利用Web2.0技術通過微博、維基、RSS、博客等途徑采集讀者數據，使讀者主動參與到圖書館的知識服務中[4]，可以更好地獲得讀者和讀者之間互動數據，促進知識傳播和知識服務，從廣度和深度方面促進知識資源開發。讀者微博、微信每天都產生大量數據，運用大數據技術對這些數據進行收集、處理，能夠獲得讀者的閱讀偏好和知識需求。

（4）RFID技術。與傳統的條形碼相比，RFID（Radio Frequency Identification，射頻識別）技術擴展了操作距離，且標簽的使用比條形碼容易，攜帶一個可移動的閱讀器便可收集到標簽的信息[5]。RFID技術由于具有操作范圍廣、技術性能穩定和高存儲能力成為物聯網時代最重要的一種信息感知技術，在未來圖書館的運用具有廣闊的空間。利用RFID射頻數據，能夠實現圖書館有關資源和服務的跟蹤、分析，實時獲得知識資源利用和傳輸情況，分析資源的利用效果，并且及時跟蹤讀者需求，進行知識資源服務的推送。該技術將會成為大數據時代圖書館數據分析的利器。

（5）移動終端技術?！盎ヂ摼W+”時代普及了移動終端的應用，手機、筆記本、平板電腦隨處可見，移動信息的攝取成為人們主要的信息來源。移動終端具有較強的信息處理能力，如通信定位和掃描功能，移動圖書館、二維碼技術和微信圖書館都已在圖書館服務中得到運用。移動終端通過移動社區網絡隨時都在產生龐大的數據量，大數據技術能夠實現數據收集和處理。圖書館移動終端數據采集主要分為三種：一是讀者通過移動終端進行閱讀而產生的大數據；二是通過移動閱讀終端設備內置的傳感器而采集到的數據；三是通過移動互聯網產生的閱讀個體的閱讀評論、微博、微信等互動形式的大數據。利用大數據技術收集讀者移動社交網絡數據，形成海量的數據資源，對于圖書館了解讀者行為和需求，開展信息分析、信息推送[6]等知識服務具有重要意義。

1.2 圖書館大數據邏輯層次結構

Hadoop數據系統是利用谷歌MapReduce技術開發的開源平臺，目前被大量的機構、組織和人員研究和利用，全世界數以萬計的Hadoop系統被安裝和使用[7]32-33。Hadoop系統擁有兩項關鍵的技術基礎：一是HDFS項目，提供高吞吐量的分布式文件系統，可以處理海量的非結構化和半結構化數據；二是MapReduce技術，是基于谷歌MapReduce的大型分布式數據處理模型。圖書館采集的數據很多是非結構化的圖片、音頻、視頻、日志、網頁等對象，因此Hadoop系統可以很好地用來解決圖書館大數據平臺問題。

圖書館大數據系統在邏輯結構上可以設計為外部系統層、數據處理層、數據計算層、數據管理層和數據資源層五個層次，層次之間是從上到下的依賴關系。外部系統層主要是現有的圖書館文獻管理系統、圖書館網站、移動圖書館、微信圖書館、圖書館微博等對象。數據處理層包括圖書館數據資源采集、用戶數據可視化呈現和數據調用三個子項目。數據計算層是圖書館大數據系統分析模塊，涵蓋計算、分析和數據倉庫等子模塊。數據管理層是對整個圖書館大數據系統節點子系統和任務節點子系統進行控制和調度的模塊。數據資源層是圖書館文件和數據儲存的地方[8]。

外部系統層與數據處理層存在互為調用關系[7]25-26，外部系統層的數據輸入來源于圖書館數據采集子系統采集到的數據資源，外部系統層通過用戶可視化系統和數據調用系統可以將數據傳輸給讀者提供數據計算結果。數據處理層負責將圖書館各種結構化和半結構化數據予以采集，并且負責外部系統層各子系統的數據訪問需求，通過用戶數據可視化系統將結果呈現給用戶。數據計算層負責為數據調用系統提供數據實體，負責向數據管理層觸發各節點子系統的計算功能。數據管理層是整個圖書館大數據系統的中樞，統一處理各任務節點子系統之間的管控與調用關系。

2 圖書館運用大數據技術面臨的問題

2.1 圖書館人力和財力問題

大數據文件系統有谷歌開發的分布式文件系統GFS，Hadoop的文件系統HDFS，SUN公司開發的Lustre，Facebook公司推出的文件系統Havstack等[9]。圖書館數據庫管理人員較少，能夠深入研究這方面技術的館員十分稀缺，圖書館數據管理人才缺少已成為制約圖書館知識服務轉型的因素。數據管理人才是基于數學、統計學和機器學習于一體的復合型人才，目前培養較少。圖書館解決大數據人才問題，可以通過委培的方式，與有關高校簽訂協議，將館員安排到高校進修大數據存儲技術和數據挖掘課程，盡快解決數據管理的人才可用性問題。大數據的采集和存儲，必然需要投入大量的基礎設施，圖書館在做財務規劃時，需要充分考慮到大數據技術的優勢，增加大數據設施投資，如何解決大數據的投入問題將是圖書館管理者需要衡量的重要議題。

2.2 圖書館大數據分析與可視化技術

信息分析是大數據技術應用的根本目標，對于圖書館而言，針對讀者的特殊信息需求，運用大數據技術對信息進行深度分析、加工與融合，為之提供有用的情報和服務，是根本目的。圖書館利用大數據分析讀者需求，首先需要創新信息分析思維方式。信息分析思維方式是人們進行信息分析思維活動所采取的方式，具體是指信息分析思維主體在一定理論、觀念、方式和手段的基礎上所形成的反映和把握信息分析對象的方法[10]。大數據技術改變了人們獲取信息的方法、手段和工作模式，因此，適應大數據技術下的思維方式是圖書館數據管理人員需要面對的問題。信息可視化技術主要是用圖形技術對大規模的數據進行可視化表示，以增強用戶對于數據更深層次的認知[11]。如何幫助圖書館便捷有效地從大量數據中提取出有用的信息為讀者提供知識服務成為大數據可視化技術的核心任務。傳統的樹形目錄方式查詢效率和效果受到很大限制，而如Graz理工大學設計的名為Infosky的可視化工具，用戶可以對于層次結構中成百上千的文件進行可視化查看。隨著大數據技術的發展，越來越多的將大數據以圖形化、圖像化以及動畫化等方式予以展現的技術和方法必然出現，如上海圖書館到館讀者的即時數據通過可視化方式展現在大屏幕上，數據動感直觀醒目，能夠引起讀者的注意[12]。

2.3 圖書館數據采集對象問題

對于圖書館而言，大數據技術是一門全新的學科知識，對于該技術了解甚少。圖書館在做數據資源采集時，首要面臨的問題是是數據來源問題，采集哪些數據，通過何種手段采集，采集的數據是否有用，數據能否對于分析讀者閱讀行為，提升讀者知識服務起到良好的作用等，都是圖書館需要考慮的問題。在做大數據采集與分析時，必然需要考慮到成本和效益問題。對于一些如數據量大、時效性很強、生存周期短的數據，需要制定數據采集的標準。研究確定數據資源采集對象的過程需要與建設大數據系統的目的相結合，需要明確大數據系統對于圖書館知識服務的推進具有哪些具體的作用。如美國Hiptype公司將大數據分析技術用來分析電子書讀者閱讀習慣和喜好[13]，目的是利用大數據技術建設知識服務的智能分析模式。

2.4 第三方數據管理的應用問題

大數據技術的出現改變了傳統的計算機生態環境和產業鏈，會出現更多專門提供數據支撐和數據存儲服務的大型網絡服務公司，傳統的靠自身存儲、傳輸和處理數據的時代將逐漸消亡。大數據時代，圖書館運用自身服務器管理數據和服務變得十分困難，更多的圖書館應該選擇租用第三方開放平臺來運營數據管理業務。互聯網市場將會出現專門服務于圖書館大數據管理的第三方服務平臺，圖書館負責收集和處理讀者行為、讀者服務等數據，而數據的實際存儲地點在第三方平臺。第三方平臺負責對圖書館用戶的各種數據請求打包，利用大數據分析將結果反饋給圖書館。對于圖書館而言，可以以最少的人力和財力投入獲得最好的服務效果。

2.5 圖書館讀者安全隱私保護問題

大數據時代面臨著嚴重的安全和隱私問題。隨處可見的攝像頭和傳感器會監視和記錄讀者的位置信息，海量數據的分析可以清晰了解讀者的行蹤，同時海量數據的收集，增加了破解讀者各種密碼的可能性。而且，大數據的收集與管理平臺一般在第三方的分布式存儲系統，因此增加了讀者數據被盜用的可能性。圖書館利用大數據分析技術分析讀者的閱讀行為，跟蹤和預測讀者的閱讀傾向，本身是為了更好地服務于讀者，為讀者提供高效、滿意的個性化閱讀服務。但是，在一些特定環境和階段下，圖書館為了獲取最大的服務效益、提高競爭力和保證較大的讀者群所制定的管理、經營、服務和發展策略，可能會損害部分讀者的個人隱私[14]。因此大數據時代，圖書館在提供數據搜集和分析服務時，必須注重讀者隱私權的保護問題。一方面，可以通過立法的方式，規范讀者數據的采集和利用，避免第三方平臺對于讀者數據的非法使用；另一方面，圖書館作為責任主體，需要制定數據采集的標準，根據數據價值確定哪些數據在采集范圍之內，避免采集過度問題。

3 結語

大數據技術的出現，對于圖書館而言雖是機遇，更是挑戰。過去圖書館追求的深入挖掘讀者需求提供個性化服務的目標將容易實現，圖書館能夠更方便地分析館藏資源，提供有針對性的資源服務。同時，圖書館也將面臨嚴峻的困難。一方面，大數據技術的應用需要圖書館在數據采集、分析、存儲、管理、利用等環節投入更多的人力、財力和技術力量。另一方面，數據服務商擁有技術、資源和豐富的數據優勢，必然侵蝕傳統圖書館的業務空間。當用戶的大多數數據請求能夠通過數據服務商獲得，圖書館的社會地位將不斷下降，社會認知度將邊緣化，這需要引起圖書館界廣泛的注意。大數據和云計算技術的出現，只是計算機網絡技術快速發展的一個方面，圖書館需要深入借助新技術力量，實現由管理文獻信息資源向管理數據資源、知識資源的轉型。

參考文獻：

[ 1 ] MCAFEE A， BRYNJOLFSSON E. Big data： the man-

agement revolution[J].Harvard Business Review，2012， 90（10）：3-9.

[ 2 ] The New York Times. Harvard Releases Big Data for Books[EB/OL].[2012-08-11].http：//bits.blogs.nytimes.com/2012/04/24/harvard-releases-big-data-for-books/.

[ 3 ] 李麟，初景利.國外文獻信息服務機構知識服務實踐研究：以LANL研究圖書館、CISTI、MPDL為例[J].圖書情報工作，2012（15）：5-8.

[ 4 ] 姚毅.掘金大數據：圖書館面臨的幾個問題探討[J].新世紀圖書館，2014（6）：32-35.

[ 5 ] ZHAI J， WANG G N. An anti-collision algorithm using

two-functioned estimation for RFID tags[C]//Procee-dings of the International Conference on Computat-

ional Science and Its Applications（ICCSA05）：Vol4.May 9-12，2005，Singapore.LNCS 3480.Berlin，Germany：

Springer-Verlag，2005：702-711.

[ 6 ] 李可風，沈揚.大數據環境下移動數字圖書館信息推送策略研究[J].圖書館學研究，2015（21）：66-70.

[ 7 ] 楊巨龍.大數據技術全解：基礎、設計、開發與實踐[M].北京：電子工業出版社，2014.

[ 8 ] 張興旺，李晨暉，麥范金.變革中的大數據知識服務：面向大數據的信息移動推薦服務新模式[J].圖書與情報，2013（4）：74-79.

[ 9 ] 竇萬春，江澄.大數據應用的技術體系及潛在問題[J].中興通訊技術，2013，19（4）：8-16.

[10] 官思發，朝樂門.大數據時代信息分析的關鍵問題、挑戰與對策[J].圖書情報工作，2015（3）：12-18.

[11] 樊偉紅，李晨暉，張興旺，等.圖書館需要怎樣的“大數據”[J].圖書館雜志，2012（11）：63-68.

[12] 徐強，楊佳.閱讀大數據：圖書館聯合體的創新型數據服務探索[J].圖書館理論與實踐，2015（5）：1-4.

[13] Digital Book World.New Start-Up Aims to Be Google Analytics for E-Books[EB/OL].[2012-08-13].http：//www.digitalbookworld.com/2012/new-start-up-aims-to-be-google-analytics-for-e-books/.

[14] 馬曉亭.大數據時代圖書館個性化服務讀者隱私保護研究[J].圖書館論壇，2014（2）：84-89.

劉星星 南京交通職業技術學院圖書館館員、采編部主任。江蘇南京，211188。

（收稿日期：2016-01-19 編校：方瑋）