大數據帶給圖書館的影響與挑戰

張巖

摘要：本文首先介紹了什么是大數據，其次對大數據帶給圖書館的影響和挑戰進行了分析。

關鍵詞：大數據；圖書館；影響；挑戰

前言：大數據的英文名稱為Big data，它和Web2.0、云計算一起被評為媒體最為關注的科技新詞，它一出現就引起了IT領域的巨大關注。早在2012年3月的時候，美國政府就斥資2億美元成立了研究大數據的科技發展計劃。其實在此之前，美國的科技巨頭（如甲骨文、微軟、IBM等）都已經展開了對大數據的有關研究，企圖在未來的競爭中處于領先地位。IT領域的這一系列變化引起了專家、學者的關注，有專家認為大數據將成為下一個新型學科。中國科學院大學計算機與控制學院院長李國杰院士就指出大數據將成為信息技術領域的下一個關注點，并促使新學科——網絡數據科學的誕生。圖書館作為知識信息服務中心，它越來越需要信息技術的支持。大數據技術在挖掘、分析讀者行為中隱藏的結構化數據信息，發現讀者的隱性需求，改進圖書館服務方面有著非常重要的作用。通過大數據技術可以不斷提高圖書館的服務水平，使圖書館的服務與讀者需求相適應。

一、什么是大數據

（一）大數據的含義

大數據最早是由美國著名的咨詢公司麥肯錫在2011年5月發布的一份報告中提出的。該報告指出：“數據已經逐漸滲透到各個行業及其業務職能領域，并成為一種非常重要的生產要素；而人們經常使用大量的數據，將會促進勞動生產率的進一步提高。”該報告出來以后變引起了美國媒體的關注。《華爾街日報》、《華盛頓郵報》、《紐約時報》等紛紛開設專欄對“Big data”進行介紹。但是由于當時大數據剛剛被提出來，人們對它的并不是很了解，所以不同的人對大數據有不同的定義，到現在業界對大數據都沒有統一的說法。雖然不同的人群對大數據有不同的定義，但是已經形成一個共識，那就是大數據不是單純的定量描述數據量的大小。而是在數量巨大、種類復雜的數據中，快速提取所需要的信息。

隨著人們對大數據的研究水平和認識水平不斷加深，大數據已經從互聯網、云計算等方面對人們的生活產生了重要影響。圖書館是傳播和儲存知識的重要場所，它每天都要處理大量的數據，可以斷言，在未來大數據必將成為圖書館的核心技術，成為衡量圖書館好壞的重要指標之一。所以深入研究大數據帶給圖書館的影響與挑戰，有著非常重要的現實意義。

（二）大數據的內涵

雖然大數據出現以后，人們對大數據進行了大量的研究，但是在查閱有關資料時卻發現，一部分人對大數據內涵的認識存在偏差，所以筆者認為有必要對大數據的內涵進行介紹。

1、大數據是各種數據的總和。包括非結構化、結構化和半結構化（數據）。DCCI在2012年7月時給出一份數據，該數據顯示截至2010年，全世界數據總量高達1228.8EB（1EB≈10億GB）。預計2020年，這個數字將達到35ZB（1ZB=1024EB），是2010年的30多倍。在這么多的數據中，僅有10%的數據是結構化數據，存放在數據庫之中，剩下的數據全部都是在收發郵件、看視頻、刷微博、瀏覽網頁等過程中產生的非結構化和半結構化數據。就我們日常生活而言，由學習、工作產生的結構化數據量要遠遠小于社交網絡、手機產生的非結構化和半結構化數據。所以如何處理這些非結構化和半結構化數據成為了大數據的主要內容。

2、“大”的多樣性。目前IT界認為大數據具有“4V”特點，即數量大（Volume）、速度高（Velocity）、多樣化（Variety）、價值大（Value）。這一特點充分說明了“大”的多樣，大并不是單一的數量大或者價值量大。NetApp認為“大”有A、B、C三點，即Analyti、Bandwidth、Content（分析、帶寬、內容）。大分析就是通過對大量數據的分析，可以發現新的業務模式，使用戶獲得新洞見。高帶寬就是對關鍵數據可以進行高速處理，從而快速有效的消化大型數據。大內容有兩方面的含義，一方面是指數據內容多既有有結構化數據，又有非結構化、半結構化數據。另一方面是指對存儲擴展的要求比較高，可以輕松的進行恢復、復制等操作。

3、“數據”不只是數據。大數據除了數據的存儲外，還包括數據的獲取和應用。隨著社會經濟的進步，人們生產的數據也越來越多，自云計算誕生以后，信息數據的存儲、計算已經不再是障礙，但是大數據不是指那些存儲在各種媒介中數據，它的數據是可以快速獲取并應用的數據。比如分析客戶的行為習慣、預測市場發展方向等。

二、大數據帶給圖書館的影響與挑戰

大數據的產生與發展不但對傳統的數據存儲機構帶來了挑戰，也對社會的信息服務中心——圖書館帶來了不小的挑戰。因此正確理解大數據的深刻內涵，將大數據技術圖書館的實際情況相結合，對不斷提高圖書館的服務水平和服務質量具有重要意義。

（一）大數據會對圖書館造成影響的因素

1、大數據的復雜性會對圖書館帶來影響和挑戰。其復雜性主要表現在數據的類型、結構和模式三個方面。從數據類型上來說，由于社交網絡的廣泛使用，導致與之相關的短文本數據信息的數量不斷增加，與傳統的長文本數據信息相比，短文本所包含的信息量較小，但是數量卻很多，從而使文本的挖掘工作變得更加困難。從結構上來說，在大數據環境下，數據的生成方式非常復雜，比如社交網絡、智能設備等，而且它們生成的主要是非結構化和半結構化數據。與結構化數據相比，它們的組織結構非常混亂，而且其中含有大量的無用信息，所以會給數據的儲存工作和分析工作帶來許多不便。從數據模式來說，數據類型的多樣化必然導致模式變得復雜多樣，而多模式對研究人員和工作人員的知識面提出了更高的要求[1]。

2、大數據具有不確定性會給圖書館帶來影響和挑戰。這種不確定性給建模和學習網絡數據帶來了許多困難，從而導致大數據的價值難以得到有效的開發和利用。大數據的不確定性主要表現在以下三個方面。

首先大數據本身具有不確定性。由于原始數據的準確性不高、數據的采集手法和處理力度不當、應用需求、展示方式等原因，都會從不同角度、不同層面上增加數據的不確定性。其次模型存在不確定性。由于數據本身的不確定性決定了必須采取與傳統方式不同的處理方法，要建立新型的數據模型，而且這種模型必須可以準確把握模型表達能力與復雜度之間的平衡，這種要求將直接導致模型的不確定性增大。最后學習的不確定性。學習數據參數是數據模型的必然要求。但是在一般情況下要想找到模型的最優解是一件非常困難的事情，所以一般在學習時都會用一個類似的、不確定的方法來找一個比較合適的解。但是在大數據環境中，這種類似的、不確定的方法會使學習的不確定性變得更加突出。

3、大數據的涌現性。這個概念是從系統學中引進的，是指當多個要素形成新系統以后，出現了一些新的性質，而這些性質在系統形成前并不存在，這些性質并不是單個要素所具有的性質，而是系統在向高層次過渡的過程中逐漸表現出來的，所以被稱為“涌現”。系統之所以出現整體功能大于部分功能之和的現象就是因為涌現的作用，涌現使系統具有了許多以前不具備的性質。但是網絡數據涌現性的判定、預測等都比較困難，所以導致網絡數據不容易被駕馭。

它的涌現性主要表現在模式、行為、智慧三個方面。模式涌現性就是在多種類型的網絡數據中，不同類型的數據，其屬性和功能既有所差異又相互之間存在一定的聯系。行為涌現性就是目前人們采集到的數據，大多具有時序性，在社會網絡中相似性越高的個體，越容易建立關系，當這些不同個體在“生產”網絡數據時，其個體行為也會隨著出現，從而表現出區別于個體的復雜性。智慧涌現性是指在沒有對網絡數據進行預先設定和全局控制的情況下，自動將個體的語言進行有選擇的融合，從而產生新語義的過程。由此可見它的涌現性會使大數據變得更加復雜，從而給大數據的處理、分析帶來更多的新問題。

（二）大數據給圖書館帶來的具體影響與挑戰

1、處理復雜數據將成為圖書館工作的重要內容。隨著社會的發展，信息在人們生活中的作用越來越大。它與能源、材料共同構成支撐現代社會發展的三大支柱。而不斷提高公民獲取信息的能力、優化信息獲取途徑、提高信息化水平，已經成為政府的主要工作內容之一。近些年來我國十分重視信息化建設，頒布了一系列的法律、政策和技術標準來推動我國的信息化建設。在政府的主導下，我國的各大圖書館紛紛建設特色數據庫、設立門戶網站以及數字圖書館。雖然我國圖書館信息化進程取得了巨大成就，但是其數據建設主要集中在結構化數據領域。隨著大數據的推廣、應用，人們在生活中將享受到更為人性化和個性化服務。在這種情況下，勢必會對圖書館的服務提出更高的要求，所以處理復雜數據將成為圖書館工作的重要內容[2]。

2、對圖書館的數據儲存能力提出新的要求。在信息時代，信息的生產成本不斷下降，產生方式也日益多樣化，導致社會上的數據總量迅速增長。到了大數據時代，不但產生方式會發生變化，產生的途徑和范圍都會發生巨大變化，甚至人們的一言一行都會產生大量的數據（半結構化或者非結構化數據）。從而使得數據的組成方式、結構類型、存在形態等變得更為復雜多樣。這會對圖書館的存儲能力帶來嚴峻的挑戰。除了技術層面的挑戰外，還有社會層面的挑戰。雖然在面對挑戰和解決問題的過程中會使圖書館的資源建設、服務方式、管理方法以及發展模式發生巨大變化，從而推進圖書館又好又快發展，但是也存在著以下兩大難題：

首先安全問題。雖然云計算技術的產生與發展，順利解決了大量數據的存儲、運算問題，但其依然存在安全隱患，難以讓用戶放心。所以如何解決數據安全，將會成為圖書館大數據應用之路上的一個重大難題。其次大數據對圖書館數據的存儲范圍提出了更高的要求。2007年時沃爾瑪就展開了一次大數據嘗試，他們對消費者的購物行為，這一非結構化數據進行了分析，從而成功創造了經典的商業案例——“啤酒與尿布”。但是該案例成功的前提是對大量的、不同類型的數據進行分析。所以在大數據時代，圖書館記錄的讀者、圖書館工作人員以及社會公眾的信息中，除了用戶身份、借閱記錄等通用的結構化數據外，還要記錄大量的非結構化、半結構化數據。比如用戶的搜索方式、信息儲存行為、活動痕跡等。

3、對傳統的信息服務提出新的挑戰。隨著圖書館信息化水平的不斷提高，提供信息化服務已經成為當前圖書館的主要服務內容之一，而知識經濟的發展進步，也使得圖書館逐漸把在互聯網信息搜索基礎上發展得知識信息服務吸收進來，使知識信息服務逐漸成為圖書館服務的重要組成部分。但是不論是單純的信息服務，還是融合信息檢索、信息分析等多種高級業務而進行的知識服務，都是一種基于數據而完成的服務。雖然在Web2.0等互動技術推出以后，圖書館的人性化服務和個性化服務水平有了很大的提高，但是交互性依然比較差。但是就個性化服務和人性化服務而言，也只是一些簡單的在用戶結構化數據基礎之上（比如服務要求、專業、愛好、特長等），去實現有限程度的差異化服務。但是大數據卻對圖書館提出了更多、更好的服務要求。圖書館不但要對結構化數據進行分析，明確讀者當下的服務需求，更要搜集更多的半結構化和非結構化數據，并對這些數據進行分析、挖掘，從而推測判斷用戶潛在的服務需求，從而找到更好的服務模式，創造圖書館行業的“啤酒與尿布”，應對未來不可知的危機。

結論：

大數據是近些年來剛剛興起的一種數據類型，與傳統的數據相比，它具有數量多、價值大、速度快、多樣化的特點。目前世界各國都十分重視對大數據的研究和應用工作，一些領域都已經將大數據應用到了工作之中，圖書館作為全社會的信息數據服務機構，在大數據的浪潮中已經落后一步，所以圖書館應當重視大數據問題，對將大數據應用于圖書館的問題進行認真的分析和研究，在筆者看來大數據的復雜性、多樣性和涌現性會對圖書館的工作內容產生影響，使處理復雜數據將成為圖書館工作的重要內容。會對圖書館的數據儲存能力和信息服務方式等提出新的要求。這些問題都必須引起圖書館方面的高度重視，尋找方法應對挑戰。雖然應對挑戰的過程可能會很漫長，會充滿艱難困苦，但是前途一片光明，當圖書館成功應用大數據以后，圖書館將會進入嶄新的發展階段。

參考文獻：

[1]石岱.大數據帶給圖書館的影響和挑戰[J].黑龍江教育（理論與實踐），2013，05（04）：11-18

[2]劉瓊.大數據環境下圖書館面臨的影響與挑戰[J].理論觀察，2014，08（06）：20-27