基于大數據平臺架構的智慧圖書館研究

關鍵詞： 大數據平臺架構 智慧圖書館 構建要點 數據傳輸

中圖分類號： G250.7 文獻標識碼： A 文章編號： 1672-3791（2023）16-0205-04

作為一種較為典型的大數據體系，圖書館信息資源的重要性毋庸置疑。伴隨社會的發展與進步，使當下的圖書館資源數據量處于急劇增加狀態。因此，為滿足智慧圖書館構建與大數據管理分析的基本要求，就需要基于大數據平臺架構明確核心為Hadoop 的圖書館大數據平臺構建要點，希望能夠為同行業工作者提供一些幫助。

1 智慧圖書館總體架構——以Hadoop 為核心的分層架構設計

基于Hadoop 等技術可構建智慧圖書館大數據平臺，在包含圖書館數據的同時集成了針對讀者一系列消費數據與教學數據，實現了圍繞大數據平臺的數據存儲與分析功能。從邏輯分層的角度來看，平臺架構的設計要點主要包含了數據采集層、數據存儲層、數據服務層以及數據應用層。

1.1 數據采集層

針對源數據系統所存儲的數據進行抽取，是數據采集層的主要工作任務，集成了圖書館所有的數據資源數據與自動化系統產生的數據[1]。而智慧圖書館所應用的大數據平臺，則需要對讀者的數據進行抽取、轉化以及加載，將其變更為統一格式即可為后續的數據存儲層的實際應用提供準備條件。

1.2 數據存儲層

作為智慧圖書館大數據平臺的構建基礎，數據存儲的重要性毋庸置疑，而數據存儲層則在此過程中承擔了業務執行與功能展示責任，既包含了傳統關系型數據庫，又可與分布式文件系統進行對接，為數據的清洗與轉化提供中間表等有利條件，可對需求存儲的相應數據與結果進行針對性的分析與挖掘。分布式文件系統作為數據存儲層功能實現的前提條件，針對的數據類型主要包括了結構化數據與非結構化數據，也是實現數據分析挖掘的核心。

1.3 數據服務層

存儲層與應用層連接的橋梁為數據服務層，友好的接口定義促使平臺中所包含的各類服務相互連接，所提供的訪問接口皆可作為上層應用的主體[2]。Hadoop平臺是數據分析服務的前提，可從智慧圖書館的實際業務需求角度出發，基于大數據平臺所具備的強大計算能力，完成對針對性數據的轉換與分析挖掘。

1.4 數據應用層

展示業務整合結果以及數據分析挖掘是數據應用層的主要功能，其主要對接著讀者的個人報告、智慧圖書館的功能決策、移動客戶端的實時應用以及圖書館智慧大屏所承擔的數據展示功能。

2 建立數據標準

2.1 標準概述

智慧圖書館數據分析挖掘與源數據的整合等相關工作的順利推進，皆需要依靠統一的數據標準實現元數據的抽取與轉化。而圍繞自動化系統所構建的數據存儲結構，皆需要依據對應的業務需求實現設計目標，對應的邏輯關系相對較為復雜，且即使是同一業務，自動化系統也可能由多家廠商所提供，這使所使用的數據庫無論是在類型還是在結構方面均存在著諸多差異[3]。為消除數據隱患，需要在采集相關數據前構建統一數據標準，進而為后續的數據分析過程提供具有準確性與全面性特點的一系列基礎數據。

2.2 設計數據存儲架構

基于云端的數據存儲模塊，其功能在于滿足當下所產生的海量結構化與非結構化數據的功能性存儲要求，并需要保證數據存儲的安全性與在實際使用時展開數據訪問的高效性。通常情況下選擇使用HDFS 作為存儲的主要介質，原因在于HDFS 本身的超大數據存儲能力相對較強，基于其備份功能確保了數據使用的高效性，且自身具備著一定的系統容錯能力。此外，Hadoop 中的諸多生態系統關鍵組件，可用于搭建并行計算的重要框架，皆可作為后續實現高效性讀取存儲數據等功能的重要基礎[4]。不同業務系統所包含的數據在云端存儲，為方便后續展開數據分析，圍繞HDFS的存儲目錄均需要依靠智慧型圖書館的實際使用要求，包括對應的業務類型與基礎信息維度。

2.3 設計數據標準

作為數據分析挖掘的前提條件，存儲采集數據的重要性毋庸置疑，為從多個維度分析數據提供了諸多方便條件。建議將需要進行數據分析的維度總制一張表，這使每張存儲表均包含了大量的冗余，用以將各類表單之間的交叉關聯查詢予以減少，其也是提高數據分析挖掘效率的關鍵措施。

根據源系統業務類型的差異，可展開不同的數據標準設計。例如：借還系統，數據量較大且有表之間交叉減少的需求，就需要對數據抽取過程中中間數據庫表的承受能力予以充分考慮[5]。再如：將圖書借還系統所包含的諸多行為數據依照借書、還書以及續借3種業務方式存儲為3 張不同的表單，且需要在每張表單中自動生成圖書名、借還時間、用戶名以及行為類型等諸多信息。關聯讀者的信息則包括讀者的姓名、讀者的性別以及聯系方式等。圖書與讀者的詳細信息均被存儲于原系統所對應的不同表單中，需要基于中間表對這些信息進行匯總。

3 ETL 數據采集清洗

3.1 概述

基于對源數據系統的分析，可發現各個自動系統中的源數據均被存儲于對應的數據庫中，其中既包含了具有結構化特點的行為數據，也包含了具有非結構化特點的日志數據，且有著較為繁多的數據相類型，使數據格式不統一且存在諸多問題，需要使用專業工具采集基于統一標準化的傳輸數據。此外，數據映射、采集裝載、定時執行等同樣需要專業工具的標準化支持，完成轉化清洗后的數據需要依靠對應的數據標準進行存儲以方便后續的使用。

ETL 作為能夠描述數據從源端最終目的端整個過程的關鍵工具，可將數據的傳輸過程主要分為數據抽取、數據清洗、數據轉化以及數據裝載4 個部分，原本凌亂且未能統一標準的數據經過抽取與清洗等環節，即可將其完整加載到執行具體任務的大數據平臺中。

3.2 設計與實現

ETL 將智慧圖書館的內部數據完美集成，并能夠根據對應的模塊明確實際的服務需求，選擇合適的抽取方法抽取大數據平臺中的需求數據。之后收取完成的源數據將在所設計的中間層完成清洗與轉化，最終通過統一集成匯集到所需要使用的數據庫中[6]。ETL技術在整個過程中的重要作用不可被忽略，具體情況見圖1。

3.2.1 抽取數據

作為智慧圖書館大數據平臺數據采集的首個步驟，數據抽取工作的前提為詳細分析元數據的數據庫類型以及具體的數據類型。需要注意的是源數據來源于具有一定差異的DBMS，可基于JDBC 實現數據連接，封裝設定標準的壓縮包后即可建立與數據庫用戶名、密碼配置的對應連接。

一是全量與增量等抽取方式。首次采集數據時由于其中包含了較多的業務數據，因此首次的數據采集需要選擇使用全量抽取方式，采集數據完成后即可根據需求選擇使用增量抽取方案。基于SQL 代碼可控制全量與增量抽取的過程，具體的代碼被分配到不同的工作表中，對應著不同類型的元數據系統抽取過程，可通過中間數據庫中的表單顯示相關內容。

二是設定抽取頻率。針對不同類型的業務數據所使用的數據抽取頻率存在著一定差異，以圖書借閱環節所產生的行為數據為例，抽取的時間相對較短，而對于圖書詳細信息或讀者的自身信息只需要每半年或一年抽取一次即可。

3.2.2 數據清洗

一是缺失重要字段的不完整數據。此類數據包含了共有的缺失時間字段與針對不同業務系統的字段數據。以行為數據為例，時間維度極為關鍵，若時間范圍，則后續所執行的分析挖掘無法保證其準確性。而圖書借還數據在缺少讀者相應信息字段數據的情況下，則可將其判斷為無法獲取重要字段的不完整數據，原因在于除去時間這一維度字段，其余缺失的數據可基于中間表完成補全操作。

二是錯誤數據較為明顯。產生此種情況的常見數據類型為行為數據，表現則主要為數據產生的時間不在讀者的信息生成時間段內。

三是重復數據。基于行為數據所產生的時間可判斷數據是否為重復數據，通常情況下所記錄的數據時間精確到秒，但由于圖書館業務系統自身的數據并發量不大，因此，同類型的業務系統中所產生的數據，只要時間相同則皆被判斷為重復數據，系統將自動對其進行刪除處理。

3.2.3 數據轉換

一是缺失字段的補全。以讀者信息表為例，不同的業務系統輸出的讀者信息的各維度字段不同，每個系統皆記錄了讀者的姓名、性別等信息，但讀者借閱圖書的種類、時間等可能來源于進入圖書館所必須通過的閘機系統，且圖書借還系統同樣包含了讀者的一定信息，不存在某個系統能夠對讀者個人信息完整記錄的情況，這就需要建立一個針對讀者的信息表用以對各系統數據中的缺失字段進行補全處理。首先需要將讀者的個人信息存入到讀者表中，基于各系統中所包含的數據抽取行為數據存儲表中的信息，根據讀者的序號或進入智慧圖書館的具體時間對讀者表進行實時更新，匯總讀者表中的各個字段。最后則是需要根據讀者表中的記錄信息，對各個行為存儲表中所缺失的讀者信息字段進行更新。

二是數據格式的統一。業務規則在圖書館所包含的各個業務系統中實際上存在著一定的差異，即使針對同類數據所使用的表述方式也可能存在不同。這就需要首先建立基于所設計統一標準的學院字段格式表，以人工或專業的對應工具對應讀者借閱圖書的不同類型。如此即可根據所設定的對應關系對業務數據表進行更新，實現數據格式的統一功能。

3.2.4 數據加載

基于SQL 語句即可直接插入，通過智慧圖書館將數據進行清洗轉化處理后，即可將處理完成的數據集中加載到智慧圖書館的數據庫中，需要在插入的環節對應原表中的字段與目標表中的字段。

4 以Sqoop 為核心的數據傳輸

作為一種具有開源特點的工具，Sqoop 的自身開發目的在于交換關系型數據庫與Hadoop 之間的數據。基于Sqoop 不僅能夠實現關系型數據庫中的數據導入到分布式文件系統的功能，同樣能夠將所處理完成的數據導入到需求的關系型數據庫中，其具體的架構見圖2。由于Sqoop實現數據處理功能的基礎為MapReduce，因此Sqoop 一系列功能的充分展現需要依賴于Hadoop 集群環境，且需要從Sqoop 的選用角度出發，充分考慮到所使用的功能對應的環境要求以及需要進行協調的版本，在滿足Hadoop 環境對應功能需求的情況下才能夠正常使用。為了使本文所構建的基于大數據平臺架構的智慧圖書館系統的各類功能能夠實現，建議選擇Hadoop2.7.3。

5 RESTful API 接口設計

作為數據存儲層與數據應用層之間的連接橋梁，數據接口在智慧圖書館中扮演著平臺之間的數據共享、數據可視化以及平臺移動化等功能實現的重要角色。尤其是在智慧圖書館中所包含的決策支持系統、圖書館報告以及圖書館智慧大屏中，所包含的諸多接口具有功用特點，而想要實現接口在智慧圖書館建設過程中的核心地位相對較高，這就需要設計一套具有復合性與松耦合特點的API。

RESTful 這一架構設計具有跨平臺與跨語言的特點，該架構需要基于統一接口原則實現相應的操作與處理功能。對應的接口則需要基于統一的資源標識符完成信息的識別與資源的定位。從智慧圖書館的應用層級角度進行分析，發現所包含的系統接口具有大量重疊的特點，因此，需要根據智慧圖書館的功能要求設計針對不同業務與資源類型的136 個接口，共7 大類，主要包括借還數據接口、空間數據接口、打印復印數據接口、移動端獨立接口等。

第一是圖書借還數據接口。該接口主要包含了多個維度的分析數據，如時間維度、用戶維度、圖書維度等。第二是進入圖書館的閘機數據接口，包含的維度類型主要為時間維度、讀者性別維度、讀者類別維度等。第三是空間數據接口，包含了時間維度、讀者性別維度、IC 空間類別維度等。第四是具有自助特點的打印復印接口，包含了文印類型維度、紙張類型維度等。第五是對應圖書館的館藏數據接口，包含了出版社維度、館藏資源入館時間維度、圖書種類維度等。第六是移動端的獨立接口，具體包括注冊讀者賬號與登錄賬號、統一認證讀者身份、修改讀者個人信息、查看讀者的個人興趣列表以及功能修改等；第七是對應智慧圖書館的機器人接口，主要指的是人臉識別與語音識別兩個關鍵功能，如基于科大訊飛的語音識別、基于百度的人臉識別。為最大限度地將后續的技術選型改變對前端服務的影響降低，要對接口進行特殊處理。

6 結語

綜上所述，為解決當下圖書館中所存在的信息孤島現象與讀者行為數據挖掘分析環節嚴重缺乏等重要問題，就需要基于大數據平臺架構建立智慧圖書館。構建過程中要充分考慮到各類業務開展的實際需求，綜合先進的信息化技術，充分發揮基于大數據平臺的數據中心應用優勢。其所包含的有移動圖書館、圖書館機器人等先進應用系統，皆可根據讀者的實際要求滿足其對智慧圖書館的功能需求。需要注意的是，當下所建立的大數據平臺僅僅與圖書館業務系統中的相關數據進行了對接，為滿足后續讀者對數據分析挖掘的實際要求，建議搜尋讀者的生活習慣與圖書借閱的特點，進而深度挖掘讀者的個人喜好，提供給讀者具有個性化特點的圖書展示窗口，為充分發揮智慧圖書館的大數據應用優勢奠定基礎。