國家數字圖書館網絡資源保存和服務思考

魏大威，張　煒（國家圖書館）

國家數字圖書館網絡資源保存和服務思考

魏大威，張煒
（國家圖書館）

作為保存人類文化遺產、傳播知識信息的樞紐，國家數字圖書館一直注重數據的建設、管理和利用。伴隨現代科技和人類社會進步所形成的生態環境變化，國家數字圖書館開始對存在于網絡中有價值的信息資源進行有效保存和利用，從而實現大數據環境下的融合和創新。

數字圖書館;網絡資源；保存；服務

網絡和信息技術的快速發展帶來全球社會生態的重大變化。受社會對海量數據處理和深層發現的需求所趨，對網絡大數據的有效管理和利用已被歐美、日韓等國家上升為國家戰略。作為新一代信息技術和現代公共文化服務充分融合的圖書館行業，應該抓住知識社會中的這一創新機遇，加快對數量巨大、來源分散、格式多樣的網絡資源采集、存儲和關聯分析，從中發現新知識，創造新價值，提升新能力，實現數字圖書館的整體提升。

1　背景

據英國著名的調研機構Netcraft統計，2015年全球網站數量已接近10億大關，國際電信聯盟（ITU）發布的全球互聯網使用情況報告預測，2015年底全球網民規模為32億；據中國互聯網信息中心（CNNIC）統計，2015年我國域名為2231萬個，其中“.cn”的總數為1225萬個，占總量的54.9%，國內網站357萬個，其中CN下網站數為163萬個，網民規模6.68億，互聯網普及率為48.8%。從這些數字可以看出，無論是網絡信息的覆蓋程度還是其作為戰略資源所創造的價值，都達到了前所未有的高度。存在于互聯網中的海量信息，一次又一次的刷新著世界的面貌，通過不斷的流通、聚合，頻繁的重組、關聯，鑄造著全球最大規模的海量信息資源庫，其重要性，正隨著全球信息化步伐的加快而越來越顯現，網絡信息已經真正成為推動國家進步的重要戰略要素。然而，如此巨大而且重要的網絡資源，其壽命卻非常短暫，據統計，平均每周大約2%的網頁會消失。因此，對其采取積極有效的保存措施并提供利用，能夠使數字圖書館找到與科技更深入融合發展的新切入點。

隨著信息環境的日新月異和現代社會變革與進步的加快，面對大量異構的網絡資源，圖書館的文獻保存職能已從傳統的紙質文獻迅速擴展到網絡信息領域。國家數字圖書館作為保存人類文化遺產、傳播知識信息的樞紐，一直注重數據的建設、管理和利用。建有磁帶庫、磁盤陣列、光纖導向器組成的整體存儲系統，總存儲量達到2270TB。截至2014年底，數字資源總量已經達到1024TB，其中，電子圖書367萬種414萬冊，電子期刊約5.8萬種，電子報紙約1.5萬種，學位論文約521萬篇，會議論文約507萬篇，音頻資料約109萬首，視頻資料約13.2萬小時。特色數字化資源超過2.6億頁。開展海外民國文獻數字化、國家珍貴古籍數字化，館藏音像資料數字化。外購數據庫達到277個，其中中文數據庫127個，外文數據庫150個。開發的文津搜索系統，積累了超過3億條元數據。數字化資源正在通過互聯網、移動通信網、廣電網等渠道以及觸摸屏、智能手機、數字電視等終端，向讀者提供海量知識信息。基于前期大數據的生產、挖掘和服務經驗，國家數字圖書館將以海量網絡信息資源的保存與服務為起點，對互聯網中有價值的信息進行提煉和積累，利用創新思維、創新渠道推進網絡信息資源的開放、共享，從而進一步整合完善現代公共文化服務體系，保障并促進中華優秀文明的廣泛、久遠的傳播。

2　網絡資源保存成為文化創新的重要途徑

2.1國外網絡資源保存的應用與實踐

權威調研機構互聯網數據中心（IDC）的報告顯示，預計到2020年全球數據總量將超過40ZB（相當于4萬億GB），在過去幾年里，全球的數據量以每年58%的速度在增長，未來這個速度還會更快，這其中絕大多數的數據來源于網絡。網絡資源不僅能全面反映國家社會各領域的真實面貌，還為政府決策、企業經營、網絡安全和人民生活提供了重要的信息素材，對分析一個國家的發展現狀并做出正確的判斷和決策具有重要意義。

網絡信息的保存與利用在世界各國已經受到普遍重視。2012年美國政府就發布了《大數據研究和發展計劃》，面向網絡信息進行收集、監控、分析和研究。美國國家安全局（NSA）在2011年投資20億美元建成了猶他數據中心，其存儲能力高達1YB，相當于人類目前為止產生的所有數據的1000倍。2013年5月，NSA動工新建了另一個高性能計算中心，規模是猶他數據中心的6倍。歐盟在2014年初啟動了“地平線2020”計劃來加強歐盟網絡基礎設施建設、泛歐洲的網絡數據保存和管理、網絡數據挖掘和利用，以實現整合歐盟各國的信息資源，促進科技創新，推動經濟增長和就業。

近年來，國外許多科研和文化機構在網絡信息保存方面已完成或正在推進的全球項目也有近百項。從國際影響力和成果來看，具有代表性的是美國的Internet Archive（IA）項目和美國國會圖書館的Minerva項目、法國國家圖書館的BNF WEBARCHIVE（BNF）項目、英國的UKWAC項目、澳大利亞國家圖書館的Pandora項目等。其中，美國的IA項目目前數據總量達到了9PB，保存了4000多億個網頁；法國的BNF項目，目前已經完成了對200億個網絡資源對象的保存，總數量達到450TB；英國的UKWAC項目目前已經對1.4萬個網站進行了6.5萬次以上的存檔，共采集資源24TB；澳大利亞國家圖書館的Pandora項目目前已經完成了對10萬個網站的保存工作，總文件數量達到了2.6億個，數據量共12.22TB。

2.2國內網絡資源保存工作的進展和效果

我國開展的網絡信息采集與保存的實踐性項目屈指可數。國內高校曾將網絡信息保存作為科研項目開展過實踐研究，北京大學網絡實驗室開發建設的“中國Web信息博物館”（Web Infomall）項目，是2002年在國家“973”和“985”項目支持下開展的中國網頁歷史信息存儲與展示系統。

2003年，國家數字圖書館在國內開展了網絡信息資源采集試驗；2007年，加入國際互聯網保存聯盟；2009年，成立了國家圖書館互聯網信息保存保護中心，致力于中國互聯網信息資源長期保存和保護。經過10多年的建設，在網絡資源評價體系、采集策略、技術應用、平臺建設、數據挖掘和分析，用戶服務和體驗、合作模式等方面都積累了一定經驗。截至2015年，保存范圍包括國內網站、國外網站和國內專題三部分。已累計的數據量超過100TB。（1）國家數字圖書館在對網絡信息有針對性采集的同時，還注重有效的內容組織和發布，實現在公共互聯網上，面向全社會的公益性查詢服務。（2）嘗試引入社會力量參與“網絡信息保存項目”建設和合作，有效彌補前期建設中網絡帶寬、軟件研發和隊伍建設等方面的不足，從而保障數據的多元聚集和結構優化，降低項目運行成本，實現人員有效配置，進而運用商業平臺的運作模式加快項目發展，實現效用的成果轉化。（3）十分重視標準規范建設，積極推進符合我國國情和中文語境的網絡信息采集技術應用與相關規范標準建設工作，建立元數據著錄規則，加強采集數據的管理，確保數據的可用性、穩定性和準確性，提高服務效能。（4）著手研發適用于中文信息采集環境的集成式管理系統。依托文化惠民工程之一的數字圖書館推廣工程，網絡信息資源保存工作已經作為數字資源聯合建設的重要組成部分面向全國公共圖書館逐步展開，2014年首都圖書館、湖北省圖書館、浙江圖書館、吉林圖書館以及新疆建設兵團圖書館5家省級公共圖書館成為首批聯建成員，2015年包括貴州省圖書館在內的76家省市級圖書館進行了網絡信息保存工作的踴躍申報。

2.3利用網絡資源驅動文化創新和發展

信息技術和互聯網技術無論在全局性戰略布局還是重點決策方面，都得到了國家的高度重視，以互聯網技術為代表的科技創新正在引領經濟創新、政府管理創新以及文化創新。十八屆五中全會不僅提出了“實施網絡強國戰略”，還提出了“實施‘互聯網+’行動計劃，發展分享經濟，實施國家大數據戰略”。在關于制定“十三五”規劃的建議中也指出，破解發展難題，厚植發展優勢，必須牢固樹立創新、協調、綠色、開放、共享的發展理念。而數據資源的開放共享，是實施大數據戰略的關鍵所在。在2015年9月國務院發布的《關于印發促進大數據發展行動綱要的通知》中，特別提到要加強互聯網信息采集、保存和分析能力建設，制定完善互聯網信息保存相關法律法規，構建互聯網信息保存和信息服務體系。我國在2020年要完成公共文化服務體系基本建成的階段性目標，離不開堅持文化創新，使創新在文化領域蔚然成風。利用創新思維、創新渠道推進網絡信息資源的開放、共享，對于公共文化資源體系的進一步整合完善、縮小數字鴻溝具有重要意義。

現代公共文化服務體系的整體發展，需要戰略性與操作性相融合的創新理念支撐，從公共文化服務視角出發，今后圖書館服務將跳出圖書館本位概念里的服務范圍，緊密依托互聯網+環境下的文化創新和科技創新成果，跨越原有機構和業務門檻，以“大文化”的理念構建現代公共文化服務體系與新信息技術融合的新業態和新模式。以海量網絡信息資源的保存與服務為起點，國家數字圖書館將聯合檔案館、博物館、美術館、文化館等公共文化機構，共建大數據環境下的公共文化資源生產體系，充分發揮互聯網+環境下大數據等延伸技術產物在公共文化服務體系建設中的優化和集成作用，匯集多種文化資源建設，形成超大規模的元數據倉儲，實現不同異構數字資源元數據的集中管理；利用關聯技術實現數字資源信息層和知識層的深度整合，從而使海量、多樣的資源得到合理組織和開發；利用大數據挖掘技術，為社會公眾提供更深層面、更細粒度、更準確的資源揭示，從而使公共文化服務所承擔的內容和責任更加拓展。

3　科技融合下數字圖書網絡信息保存工作的未來規劃

數字圖書館作為新一代信息技術和現代公共文化服務充分融合的圖書館新業態，應該把技術創新與制度創新放在同等重要的位置，完善體制機制，推動原始創新，加強集成創新，增強引進消化吸收再創新能力。

3.1搭建先進的分布式網絡信息采集平臺

全面系統地采集和保存中文互聯網信息資源，有重點地采集和保存國外網絡信息，是網絡信息保存與利用的根本任務，利用先進技術，對不同廣度、深度的網絡信息的采集是至關重要的。同時，網絡信息資源的數量龐大（以PB為單位進行計量）以及數據安全、網絡帶寬的考慮，需要建設網絡信息采集國家中心以及各省中心，利用嚴格監管的調度機制進行網絡信息的分布式采集，以保障采集資源使用合理，發揮最大效力，從而確保網絡信息采集的完整和時效性。

網絡信息采集平臺還要重點解決以下幾方面問題：（1）要確立網絡信息的保存標準，標準化對于網絡資源采集與長期保存具有重要意義，不僅有利于保證網絡資源的長期可獲取性與保護其完整性，還可以減少網絡資源長期管理與保存的費用；（2）采集技術的運用，結合國內外的先進經驗，針對不同采集對象運用或研發采集不同類型采集工具，制定采集頻率、采集策略、保存格式等內容，解決中文的全文檢索及挖掘問題、深層網頁的采集問題等；（3）保存方式，需要建立統一的存儲標準，從而促進網絡信息資源保存系統之間數據的共享。

3.2構建可靠完備數據保存中心

以網絡信息內容為核心，以先進技術為支撐，以保存、保護和利用為目標，建設國家網絡信息保存中心，全面保存網絡化、移動化、社交化、視頻化的網絡信息，實現網絡信息的長期保存、長效可用。

采用分布式存儲架構和云存儲技術，基于先進的存儲設備構建一套較為完整的網絡信息保存中心，實現EB級別的存儲容量，滿足信息采集中心、數據分析中心的信息存儲需要，為服務體系的應用提供數據保存支持和數據空間支持。同時，網絡信息保存中心的技術架構還將具有延續性、擴展性的特點，不但可以持續地為數據存儲、數據服務提供支持，還將隨著數據的增長、應用的擴展而有序地擴充保存中心的保存能力和服務能力。

網絡信息保存保護系統將構建統一調度、集中索引、分布式保存的“保存模式”，實現海量網絡信息的保存。通過分級分布的保存模式，實施與資源相匹配的保存策略，實現網絡信息的集中保存和長效利用，為信息采集中心提供資源保存服務，為數據分析中心提供數據支撐服務，為網絡信息的檢索服務、學術研究、決策支持等提供基礎支撐和數據支撐。

3.3建設一流的數據分析中心

利用云計算技術和并行數據庫技術實現異構異源海量網絡數據的離線或在線運算，提高數據處理效率。利用大數據挖掘技術和人工智能技術對數據進行關聯分析和深度挖掘，從大量紛繁復雜的數據中找出規律性和發展趨勢，揭示出事物之間的關聯，提供決策建議。通過數據可視化技術將抽象的數據關系通過表現元素直觀地進行展示，并提供交互功能，提升服務品質。

3.4推進制定符合國情的網絡政策

網絡和信息安全牽涉到國家安全和社會穩定，是我們面臨的新的綜合性挑戰。從實踐看，面對互聯網技術和應用飛速發展，現行管理體制存在明顯弊端，主要是多頭管理、職能交叉、權責不一、效率不高。同時，隨著互聯網媒體屬性越來越強，網上媒體管理和產業管理遠遠跟不上形勢發展變化。特別是面對傳播快、影響大、覆蓋廣、社會動員能力強的微客、微信等社交網絡和即時通信工具用戶的快速增長，如何加強網絡法制建設和輿論引導，確保網絡信息傳播秩序、國家安全和社會穩定已經成為擺在我們面前的現實突出問題。

互聯網資源的采集、保存及后續利用均涉及大量法律問題，為保證有關工作合法有效地開展，有必要在借鑒國外立法經驗的基礎上，盡快修訂現行法規，明確賦予法定保存機構采集、保存互聯網資源的法定權利，推動構建我國網絡信息保存相關領域的政策保障體系。加大依法管理網絡力度，完善互聯網管理領導體制，形成從技術到內容、從日常安全到打擊犯罪的互聯網管理合力，確保網絡正確運用和安全。

3.5帶動技術與應用領域的創新體系建設

不難想象，互聯網信息的保存，數據資源量將是非常龐大的，并且這些數據的增長量也是非常驚人的。在這些海量數據的采集、整理和加工過程中，我們需要現有的基礎設施和技術做支撐，同時，面對如此龐大的數據規模，數據又是來自不同機構，結構各異，數據保存保護技術面臨著巨大挑戰，突破這些挑戰，也為技術的革新帶來了巨大動力。另一方面，海量數據量也為技術革新提供了數據支撐，具有很好的科研價值，也是其他商業機構或科研院所在數據規模上無法達到的。因此在建設中，需要實現相關技術、合作模式以及資源及工程管理策略方面的革新，從而適應海量分布式異構的互聯網信息的要求。

我們在實現互聯網信息的采集、組織加工和保存等基本流程后，還要利用已有的海量數據實現信息的增值，真正實現數據的價值。對這些數據進行有針對性的分析，便能產生意想不到的效果和用途。目前，大數據分析已經成為一大趨勢，用在了社會生活的各行各業，我們需要在采集、組織加工和保存的基礎上對信息進行有效管理，對不同行業的數據分析采用不同的管理策略，為信息分析提供數據支撐，從而為其他領域的行業創新提供新的思路。

3.6建設覆蓋全國的多層級網絡信息提供服務體系

充分利用網絡信息保存保護成果，以全面采集、組織和分析后的網絡數據信息面向社會各層級展開高水平、高保障的信息提供服務。

面向中央和國家領導機關的決策支持服務。網絡信息保存工作將高度重視海量網絡信息作為我國戰略性資源的重要性，著眼于國家信息安全與社會信息化建設的長遠發展，依托強大可靠的信息基礎設施和自主創新的關鍵性研發技術，在健全的法律規范體系下全面采集、保存和利用來自社會各領域的網絡信息數據，為中央和國家領導機關的發展規劃和重大政策制定等提供數據保障和智力支持。同時，通過基于網絡信息的數據整理和挖掘大力推進社會熱點問題及專題性信息資源庫的建設，加強網絡輿情匯集與分析，不斷增強網絡安全保障能力。

面向科研教育機構的學術研究服務。網絡信息保存工作將以重點科研生產單位、教育研究機構為服務對象，利用強大的資源信息優勢，建設和完善專業化、規模化、現代化的網絡資源儲備庫，加強科學研究性信息數據的收集整理，通過數據挖掘、關聯分析等加工處理，依據研究機構和用戶的不同需求有針對性地提供特色學術研究信息服務，與相關科研與教育機構形成合力，為社會進步和科技創新增添源動力。

面向社會大眾的信息檢索與揭示服務。網絡信息保存工作將在統一集中管理的基礎上，通過各類新興媒體形式提供一站式信息檢索與信息檢索平臺，以多領域、多維度的網絡信息內容向社會大眾提供豐富全面的歷史性和積累性網絡信息查詢與揭示服務。作為重要的數字文化遺產和日常信息傳播資源，網絡信息保存保護成果將以先進技術為支撐，在保障網絡和信息安全的前提下面向公眾提供精準權威的網絡信息發布結果，從而促進我國全民知識信息共享水平得到有效提升。

4　結語

互聯網被稱為20世紀人類最大的發明，不論你是否愿意，是否知道，每個人都已被網絡其中，在不知不覺中融入互聯網生態圈。在互聯網時代，圖書館信息資源生態也在發生巨變，一個嶄新的知識網絡環境已經產生，數字圖書館將抓住這一發展機遇，通過云計算、大數據技術對網絡信息進行采集、保存、管理與分析，從而在海量的網絡數據中發現其中蘊含的事物發展規律，發現新知識，創造新價值，提升新能力，進而為國家決策、經濟和社會發展提供支持，這將是數字圖書館的未來發展方向。

［1］December2015WebServerSurvey［EB/OL］.［2015－12－01］．http://news.netcraft.com/.

［2］CNNIC：2015年第36次中國互聯網絡發展狀況統計報告［EB/OL］.［2015－12－01］．http://www. cnnic.net.cn/hlwfzyj/hlwxzbg/.

［3］歐盟“地平線2020”計劃啟動加強基礎科學研究［EB/OL］.［2015－12－01］．http://www.chinanews. com/gj/2014/02-01/5801917.shtml.

［4］Historique de l'archivage du web à la BnF［EB/OL］.［2015－12－01］．http://www.bnf.fr/fr/professionnels/ archivage_web_bnf/a.depot_legal_internet_histoire.html.

［5］中共十八屆五中全會公報［EB/OL］.［2015－12－01］．http://news.163.com/15/1030/02/B7537G1T 00014AED.html.

［6］關于印發促進大數據發展行動綱要的通知［EB/ OL］.［2015－12－01］．http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.

［7］習近平與“十三五”十四大戰略：網絡強國戰略［EB/OL］.［2015－11－19］．http://www.chinanews. com/gn/2015/11-12/7618720.shtml.

［8］中共中央關于全面深化改革若干重大問題的決定［EB/OL］.［2015－11－01］．http://news.xinhuanet. com/2013-11/15/c_118164235.htm.

Thinking on the Preservation and Service of the National Digital Library Network Resources

Wei Da-wei，Zhang Wei

The national digital library,as a hub for the preservation of the cultural heritage of mankind and the dissemination of knowledge information,has been focused on the construction,management and utilization of the data.With the changes of the ecological environment in modern science and technology and the progress of human society,the national digital library begin to exist in value in the network information resources for effective conservation and utilization,so as to realize the data integration and innovation.

Digital Library;Network Resources;Conservation;Service

G250.73

A

1005－8214（2016）09－0038－04

魏大威（1976－），男，國家圖書館副館長、研究館員；張煒（1973－），女，國家圖書館研究館員。

2016－02－26［責任編輯］王崗

本文系國家社科基金項目“網絡信息采集與保存策略研究”（項目編號：15BTQ019）的成果之一。