基于云計算的寧波市民生檔案共享應用平臺開發初探

陳 霄/寧波市檔案局

數字化時代，建設寧波市民生檔案共享平臺，能夠創新民生檔案工作的工作模式與工作理念，提高民生檔案資源的共建共享水平，提升檔案部門的公共服務能力，提高公眾滿意度。利用云計算技術建設民生檔案共享平臺，需依照軟件系統生命周期推進，即從系統設計到后期維護，要按照結構化、流程化的方式定義各個階段。平臺建設可采用瀑布模型，從計劃、分析、設計、開發、測試、實施與維護等七個階段依次展開。

1 平臺的計劃

制定計劃時需明確平臺界線，應明確平臺建設范圍為寧波大市區域，以實現市本級與市屬縣（市、區）檔案部門的聯動，以及市檔案系統與市民生檔案形成部門的相互配合，在此基礎上實現民生檔案共享，提高民生檔案服務水平。本環節需要制定平臺建設詳細的項目方案，以甘特圖為例，可設置7個主任務，每個主任務設置二級任務，二級任務下設任務明細，明確平臺建設各個階段涉及的工作、工作責任部門與責任人、需要配合的資源、工作預估時間，等等。

2 平臺的分析

平臺的分析包括用戶需求分析、平臺參與者需求分析和需求說明書編制。用戶需求是平臺的核心內容，用戶需求分析包含3個任務明細：其一，從公眾視角出發編寫調研方案，需要注意針對不同人群采取不同調研方式，同時還要設計問卷表、設計實地走訪大綱、設計在線征集方案、設計專家需求意見提綱，并明確工作時限及工作目標。其二，需求收集，指派工作人員根據調研方案分批進行收集工作。其三，整理用戶需求，用戶對民生檔案共享利用的需求主要體現為一站式查詢、獲取相關的其他各類民生檔案、簡化檔案利用手續、支持多種方式獲取民生檔案信息等。

平臺參與者包含市檔案館、縣（市、區）檔案館、民生檔案形成單位和政務云管理單位，平臺參與者需求分析包含6個任務明細：第一，編寫調研方案；第二，收集市檔案館需求；第三，收集縣（市、區）檔案館需求；第四，收集民生檔案形成單位需求；第五，收集政務云管理單位需求；第六，進行需求整理。此階段的重點是明確市檔案館與縣（市、區）檔案館間的互聯工作，以及各民生系統與共享平臺間接口、平臺與政務云的銜接工作等。

在編寫需求說明書階段，要根據需求重要程度和項目開發順序，將獲得的需求進行歸集和排序，并依據軟件開發規范進行編寫，確保說明書的內容盡可能詳盡。

3 平臺的設計

設計的核心內容是將用戶以自然語言為主提出的需求說明書與平臺建設時系統能理解的技術性語言進行聯系。在這一環節，需將云計算開發技術與需求說明書相結合。設計環節主要工作包括概要設計、概要評審和詳細設計，其中，概要設計包含選定可行方案、編寫可行性設計方案書；概要評審即組織專家召開專家評審會，對編寫的概要設計書進行評審；詳細設計包含平臺整體設計，分為平臺框架設計及平臺模塊設計。

4 平臺的開發

首先，為提高軟件開發規范性，需要對合作的開發商進行資質限定，應要求開發商具備較強的軟件過程控制能力，以降低軟件開發風險。其次，可采用Hadoop云計算框架。Hadoop是一套開源框架，其模型簡單、易于理解、易于使用，它主要分分布式存儲和分布式計算這兩個層次，含DHFS分布式文件系統、MapReduce分布式云計算技術、Common公共組件、Yarn分布式操作系統四大模塊等。

其中，DHFS分布式文件系統采用主服務器（Master）附屬服務器（Slave）進行構建，能夠提供具有較高擴展性、可靠性、容錯性的分布式存儲服務，它適應當前民生檔案分散保存于各個民生檔案形成單位及各級檔案館的現狀，有利于實現民生檔案信息的統一管理。在本次平臺開發過程中，可以在寧波市檔案局搭建一臺主服務器，并在屬于建設范圍內的民生檔案形成單位和縣（市、區）檔案館設立若干附屬服務器。服務器可采用虛擬服務器的模式，便于附屬服務器的增減，使平臺具有更強的靈活性。市檔案局主服務器可作為管理文件系統的命名節點（Name Node）和管理命名空間（Namespace），并協調客戶端的訪問；附屬服務器可作為數據節點（Data Node），保存由主服務器分配的數據。在平臺開發過程中除利用DHFS基礎的分布式存儲功能外，還可使用其安全保障技術，通過用戶和文件級認證、機器和服務級認證的方式，為民生檔案數據提供強有力的安全保障。

Yarn分布式操作系統主要提供管理服務器集群的計算資源，如中央處理器（CPU）資源和內存（Memory）資源，以及提供客戶端訪問系統的接口（API）。其結構與HDFS的主服務器（Master）附屬服務器（Slave）體系類似，并能夠將資源管理與任務調度拆分。

MapReduce是發揮并行處理能力的核心算法，需要使用Yarn進行資源調度。開展民生檔案共享工作需要從海量民生檔案數據中迅速找到所需的檔案，然而這并非易事。MapReduce給出了一種解決途徑，它分為映射（Map）過程和歸約（Reduce）過程，其中，Map對一部分原始民生檔案數據進行指定操作，不同Map間沒有交集，這使得它們可以在Yarn系統中并行操作；Reduce對每個Map部分中間結果進行合并操作，且每個Reduce處理的內容互不重疊，這使得Reduce也可并行操作，最后只需將所有Reduce產生的結果進行連接即可。這樣可充分利用云計算的計算能力，在較短時間內完成分布式民生檔案數據查詢工作。服務的響應時間是民生檔案共享的關鍵所在，當公眾發起民生檔案利用請求時，MapReduce算法能大幅提高服務效率，滿足公眾的并發搜索請求。

再次，民生檔案共享平臺應用模塊開發主要包括民生檔案數據管理、同步共享管理、共享服務管理三大模塊的開發。其中，民生檔案數據管理關注非結構化的、以圖像數據為主的民生檔案的管理、查詢、計算、存儲。運用非結構化及關系型數據庫的協同，搭建完整的數據平臺，以民生檔案數據驅動共享服務。管理應用需包含民生檔案數據采集、數據整理、數據管理等基本功能。應用民生檔案同步共享，適合采用云爆發架構的彈性擴展，建立動態的擴展形式，民生檔案上傳虛擬服務器時，若上傳的資源到達預設的閾值，民生檔案共享云會自動調配內部IT資源擴展（爆發）到檔案云中，當不再需要時，將該IT資源歸還到原先內部環境中。此外，可利用云計算和分布式計算特性，在民生檔案同步共享過程中對計算資源、存儲資源進行協同分配，降低工作峰值時云環境的壓力，提高服務效率和服務質量，提升公眾滿意度。

5 平臺的測試

測試的目的是確保民生檔案共享平臺正常運行，滿足業務需求。未經嚴格測試的軟件產品，往往會在用戶使用中出現各種問題，甚至會發生系統崩潰的問題，嚴重影響用戶體驗和用戶數據安全。在測試工作中，需要定義一系列細化內容，這些內容應涵蓋平臺從底層到頁面所展現的方方面面。測試按照用戶實際應用中的流程環節進行，即模擬現實場景，對流程中所有功能點進行測試用例的編寫，并將這些測試用例匯集成測試手冊，再根據測試手冊安排相應測試工程師對整個平臺按步驟進行詳細測試。平臺測試按照方式的不同，可分為單元測試、系統測試、集成測試。

6 平臺的實施

平臺的實施即發布民生檔案共享平臺，讓所有參與者使用。平臺的實施可采用試運行加正式運行的方式，分為用戶使用說明書編寫、平臺宣傳、業務培訓、平臺試運行和正式運行等步驟。在用戶使用說明書編寫階段，開發商會同檔案管理部門，以參與者的視角編寫說明書。以查閱民生檔案的公眾視角為例，說明書應以開發設計階段形成的用戶需求為導向，使用簡潔易懂的文字，并輔以圖表，描述系統使用過程，編寫用戶說明書。在平臺宣傳階段，通過門戶網站、電視、期刊、微信、微博等方式對民生檔案共享平臺進行宣傳，讓更多公眾了解這項服務，并主動參與進來。業務培訓分為系統用戶業務培訓和普通公眾業務使用宣傳，前者以培訓班的模式安排固定的培訓時間和地點，進行系統教學；后者以視頻短片和網上互動的方式向公眾宣傳平臺，并展示平臺的使用方法。平臺在試運行時，可在一定范圍內試用系統的部分典型功能，在此過程中發現問題并加以改進，達到完善各項系統功能、使系統功能更加簡潔和更加人性化的目的。平臺正式運行標志著民生檔案共享平臺正式上線，能夠為相關部門和公眾提供服務。

7 平臺的維護

維護是保持系統生命力的重要手段，要通過系統維護保證平臺的安全運行，同時還要隨著業務的變化及時調整維護的方式與手段。

參考文獻：

[1]萬波，李世祥.基于云計算的數字檔案館建設探討 [J].蘭臺世界，2012，(23)：23-24.

[2]張鳳武.基于云計算的檔案管理服務創新[J].檔案與建設，2013，(08)：28-29.

[3]程結晶.云技術中數字檔案資源共享與管理體系的構建 [J].檔案學研究，2013，(01)：38-41.

[4]ICA Study n ° 8： Guide for Managing electronic records from an archival perspective.[EB/OL].[2011.09].http：//www.ica.org/10824/studiesand-case-studies/.

[5]懷特.hadoop權威指南[M].華東師范大學數據科學與工程學院，譯.北京：清華大學出版社，2015.