城建檔案大數(shù)據(jù)分析平臺研究與設(shè)計

文｜ 住房和城鄉(xiāng)建設(shè)部科技與產(chǎn)業(yè)化發(fā)展中心 曹吉昌 /北京建筑大學 王佳儀

一、城建檔案大數(shù)據(jù)分析平臺建設(shè)的必要性

（一）執(zhí)行中央指示精神的需要

2014年，中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《關(guān)于加強和改進新形勢下檔案工作的意見》指出要加快推進傳統(tǒng)載體檔案數(shù)字化，從人力、財力、物力上統(tǒng)籌安排，切實推進檔案存儲數(shù)字化和利用網(wǎng)絡(luò)化，方便人民群眾利用檔案。2016年，國家檔案局印發(fā)的《全國檔案事業(yè)發(fā)展“十三五”規(guī)劃綱要》指出了到2020年初步實現(xiàn)以信息化為核心的檔案管理現(xiàn)代化的發(fā)展目標，全面推進檔案資源存量數(shù)字化、增量電子化、利用網(wǎng)絡(luò)化。

（二）適應(yīng)信息時代發(fā)展的需要

現(xiàn)如今，現(xiàn)代信息技術(shù)被廣泛應(yīng)用到各行各業(yè)，帶來了革命性變革，深刻影響著人們的生產(chǎn)生活方式。時代的發(fā)展與技術(shù)的進步也為城建檔案管理工作提供了絕佳的契機與條件，“科技興檔”，讓大數(shù)據(jù)、云計算等信息技術(shù)手段助力城建檔案管理工作，提高檔案工作效率，最大限度地實現(xiàn)城建檔案的價值。

（三）充分利用檔案資源的需要

城建檔案作為城市建設(shè)信息資源的載體，是城市規(guī)劃、建設(shè)、管理的重要依據(jù)。雖然傳統(tǒng)的城建檔案館保存著海量的城建數(shù)據(jù)，卻存在著數(shù)據(jù)不能被充分分析利用的情況，導(dǎo)致一條條承載了海量信息的“數(shù)據(jù)巨龍”仍然長眠于庫房中，借閱方式繁瑣、查詢不便、利用率低、管理效率低下，急需借助信息化、智能化手段將之“喚醒”，使城建檔案更好地為城市建設(shè)、社會發(fā)展服務(wù)。

二、城建檔案大數(shù)據(jù)分析平臺的功能設(shè)計

建設(shè)城建檔案大數(shù)據(jù)分析平臺，可以使城建檔案數(shù)據(jù)得到有效利用，采用大數(shù)據(jù)挖掘、分析技術(shù)，結(jié)合不同用戶群體的需求，通過量身定制分析模型，借助多種可視化組件，將分析結(jié)果以直觀的圖表方式進行展示，如圖1 所示。

（一）數(shù)據(jù)接入

平臺提供一套豐富的統(tǒng)一數(shù)據(jù)接入入口，支持各類常規(guī)的關(guān)系庫、Hadoop 提供的數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、外部導(dǎo)入數(shù)據(jù)（如excel、json、xml 等）以及流數(shù)據(jù)接入。

（二）數(shù)據(jù)預(yù)處理

圖1 檔案管理大數(shù)據(jù)平臺界面展示

平臺對于接入數(shù)據(jù)進行一系列的特征分析和加工處理，為后續(xù)數(shù)據(jù)分析與挖掘提供高質(zhì)量的數(shù)據(jù)。最初采集存儲的數(shù)據(jù)并不是十分完美的，其中可能含有大量的垃圾數(shù)據(jù)、錯誤數(shù)據(jù)、缺失數(shù)據(jù)、無法直接計算的數(shù)據(jù)，故需要對數(shù)據(jù)進行分析，并采取一些處理措施后才能進行后續(xù)分析。

1.數(shù)據(jù)采樣

通常可通過實驗測試來對學習器的泛化誤差進行評估并進而做出選擇，測試樣本是從樣本真實分布中獨立同分布抽樣而得，測試集應(yīng)該盡可能與訓(xùn)練集互斥，即測試樣本盡量不在訓(xùn)練集中出現(xiàn)，未在訓(xùn)練過程中使用。常用的采樣算法有：留出法(Hold-out)、交叉驗證法(cross validation)、自助法。

2.數(shù)據(jù)質(zhì)量分析

對于數(shù)據(jù)加工前，必然需要對數(shù)據(jù)的特性進行摸底了解，好在加工時選擇合適的算子。平臺提供了一套便捷的可視化分析套件，直接對數(shù)據(jù)進行多方位的視查。可以進行缺失值情況分析、離散值分析、連續(xù)值域分布分析、離群點分析等數(shù)據(jù)質(zhì)量分析。

3.數(shù)據(jù)加工算子

平臺提供一套加工算子，在作業(yè)管理中直接進行拖拉即可完成相關(guān)的運算。對于一些未采集全的數(shù)據(jù)，我們則通過相關(guān)字段進行初步預(yù)測。對于一些明顯偏離實際意義的數(shù)據(jù)，在送入計算前，進行排除，以防止對結(jié)果的干擾。

（三）BI 分析

城建檔案大數(shù)據(jù)分析平臺設(shè)計有BI 分析功能。通過儀表盤、靈活查詢、電子表格、多維分析、數(shù)據(jù)挖掘等方式，監(jiān)控關(guān)鍵指標，分析并掌控業(yè)務(wù)發(fā)展趨勢，保持與戰(zhàn)略的步調(diào)一致。儀表盤旨在讓用戶了解完整的業(yè)務(wù)活動，能夠以個性化的方式來監(jiān)控KPI、衡量KPI，管理預(yù)警和異常；靈活查詢平臺，可以滿足用戶在不需要復(fù)雜培訓(xùn)的條件下，能夠自己創(chuàng)建查詢報表、圖表；電子表格可滿足各種復(fù)雜格式的監(jiān)管報表、內(nèi)部管理報表的需求；基于多維分析技術(shù)，用戶可以從任意角度探察和分析以任何形式組合的數(shù)據(jù)；系統(tǒng)集合了大量數(shù)據(jù)挖掘的算法，支持多種挖掘模型，并提供圖形化的操作方式。

（四）數(shù)據(jù)碰撞分析

數(shù)據(jù)碰撞分析面向業(yè)務(wù)人員，提供便捷高效的可視化業(yè)務(wù)模型開發(fā)能力。所開發(fā)的模型主要是基于一個或多個數(shù)據(jù)源進行數(shù)據(jù)碰撞分析，最終計算得到業(yè)務(wù)人員期望的目的數(shù)據(jù)。數(shù)據(jù)能夠支持固化落地，便于其價值長期保留，并為進一步的數(shù)據(jù)分析提供基礎(chǔ)。

數(shù)據(jù)碰撞分析工具整體架構(gòu)基于大數(shù)據(jù)平臺運行，通過spark 計算完成分析并輸出結(jié)果，用于支撐應(yīng)用系統(tǒng)的數(shù)據(jù)展現(xiàn)。核心功能分為模型編排、模型執(zhí)行、模型共享、算子以及數(shù)據(jù)目錄，如圖2 所示。

三、業(yè)務(wù)分析模型

（一）面向檔案管理人員的分析模型

1.檔案資源數(shù)據(jù)統(tǒng)計

提供單一數(shù)據(jù)的統(tǒng)計分析功能，主要針對城建檔案的資源數(shù)量情況進行統(tǒng)計和分析，通過下述各類單一的數(shù)據(jù)統(tǒng)計結(jié)果，組合形成不同的分析決策主題，主要統(tǒng)計如下：文件數(shù)量的分類統(tǒng)計和分析、同類工程案卷數(shù)量的對比分析、現(xiàn)行權(quán)重文件產(chǎn)生量與歸檔量的對比分析、永久檔案與定期檔案數(shù)據(jù)的對比分析、不同類型載體檔案數(shù)量的對比分析、不同地域不同系統(tǒng)檔案移交量對比分析、不同時期檔案數(shù)量對比分析、不同密級檔案數(shù)量對比分析。上述8 項單一統(tǒng)計，皆可自由組合，根據(jù)需求形成組合性的統(tǒng)計報表，或者上述單一統(tǒng)計多項組合形成不同的業(yè)務(wù)應(yīng)用分析專題。

圖2 數(shù)據(jù)碰撞分析設(shè)計架構(gòu)

2.檔案資源質(zhì)量統(tǒng)計

主要是對館藏或者主管范圍內(nèi)的檔案質(zhì)量情況進行統(tǒng)計和分析，包括：檔案資源載體和信息完好度分析、檔案全文數(shù)據(jù)質(zhì)量分析、檔案縮微情況分析、檔案修復(fù)情況分析、檔案著錄情況分析、目錄數(shù)據(jù)庫情況分析等。

3.檔案數(shù)據(jù)分析應(yīng)用

通過上述“檔案資源數(shù)據(jù)統(tǒng)計”和“檔案資源質(zhì)量統(tǒng)計”等十多個類型單項或者組合統(tǒng)計，可以直接形成面向檔案館業(yè)務(wù)管理方面的分析應(yīng)用，包括：檔案資源的豐富度鑒定、數(shù)據(jù)質(zhì)量問題處理分析、可能存在的檔案資源分布點一覽、電子文件著錄和檔案目錄數(shù)據(jù)庫優(yōu)化、檔案質(zhì)量優(yōu)化分析、年度業(yè)務(wù)數(shù)據(jù)統(tǒng)計分析等。

（二）面向社會公眾的分析模型

面向社會公眾，平臺可進行檔案利用效益統(tǒng)計和分析，例如采集被搜索、被下載、被查閱的“案卷題名”“案卷類別”、文件相關(guān)的“主題詞”、聲像相關(guān)的“文件題名”等，統(tǒng)計查詢、下載、搜索的次數(shù)，為社會公眾搜索檔案提供方便。還可以進行檔案檢索效率統(tǒng)計分析，例如針對某類檔案資源在某一特定時間內(nèi)檢索次數(shù)和頻率較高的情況，在這一時間階段內(nèi)優(yōu)化該類數(shù)據(jù)資源的檢索效率。此外，該平臺還可以預(yù)測檔案利用趨勢，例如對每年的熱點（如人大會議、抗日紀念等）會涉及的檔案數(shù)據(jù)需求量進行預(yù)算，精確定向生成相關(guān)數(shù)據(jù)利用熱點和趨勢分析，并具備提供相應(yīng)檔案數(shù)據(jù)的能力。

（三）面向從業(yè)主體的分析模型

面向建設(shè)單位，平臺可以根據(jù)業(yè)績擇優(yōu)推送單位（機構(gòu)），驗證核實中標單位，預(yù)測分析工期等。面向勘察單位，平臺提供已建建筑的改擴建項目的勘察及設(shè)計、項目地塊周邊地址分析等，勘察單位通過參考以前工程的勘測報告，可以為今后的項目地勘提供數(shù)據(jù)經(jīng)驗。面向設(shè)計單位，平臺提供快速設(shè)計模型參考、設(shè)計影響數(shù)據(jù)分析、質(zhì)量維護保養(yǎng)信息等。面向施工單位，平臺提供工期規(guī)模和工期預(yù)測分析、投標策略分析、現(xiàn)場設(shè)備材料核實分析、施工問題輔助方案等。面向監(jiān)理單位，平臺提供企業(yè)資質(zhì)業(yè)績核實、施工問題輔助方案等。

（四）面向主管部門的分析模型

面向主管部門，平臺提供從業(yè)主體數(shù)據(jù)統(tǒng)計、項目工程數(shù)據(jù)分析、誠信數(shù)據(jù)比對分析、項目全生命周期監(jiān)管、綜合性決策分析等分析模型。從業(yè)主體數(shù)據(jù)統(tǒng)計主要實現(xiàn)數(shù)據(jù)匯總、主體類型占比和地域分項統(tǒng)計數(shù)據(jù)等信息；工程項目數(shù)據(jù)分析，通過大數(shù)據(jù)分析系統(tǒng)匯總各類項目數(shù)量、金額、標段數(shù)等，通過數(shù)據(jù)圖表方式進行展示；誠信數(shù)據(jù)比對分析，按照不同的企業(yè)類型進行分析排名統(tǒng)計，并形成均分進行比對，為領(lǐng)導(dǎo)決策提供匯總結(jié)果；項目全生命周期監(jiān)管，整合建筑市場各業(yè)務(wù)節(jié)點現(xiàn)有數(shù)據(jù)及信息資源，通過有效的數(shù)據(jù)串聯(lián)關(guān)系，記錄工程項目從市場到現(xiàn)場所有業(yè)務(wù)環(huán)節(jié)中的行為與表現(xiàn)，并在平臺中進行立體和形象化的展示；綜合性決策分析，系統(tǒng)提供統(tǒng)計業(yè)務(wù)執(zhí)行過程中的異常情況，并按各年度各月份進行顯示，為監(jiān)管部門綜合性決策提供參考。

四、結(jié)語

城建檔案在城市規(guī)劃建設(shè)中發(fā)揮著重要的指導(dǎo)作用，它記載了城市建設(shè)的過去，也能影響城市可持續(xù)發(fā)展的未來，利用好城建檔案可以少走彎路，避免資源浪費，助力科學決策。在大數(shù)據(jù)時代背景下，建設(shè)城建檔案大數(shù)據(jù)分析平臺可以改變傳統(tǒng)的檔案接收管理模式，提高檔案利用率，推進城建檔案數(shù)字化的進程，使城建檔案更好地為人民服務(wù)，對城市規(guī)劃建設(shè)乃至社會的發(fā)展都有著長遠而積極的影響。