如何提高房地產信息系統效率

文│花景新 山東城市建設職業學院研究員、博士生薄煜明 南京理工大學研究員，博士生導師陳志敏 南京理工大學博士生

如何提高房地產信息系統效率

文│花景新 山東城市建設職業學院研究員、博士生薄煜明 南京理工大學研究員，博士生導師陳志敏 南京理工大學博士生

房地產市場信息數據庫是由省級節點和地市級節點組成的分布式結構。

地市房地產市場信息前置數據庫主要為信息查詢服務，同時也作為房地產市場信息數據倉庫所需指標數據的數據來源；省級房地產市場信息數據庫主要是為監管監測以及數據倉庫服務的，它需要監管監測地市分支節點數據質量和服務質量；還要依據變化的決策分析需求動態地從地市房地產市場信息前置數據庫中采集決策分析所需的指標加載入數據倉庫，用以提供數據增值服務。

集中部署方式系統建設節省了各級之間的整合的工作，節省了建設時間，同時有利于數據統一，各節點的數據保持了較高的一致性，但是集中式部署加大了中心建設的難度，并且安全防范難度大，運行風險較大。分布式部署保持了各節點的業務獨立性，同時安全性較高，并且節省了中心的建設資金投入，但是分布式部署數據標準、格式等差距較大，很難滿足各種統計分析的需要。

針對以上問題，建議首先將分散在各市縣的房地產市場信息集合起來，形成全省房地產市場信息數據庫和數據倉庫。通過采用分布式云存儲技術來分布存儲方法，集中管理分散在市縣的業務數據資源，建立了全省房地產市場信息數據倉庫。從業務上，解決了地域分散、業務分理、行政分管帶來的實施障礙；技術上，解決了海量數據處理、負載均衡和數據快速膨脹引起的擴展性問題。在維護各市縣房產業務辦理部門的自主權力的同時，實現了數據的整合。

兩類信息系統部署方式

省級房地產市場信息數據庫和地市級房地產市場信息前置數據庫統一的數據采集規范為：存量數據因為數據量比較大，通過網絡傳輸效率低，為保證數據采集的速度，存量數據可一次性生成到前置庫中；非存量數據采集系統將采用周期性增量采集的方式進行采集。采集周期：為滿足數據實時性要求，采集系統對非存量數據的采集周期暫定為每半分鐘一次。增量數據的判斷：采集系統只采集已經辦結的業務數據，判斷是否是增量數據缺省將按照業務辦結的時間來判斷（將判斷是否增量的時間稱為“時間戳”）；并且要求辦理數據不能再更改。

包括兩類信息系統部署方式：大集中式部署和分散式部署。

大集中式部署即全省建立統一的業務系統、統一的業務數據庫，各節點（指各基本業務辦理單位，如市、縣的房產登記管理部門）通過網絡直接中心系統。

首先，該部署方式系統建設周期短。統一建立一個系統，供各節點集中辦理業務，省去了各級節點之間的整合的工作，節省了時間，提高了效率，大大縮短了建設周期；其次，采用集中式部署有利于數據統一。數據集中存儲和管理，數據標準和存儲方法一致，使各節點的數據保持了高度統一性，并且可以節約各節點的建設資金。在各節點還沒有建立自己的系統的情況下，把建設投資絕大部分放在了統一的中心，減少了各節點的系統建設資金的投入，同時能夠充分滿足各種數據使用的要求。數據集中在中心數據庫，方便滿足各種統計分析的要求，即使出現了新的統計分析要求時，也能方便地提供數據支持。

但是，信息大集中式部署加大了中心建設的難度。由于系統和數據統一到一個中心，增加了中心的負載，對中心的硬件、軟件、網絡建設都提出了很高的要求，同時，也加大了中心的技術維護難度和工作量，對技術人員的數量和技術水平提出了更高要求。因此，這一方式不適用業務量較大的地區；其次，該部署方式不利于保護已有的投資。

目前，全國大部分市、縣都已經建立了自己的系統，投入大量的資金，具備了很好的基礎。特別是發達及中等發達地區的市、縣的系統建設已達到了很高的水平。在這種情況下再搞一刀切，浪費了各市、縣的已有投資，再投巨資建立一個大中心，勢必造成資金浪費，并且難以適應各節點的不同業務需求。各地方的房產業務的實際情況、機構設置情況差別較大，并且越是經濟發達、政策完善的地區情況越復雜，很難用一套系統適應各種不同的情況。同時，集中式部署安全防范難度加大。眾多的節點用戶同時通過網絡使用一個平臺、一個數據庫，增加了數據、系統、網絡損毀和故障的風險，對整個系統的安全防護要求很高。

第二種是分散式部署。即將房地產市場各業務系統數據分散在節點（指各基本業務辦理單位，如市、縣的房產登記管理部門），業務數據也分散在各節點，個人住房信息查詢也由節點自行提供。節點只報送報表給上級部門，以滿足上級部門統計分析需求。

目前絕大多數省（自治區）均采用這一方式。分散式部署充分體現了各節點的業務獨立性。由于各節點的系統是獨立的，可以通過定向改進使系統更加符合本地的情況，充分滿足個性化需求。其安全性較高。

系統的應用和數據庫是在內網中的，與互聯網隔離，減少了安全危害，提高了系統的整體安全性，充分發揮了地方已有投資的作用。各節點的系統是獨立的，承載了絕大多數據的業務量，充分發揮了它的作用，是整個系統的重要組成部分；同時，分散式部署節省了中心的建設資金投入。由于中心系統的功能單一，只是滿足報表分析統計等簡單需要，所以對軟件、硬件及網絡要求很低，建設投資也很低。

但是，分散式部署不利于數據統一。各節點的系統是在不同條件下建立的，軟件類型、數據庫種類及關鍵技術等千差萬別，數據標準和存儲方法各異，使各節點上的數據統一性較差；各節點都要建立自己的系統，水平不一，條件懸殊，特別是歷史原因造成的數據標準不統一的實際情況下，必然會給全省數據共享、數據整合帶來阻力，也不便于管理和服務水平的提升，由此造成數據整合困難、管理困難，服務水平難以提升；同時，數據分散在各節點，標準不統一，關鍵技術不盡相同，各節點只是提供相對固定的報表，很難滿足各種統計分析的需要，特別是不能適應不斷變化的數據使用要求。

需改進存儲技術

在研究分析了以上兩種系統部署方法的優缺點之后，根據實際情況，各市、縣系統建設的基礎很好，全部設區城市和90%以上的縣（市、區）都建立了自己的系統，有6個設區城市列入國家房地產市場信息系統建設重點城市，有4個城市被評為全國優秀。考慮到大集中式部署沒有必要，而分散式部署的固有缺點又難以克服，所以我們結合了“大集中”和“分散式”的優缺點，采用“分布式存儲，集中管理”的部署方式，即數據分布式存儲，由省級平臺統一管理，建成一個物理分散、邏輯統一的虛擬全省房地產市場信息網。這樣既維護了各市縣房產業務辦理部門的自主權力，又實現了數據的整合。其主要特點有以下幾方面：

第一，能夠充分保護各節點已有投資，同時大幅降低中心建設的投資。業務管理系統及業務數據庫仍分散放在各業務節點，并保持獨立性。在不影響各節點原有業務系統運行的前提下，實現業務明細數據虛擬整合，滿足全省統一查詢要求；實現指標性數據實質整合，滿足全省數據決策分析及預警預報要求。在充分利用了各節點原有的投資，并不大幅度增加中心節點投資的情況下，實現了全省聯網和數據整合。

第二，業務上能夠保持各節點的獨立性，管理上能夠滿足省級監管和決策需求。不干涉各節點的管理系統及數據庫，使其仍保持現狀，避免了地方上的抵觸和防范心理，使聯網工作能夠開展的更加順利。部分指標數據集中到全省數據倉庫中，完全能夠滿足各種數據使用的要求。

第三，可有效地分散系統負載，充分發揮各節點基礎設施資源和人力資源優勢。

所以，我們創新式地采用了“分布式結構化云存儲技術”來建立全省房地產市場信息數據庫，并建立了基于云計算技術的省級房地產市場信息管理平臺來管理這些分布部署的數據庫，很好地解決了海量數據處理、負載均衡和數據快速膨脹引起的擴展性問題。

在結構化數據管理領域，人們已經習慣了采用關系型數據庫來建設信息系統，很少去評估數據庫的適用性，忽略了“圍繞數據的用途來決定數據的結構”這一基本原則。關系型數據庫也確實在結構化數據管理信息系統的建設中起到了重要的作用，其自身也得以高速發展。但在數據量快速膨脹的形勢下，關系數據庫處理數據的實時性不能得到有效地保證。

針對以上問題，我們采用分布式結構化云存儲技術（NOSQL），即非關系型數據庫技術，它是相對于關系型數據庫提出的。NOSQL在數據存儲方面具備龐大的水平擴展性（指能夠連接多個軟硬件的特性，這樣可以將多個服務器從邏輯上看成一個實體），可以處理超大量的數據。目前Google的BigTable和Amazon的Dynamo使用的就是NoSQL型數據庫。

NOSQL主要是為解決High performance -對數據庫高并發讀寫的需求； Huge Storage -對海量數據的高效率存儲和訪問的需求；High Scalability&&High Availability-對數據庫的高可擴展性和高可用性的需求而設計的。這也是本項目應用所面臨的問題。

研究發現，非關系型數據庫具有以下優勢：

第一，事務管理要求不高。關系型數據庫注重事務管理，在事務一致性管理方面建立了嚴格的管理體系，但事務也是導致數據庫實現復雜化、性能下降最主要的根源。事務管理對于業務管理系統是必須的，而房地產市場信息數據庫只要保證對單條記錄的更新是原子的即可。這樣可以避免為了支持事務所要考慮的串行化、事務的回滾、死鎖檢測等復雜問題的出現。

第二，不需要復雜的SQL查詢，特別是多表關聯查詢。房地產市場信息數據庫主要是為Web查詢和分析決策服務的，任何大數據量的Web系統，都非常忌諱多個大表的關聯查詢以及復雜的數據分析類型的復雜SQL報表查詢。不論從查詢還是分析決策的角度，適當的冗余都是必要的，特別是地市房地產市場信息前置庫，更多的只是單表的主鍵查詢以及單表的簡單條件分頁查詢。

第三，對數據庫的寫實時性和讀實時性要求不高。對關系數據庫來說，插入一條數據之后立刻查詢便可讀出來這條數據，但是對于房地產市場信息數據庫應用來說，并不要求這么高的實時性。

第四，可以提高數據庫的橫向擴展能力。對于房地產市場來說，數據量是與日俱增的，而關系型數據庫橫向擴展是很難的，沒有辦法簡單地通過添加更多的硬件和服務節點來擴展性能和負載能力，往往需要停機維護和數據遷移，而NOSQL則可以在不間斷服務的情況下輕松擴展，并且可以運行在便宜的PC服務器集群上。

房地產市場信息是個TB級的數據庫，每年還在以百G的速度迅速膨脹，關系數據庫SQL在數萬條記錄的表中檢索尚可正常工作，但當數據量繼續增大時，效率便會明顯降低。NOSQL不支持完全的關系數據模型，而是為客戶提供簡單的數據模型，讓客戶來動態控制數據的分布和格式，這樣能大幅度地提高訪問速度。

第五，擁有處理TB級甚至PB級海量數據的能力。房地產市場信息是個TB級的數據庫，每年還在以百G的速度迅速膨脹，關系數據庫SQL在數萬條記錄的表中檢索尚可正常工作，但當數據量繼續增大時，效率便會明顯降低。NOSQL不支持完全的關系數據模型，而是為客戶提供簡單的數據模型，讓客戶來動態控制數據的分布和格式，這樣能大幅度地提高訪問速度。

我們通過分析大集中式部署和分散式部署的缺點，通過對房地產信息數據庫的建庫過程、業務特征和使用需求的全面分析，并提出了改進分布式結構化云存儲技術（NOSQL），該技術使得房地產信息系統在充分利用了各節點原有的投資，并不大幅度增加中心節點投資的情況下，實現了全省聯網和數據整合，解決了海量數據處理、負載均衡和數據快速膨脹等典型問題。