基于網(wǎng)絡爬蟲的住宅型房地產(chǎn)評估測評系統(tǒng)

陳思宏 劉紫儀

[摘 要] 針對傳統(tǒng)房地產(chǎn)評估行業(yè)存在的問題構建了新的流程優(yōu)化方案，基于該流程方案設計了利用python網(wǎng)絡爬蟲獲取互聯(lián)網(wǎng)大量住宅型房地產(chǎn)數(shù)據(jù)的測評系統(tǒng)。同時闡述了該測評系統(tǒng)通過大數(shù)據(jù)和資產(chǎn)評估市場法得出比準價格，該價格作為依據(jù)為評估師的執(zhí)業(yè)結果進行判斷評分，有助于降低評估誤差，進一步規(guī)范評估市場。

[關鍵詞] python爬蟲;住宅型房地產(chǎn)評估測評系統(tǒng);評估價值測評

[中圖分類號] F293.33[文獻標識碼] A[文章編號] 1009-6043（2020）05-0139-03

一、引言

在傳統(tǒng)房產(chǎn)評估過程中，委托方和評估機構可能會存在利益共謀，從而損害第三方利益。單個評估企業(yè)對資產(chǎn)評估所得到的結果也難免存在失誤。如果評估公司的評估結果與委托方預期差距較大時，委托方會選擇重復評估，浪費人力和物力。這些問題都不利于評估行業(yè)的健康發(fā)展。

隨著大數(shù)據(jù)時代的到來，評估行業(yè)如何在大數(shù)據(jù)環(huán)境下獲得所需要的評估數(shù)據(jù)變得日益重要。近年來，我國資產(chǎn)評估行業(yè)努力推進評估行業(yè)大數(shù)據(jù)建設，很多學者積極探索資產(chǎn)評估信息化。吳穎（2016）認為房地產(chǎn)的三種評估方法由于過分依賴資產(chǎn)評估師的經(jīng)驗，從而對評估結果的公信力存在一定的影響。鑒于此，本文引入第三方監(jiān)督機構，借助房地產(chǎn)價值評估測評系統(tǒng)，提高評估結果的準確性和評估行業(yè)的公信力。胡蘭，段禾青（2018）提出了在資產(chǎn)評估行業(yè)利用大數(shù)據(jù)與云計算相結合，用以彌補分析階段人工信息處理出錯的可能，并提出構建評估大數(shù)據(jù)智能化平臺，不足之處在于尚未闡述如何構建評估大數(shù)據(jù)智能化平臺以及如何獲得平臺的數(shù)據(jù)。為了彌補這一不足，本文融合政府、房產(chǎn)交易市場、互聯(lián)網(wǎng)和財務軟件四個層面數(shù)據(jù)來源，經(jīng)過數(shù)據(jù)清洗后組成了數(shù)據(jù)倉庫，為構建評估大數(shù)據(jù)智能化平臺提供了思路。董睿琳，董楠（2019）提出了利用網(wǎng)絡爬蟲技術獲取數(shù)據(jù)資源和利用大數(shù)據(jù)進行自動估價系統(tǒng)。在此基礎上本文提出了利用python構建網(wǎng)絡爬蟲以及如何利用爬蟲獲取數(shù)據(jù)、獲取互聯(lián)網(wǎng)上哪部分數(shù)據(jù)等內(nèi)容，以實現(xiàn)快速、高效、大面積的爬取數(shù)據(jù)。

本文利用基于python的網(wǎng)絡爬蟲技術將互聯(lián)網(wǎng)大數(shù)據(jù)資源與住宅型房地產(chǎn)價值評估測評系統(tǒng)結合，自動進行分析計算，為評估結果提供了一定的參考依據(jù)，有助于降低評估誤差，進一步規(guī)范了評估市場。

二、評估流程優(yōu)化

住宅型房地產(chǎn)評估流程優(yōu)化是指轉(zhuǎn)變傳統(tǒng)價值評估觀念，引入獨立的第三方監(jiān)督機構，利用大數(shù)據(jù)技術介入結果檢查，同時管理評估行業(yè)的信用評級，從信譽方面把控評估公司的評估資質(zhì)，淘汰掉不符合要求的評估公司，促進市場的良性競爭。監(jiān)管部門的引入，不僅保證了評估結果的可靠性，還可降低評估風險，減少重復評估對資源的浪費，有利促進評估行業(yè)的發(fā)展。

委托方在市場上發(fā)布評估需求，以公開招標的形式吸引合格的評估公司，并依據(jù)評估公司信譽評級進行業(yè)務委托。監(jiān)管部門對評估公司評估過程介入監(jiān)管，首先對資產(chǎn)評估師現(xiàn)場采集的照片及底稿進行審計審核，若審核不符合要求則對評估公司進行評級扣分，若信息無誤則將數(shù)據(jù)錄入測評系統(tǒng)中進行下一步的分析。測評系統(tǒng)的分析階段利用市場法、收益法或成本法對數(shù)據(jù)進行處理，得出比準價格，并將其與評估公司的結果進行比較，若評估公司的結果與該價格偏離度較低，說明評估公司評估質(zhì)量良好，委托方可接受該結果無需重復評估。最后監(jiān)管部門會依據(jù)結果的準確性對評估公司信譽進行評分，并更新公司信譽評級。該信譽將會影響委托方對評估公司的選擇。

三、住宅型房地產(chǎn)評估測評系統(tǒng)設計

依據(jù)評估房產(chǎn)優(yōu)化后的流程設計針對監(jiān)管方的測評系統(tǒng)。該系統(tǒng)特色之處在于數(shù)據(jù)采集除利用財務報表等結構化數(shù)據(jù)外，還通過基于python的網(wǎng)絡爬蟲技術采集互聯(lián)網(wǎng)上龐大的非結構數(shù)據(jù)信息。系統(tǒng)采集的基礎數(shù)據(jù)是房產(chǎn)評估的整體依據(jù)，因此本系統(tǒng)利用互聯(lián)網(wǎng)大數(shù)據(jù)資源，全面的獲取住宅型房地產(chǎn)行業(yè)的數(shù)據(jù)信息，有助于提高評估公正性和真實性。

住宅型房地產(chǎn)價值評估測評系統(tǒng)擁有三個功能模塊：數(shù)據(jù)采集、價值評估以及信譽反饋，下面分別對其進行介紹。

（一）基于網(wǎng)絡爬蟲的數(shù)據(jù)采集

下面將對數(shù)據(jù)的主要來源進行闡述，并利用python語言設計網(wǎng)絡爬蟲對住宅型房地產(chǎn)的基本信息進行抓取。

1.數(shù)據(jù)采集來源

數(shù)據(jù)的獲取主要來自以下幾個方面：

（1）政府層面信息來源。獲取資產(chǎn)評估協(xié)會發(fā)布的行業(yè)指導、評估案例，以及政府部門在相關網(wǎng)站上發(fā)布的相關評估標準、細則，如土地級別圖、基準地價表等，這是利用基準地價系數(shù)修正法得到評估范圍的前提。

（2）從房地產(chǎn)中介獲取數(shù)據(jù)信息。房地產(chǎn)中介掌握大量的買賣雙方的交易信息，因此能夠很好地反映市場需求和房地產(chǎn)價格，為測評系統(tǒng)的價值評估范圍提供較大的參考依據(jù)。

（3）財務報表數(shù)據(jù)。在使用收益法對房地產(chǎn)進行評估時，需要利用財務報表的相關信息。使用企業(yè)普及度較高的財務軟件，可實現(xiàn)對財務報表數(shù)據(jù)的收集。

（4）運用爬蟲獲取網(wǎng)頁數(shù)據(jù)。互聯(lián)網(wǎng)是一個巨大的信息庫，它提供了實時、快捷的海量信息。基于python技術的網(wǎng)絡爬蟲能夠穩(wěn)定高效的從大型網(wǎng)站中進行大規(guī)模的數(shù)據(jù)爬取，為得出評估價值區(qū)間提供保障。

通過上述四種主要渠道獲取并存儲數(shù)據(jù)，利用數(shù)據(jù)倉庫加工這些異構的數(shù)據(jù)源，消除掉數(shù)據(jù)源中的不一致，最終得到一個數(shù)據(jù)源的有效集成，從而構建一個包含完整數(shù)據(jù)信息的評估大數(shù)據(jù)智能化平臺。

網(wǎng)頁下存在的大量非結構數(shù)據(jù)信息雖然價值高，但因數(shù)量龐大、結構復雜而采集較為困難，因此下面主要介紹利用網(wǎng)絡爬蟲技術獲取互聯(lián)網(wǎng)下房產(chǎn)市場上大量數(shù)據(jù)的過程。

2.網(wǎng)絡爬蟲爬取互聯(lián)網(wǎng)數(shù)據(jù)資源

本系統(tǒng)設計數(shù)據(jù)采集模塊，通過python的語言編寫網(wǎng)絡爬蟲，抓取的內(nèi)容包括：

（1）互聯(lián)網(wǎng)上的住宅房地產(chǎn)信息。具體包括某一地區(qū)房產(chǎn)位置、交易價格、建筑面積、房屋戶型、裝修情況、產(chǎn)權年限、所在樓層、戶型結構、建筑類型、建筑結構、配套電梯等。

（2）政府部門在相關網(wǎng)站上發(fā)布的相關評估標準、細則。

由于互聯(lián)網(wǎng)上的房產(chǎn)數(shù)據(jù)內(nèi)容龐大，并且信息往往不集中，數(shù)據(jù)的獲取存在一定的難度，因此下面主要闡述從互聯(lián)網(wǎng)上獲取的房地產(chǎn)基本信息。

首先系統(tǒng)根據(jù)一定的網(wǎng)頁分析算法過濾掉與住宅型房地產(chǎn)主題無關的鏈接，保留有用的鏈接，然后對這些連接下的網(wǎng)頁進行下載并對網(wǎng)頁結構進行分析，最后利用一定的算法獲取網(wǎng)頁下的房產(chǎn)基本信息并完成數(shù)據(jù)存儲。

以鏈家房地產(chǎn)網(wǎng)站為例，在該網(wǎng)站搜索某市住房信息，可得到該市不同地區(qū)住房情況，點擊具體某一房源，在二級網(wǎng)站中查閱到該房源詳細的信息，因此需要獲取的房產(chǎn)詳細信息存儲在二級界面中。對房地產(chǎn)網(wǎng)站進行元素審查發(fā)現(xiàn)，首先需要對主頁面進行爬蟲設計，對該主網(wǎng)站樹形結構下載后進行DOM樹遍歷，并利用正則表達式提取其中包含的二級網(wǎng)站url。對于抓取到的第二層網(wǎng)站鏈接，繼續(xù)對其網(wǎng)頁結構進行分析，確認好需要的數(shù)據(jù)所存在的位置后，對該網(wǎng)頁下的房產(chǎn)基本信息解析和數(shù)據(jù)的提取，最后將抓取到的信息經(jīng)過數(shù)據(jù)清洗，刪除掉一些空行、錯誤的數(shù)據(jù)后保存在數(shù)據(jù)庫中，以保證數(shù)據(jù)的有效性和可用性。二級鏈接中的數(shù)據(jù)可以讓采集到的數(shù)據(jù)更加充實完善，從而提高資產(chǎn)評估的準確性。

（二）基于市場法的價值評估

由于大數(shù)據(jù)資產(chǎn)的交易市場越來越活躍，市場法評估大數(shù)據(jù)資產(chǎn)價值具有明顯優(yōu)勢，因此下面主要介紹利用市場法得出住宅型房地產(chǎn)的比準價格。

在基于網(wǎng)絡爬蟲的數(shù)據(jù)采集模塊中，網(wǎng)絡爬蟲已將從互聯(lián)網(wǎng)上爬取到的大數(shù)據(jù)信息存入數(shù)據(jù)庫，方便后續(xù)數(shù)據(jù)的查詢與調(diào)用。對評估人員現(xiàn)場勘察記錄底稿進行審計后，將住房基礎數(shù)據(jù)錄入測評系統(tǒng)中。錄入的基礎數(shù)據(jù)是測評系統(tǒng)分析匹配相似房地產(chǎn)的基礎。測評系統(tǒng)通過對錄入的數(shù)據(jù)進行模糊查詢，從數(shù)據(jù)庫中調(diào)用出全部與目標房產(chǎn)具有相似度的樓房參照物，利用計算機內(nèi)部算法對參照物屬性進行區(qū)域修正和個別因素修正等計算后，根據(jù)參照物的相應權重，采用加權平均法計算得出評估對象的比準價格。該測評系統(tǒng)在分析階段還可以與評估專家模塊相結合，利用其包含的專業(yè)知識解決在分析房地產(chǎn)價值的過程中存在的特殊、專業(yè)性的問題，有利于提高評估的規(guī)范性和工作效率，降低業(yè)務成本。

大數(shù)據(jù)數(shù)據(jù)庫的優(yōu)勢在于可以將全部既有較高相似度的房產(chǎn)數(shù)據(jù)匹配出來進行計算，彌補了因人工精力有限，難以對全部具有相似屬性的房產(chǎn)進行因素修正的缺陷。最后對結果求取加權平均值計算得出的結果區(qū)間。與人工相比利用大數(shù)據(jù)信息化所得到的結果正確率與準確性更高。

另外，由于大數(shù)據(jù)常與可視化工具組合完成對相關數(shù)據(jù)的分析，因此還可利用本系統(tǒng)中存在的房地產(chǎn)大數(shù)據(jù)進行可視化分析，通過對可視化的分析結果進行觀察，可以發(fā)現(xiàn)評估行業(yè)中普遍存在的問題，對政府的決策、評估政策的制定等都具有一定的幫助作用。

（三）信譽反饋

評估測評系統(tǒng)的信譽反饋機制是指利用系統(tǒng)價值評估階段計算得到的比準價格與評估公司報告中的評估結果進行比較，根據(jù)偏離度對評估公司進行打分。若評估結果符合比準價格或與比準價格偏離度較小，則說明評估公司的評估結果與該系統(tǒng)差異度較小，準確度較高，該公司展開評估工作較為有效，委托方可放心使用該評估結果無需重復評估。若評估結果與該比準價格偏離度較大，說明該公司的評估結果可信度較低，則監(jiān)管部門應該對該公司的信用評級進行扣分。由于委托方對評估公司的委托主要依據(jù)該公司評估的信用評級，當公司的信用評級降低到一定程度后，該公司將會失去大部分的評估市場，只能通過降低服務價格或提高評估質(zhì)量來轉(zhuǎn)型，否則將會被市場淘汰。這一定程度上幫助市場篩選掉不符合要求的公司，從而促進評估產(chǎn)業(yè)的可持續(xù)發(fā)展。

綜上，針對監(jiān)管部門的住宅型房地產(chǎn)價值評估測評系統(tǒng)的設計，利用互聯(lián)網(wǎng)與大數(shù)據(jù)技術相結合，通過網(wǎng)絡爬蟲獲得的數(shù)據(jù)為后續(xù)分析打下了基礎，使得價值評估階段擁有價值較高的參考依據(jù)。計算機相較人工能夠處理更多的數(shù)據(jù)信息，得出的評估價格更精確，從而為評估公司的結果提供了參考依據(jù)。

[參考文獻]

[1]劉琦，童洋，魏永長，等.市場法評估大數(shù)據(jù)資產(chǎn)的應用[J].中國資產(chǎn)評估，2016（11）：33-37.

[2]陳偉，孫夢蝶.基于網(wǎng)絡爬蟲技術的大數(shù)據(jù)審計方法研究[J].中國注冊會計師，2018（14）：76-79.

[3]周云.一種基于大數(shù)據(jù)的品牌資產(chǎn)評估方法及系統(tǒng)[P].權力要求書，2016.

[4]胡蘭，段禾青.大數(shù)據(jù)時代資產(chǎn)評估行業(yè)現(xiàn)狀及發(fā)展分析[J].綠色科技，2018（23）：41-42.

[5]董睿琳，董楠.基于房地產(chǎn)大數(shù)據(jù)的自動股價系統(tǒng)研究[J].智能計算機與應用，2019，9（3）：276-280.

[6]姜楠，王景升.資產(chǎn)評估[M].大連：東北財經(jīng)大學出版社，2018：94-112.

[責任編輯：王鳳娟]