基于“眾包”的扶貧大數據采集方案研究

曹健，李達，蔡忠亮，余謙

(1.武漢智圖科技有限責任公司，湖北 武漢 430200； 2.武漢大學資源與環境科學學院，湖北 武漢 430079)

1 引 言

“眾包”的概念于2006年在美國被首次提及，是指通過整合計算機和互聯網上未知的大眾來完成機器單獨難以處理的任務，從2009年開始，眾包得到了各個領域的廣泛關注，包括人機交互、信息檢索、機器學習、數據庫、人工智能、計算機理論等，已經逐漸成為一個新的研究熱點。隨著移動互聯技術的興起與流行，將眾包模式與移動互聯結合，應用于空間要素的獲取和更新領域，通過公眾參與形式快速獲取熱點信息、更新地理要素，可以低成本、快速地提供翔實、高效地理信息數據來源。

為全面貫徹黨中央國務院和湖北省委省政府的重大戰略部署，湖北省測繪地理信息局主動服務精準扶貧大局，圍繞“精準”二字，突出精準定位，整合專業數據，積極提供基于地理信息技術的精準服務，于2015年編印完成《湖北省精準扶貧作戰地圖》，2016年與省扶貧開發辦公室簽訂精準扶貧戰略合作框架協議，共同完成全省約300萬貧困戶的“精準扶貧、導航到戶”地理信息采集任務，并列入2016年基礎測繪項目。

精準扶貧是21世紀國家提出的落實全面建成小康社會發展目標的重要一步，而精準扶貧的重要依據是全國范圍內精準的貧困戶數據與信息的采集與統計。為快速響應和落實國家關于精準扶貧工作中貧困戶信息采集建庫工作要求，傳統外業信息采集模式無法滿足空間定位與導航到戶的應用需求，因此，探索基于移動測繪技術的現代信息化采集、生成與管理的新模式具有重要意義。而基于云和移動GIS技術，采用眾包模式的大眾參與式信息采集與專業人員審核生產管理的工作模式，克服了信息采集中采集目標及環境不了解、效率低下等問題，新模式可大大提高貧困戶信息采集、生產、管理的效率和質量。

2 數據采集的現狀

(1)傳統數據采集方式

傳統的數據采集方式由專業的數據采集人員，依據測量儀器或者移動采集設備進行數據采集。采用這種數據采集模式，需要投入大量的專業的數據采集人員，效率較低、成本較高，湖北省精準扶貧大數據采集的任務是在較短的時間內，完成約300萬貧困戶的基本信息、多媒體信息及精確地理數據的采集，采集任務重、內容多、精度要求高、時間要求緊，貧困戶所處地區以山地地貌居多、分布較散，山高路險、交通條件較差，所以采用傳統的采集方式很難在規定的時間內完成任務。

(2)“眾包”模式的采集方式

文獻[1]探討了基于眾包模式、采用移動互聯技術為主要手段的地理信息數據采集、更新流程機制與方式方法，文獻[2]提出基于眾包模式的POI數據采集思路，文獻[3]提出了一個基于移動計算技術的道路數據采集系統，文獻[4]提出了基于天地圖的POI數據采集思路，實現了POI數據的采集與動態更新，文獻[5]將眾包采集流程集成到災害信息管理中，提高了災害信息采集效率。文獻[6]介紹了基于Web平臺的志愿者地名地址數據采集方案，文獻[7]構建了一個百度眾測數據標注子系統，降低了數據生產成本，文獻[8]利用眾包模式，將非特定社會大眾引入到農業大數據采集中，能有效擴充數據采集隊伍。

“眾包”模式充分利用了人多力量大的特點，采用并發機制，來解決繁雜的任務。利用“大數據協同采集”的貧困戶地理信息采集模式，利用互聯網思維，發動全省各地數萬基層扶貧工作者，借助他們的地緣優勢，利用他們的手機設備，突破數據采集在專業、地理、時間上的限制，完成采集任務，實現數據實時上傳，多用戶共同協作，對大數據的存儲、處理、分析、可視化等功能的實現有極大的幫助。

3 數據采集流程

圖1 數據采集流程圖

(1)扶貧大數據采集

無須額外采購移動采集設備，采集軟件直接安裝到基層扶貧工作者的手機中，通過簡單培訓后即可進行扶貧數據的采集。到達貧困戶實地以后，進行貧困戶的定位并采集其位置信息、采集貧困戶的房屋照片等多媒體信息、錄入貧困戶的其他屬性信息并保存。

(2)數據傳輸

數據采集完成后，用戶可以將采集的數據傳輸至楚天云服務器，軟件提供兩種同步方式，即在線傳輸方式和無線傳輸方式：在網絡信號覆蓋地區，用戶可以直接將采集的數據傳輸至服務器；沒有網絡信號覆蓋的地區，用戶可以到有網絡覆蓋的地區利用網絡或者WiFi信號進行數據傳輸。鑒于楚天云在數據安全、效率的優勢，本方案采用楚天云服務器。

(3)數據審核同步

數據管理人員依據事先制定的規則，對傳輸回來的數據進行各種檢查，通過審核的數據直接同步到扶貧大數據數據庫中，未通過采集的數據則返回移動采集人員處修改，直至符合數據質量標準。

4 方案設計

4.1 總體架構設計

基于云環境下扶貧大數據的協同采集和傳輸模式，實現對扶貧數據采集系統的總體架構設計，如圖2所示，該架構中，所有的業務邏輯轉移到了服務器端，僅在客戶端保留視圖層，完成顯示和交互任務，降低客戶端的復雜度和維護難度。客戶端不直接訪問數據庫，通過引入中間的業務邏輯，實現數據的分布處理，加強了平臺的伸縮性，減少數據庫服務器的負載。

圖2 軟件總體架構圖

(1)數據服務層

包括基礎地理信息數據、扶貧專題數據等空間信息數據和其他的屬性數據，平臺根據業務需求定義數據結構，選擇基礎數據源和服務。數據服務層可通過服務接口直接與客戶端交互，也可經過服務器邏輯運算引擎，與其他關聯數據資料融合處理后，返回結果在客戶端展現。

(2)邏輯事務層

以Webservice方式公開的數據訪問接口，并通過Web服務器發布和管理各類接口方法，為移動終端訪問數據庫服務提供通道。主要由Web服務器、空間信息服務接口、服務器邏輯運算引擎組成，主要是響應移動客戶端的各種請求和查詢操作，并調用相關的空間信息服務實現。

(3)通訊網絡層

提供業務邏輯層和終端展現層的數據交互媒介。業務邏輯層的訪問接口在網絡上發布，iOS、Android等移動終端借助3G/WIFI/GPRS等無線網絡與Webservice訪問接口進行通訊。

(4)終端展現層

提供最終的人機交互界面，將業務邏輯層提供的各類數據進行最終的展現，終端設備采用移動智能設備，進行扶貧數據的采集、編輯、提交等；桌面端完成數據的檢查、同步，進行數據的統計分析等。

4.2 軟件功能設計

基于精準扶貧信息化的需求，實現了貧困戶信息精準采集、快速編輯、直觀可視化、核查巡檢導航到戶等功能，包含四個模塊：導航到戶模塊、信息采集模塊、數據管理模塊和統計應用模塊，主要功能如圖3所示。

圖3 軟件功能圖

導航到戶模塊和信息采集模塊包含在移動端的扶貧數據采集軟件中，數據管理模塊和統計應用模塊包含在扶貧桌面應用中。扶貧數據采集軟件分為安卓版和蘋果版，分別基于ArcGIS API for JavaScript和ArcGIS API for iOS進行開發，鑒于天地圖數據在不發達地區的數據優勢，數據采集的底圖調用天地圖的數據服務。實現了查詢、信息展示、定位、導航等功能。在信息采集模塊中，為防止采集人員偽造數據，采集軟件開發了保存貧困戶空間位置和采集人員運動軌跡的功能，實現了貧困戶各類信息的采集與錄入，并根據當時的網絡條件通過在線或離線的方式將數據上傳至楚天云服務器中。

數據管理模塊和統計應用模塊包含在桌面端應用系統中，數據管理模塊完成數據的下載、審核等功能，并將通過審核的數據同步到精準扶貧大數據庫中，審核未通過的數據返回移動采集端進行重新采集。統計應用模塊包含統計圖表、專題圖表制作和打印等功能。

5 實踐與結論

通過基于眾包的數據采集模式，開發了iOS和Android版的扶貧數據采集軟件，軟件的部分效果如圖4所示：

圖4 軟件效果圖

采集軟件廣泛應用于湖北省13個市州、98個縣市區扶貧辦， 1 131個鄉鎮、 25 763個村的扶貧工作人員，完成了300萬精準扶貧貧困戶的數據采集、檢查、校正、入庫工作。通過政府領導下的廣大基層扶貧工作人員作為志愿者進行扶貧地理信息采集與更新，圓滿完成了湖北省政府下達的數據采集任務，突破了數據采集在專業、地理、時間上的限制，減少專業人員的采集成本，提高了信息采集的效率，并完成采集數據的實時同步更新。該采集模式不僅在工期、花費上占優，且外業采集只需要一般工作人員經過簡單培訓，使用智能手機即可，不需要專業人員和專業設備，作業流程簡單，解決了短時間內難以組織大量的專業技術人員的問題。依據項目經驗，每個市同時開展，在全面開始采集時，單日采集人員可達到 1 000多采集人員，單日信息上傳峰值超過8萬條，相對于傳統的數據采集模式，提高采集效率約十倍，驗證了軟件系統的穩定性和方案的可行性，基于眾包的數據采集模式可以在類似數據采集任務中進行推廣。