基于WiFi數據的實時高效定位分析系統設計

韓萍 王浩 方澄 牛勇鋼 賈云飛

摘? 要： 近年來很多室內定位技術被提出，但是大多數技術都是重點研究怎樣提高定位精準度，卻忽略了系統處理海量數據的穩定性、實時性和高效性。特別是在機場高峰時段和大面積航班延誤情況下，大量旅客聚集在航站樓產生了海量WiFi數據，導致傳統的數據處理架構出現處理數據不及時、統計實時性差、穩定性差的問題。針對該問題設計一種高吞吐、低延遲的分布式實時數據處理架構。該架構使用消息中間件、實時流數據處理、內存并行計算和分布式數據庫讀寫技術，實現了大客流環境下處理海量實時WiFi數據的分布式定位分析系統。通過使用模擬數據和實時數據進行多組實驗測試，驗證了系統在保持定位算法準確性的情況下，仍然具有穩定、實時、高效的定位分析能力。

關鍵詞： 定位分析; WiFi數據; 架構構建; 分布式處理; 系統測試; 性能比較

中圖分類號： TN919?34? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）04?0043?05

Design of real?time and efficient location analysis system based on WiFi data

HAN Ping1， WANG Hao[2]， FANG Cheng[1]， NIU Yonggang[1]， JIA Yunfei[1]

（1. School of Electronic Information and Automation， Civil Aviation University of China， Tianjin 300300， China;

2. School of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China）

Abstract： In recent years， many indoor positioning technologies have been proposed， but most of them focus on how to improve positioning accuracy， while ignoring the stability， real?time performance and high efficiency of the system in processing massive data. Especially in the case of airport peak hours and large?scale flight delays， while a large number of passengers gather in the terminal， which makes a large amount of WiFi data generated， the traditional data processing architecture shall produce the problems of unresponsive data processing， poor statistical real?time performance and poor stability. Therefore， the distributed real?time data processing architecture with high throughput and low latency is designed to solve above problems. In the architecture， the message middleware， real?time streaming data processing， memory parallel computing and distributed database write?read technology are adopted to realize the distributed positioning analysis system for processing massive real?time WiFi data in the large passenger flow environment. The multi?group experimental test using simulation data and real?time data proves that the system has stable， real?time and efficient positioning analysis ability while still maintaining the accuracy of the positioning algorithm.

Keywords： positioning analysis; WiFi data; architecture building; distributed processing; system testing; performance comparison

0? 引? 言

我國民航事業正處于高速發展期，航空已然成為人們出行的重要選擇方式。隨著民航客流量的逐漸增加，不僅對機場的服務提出了新的要求，并且對機場的安全保障工作帶來了新的挑戰。在機場候機樓內免費WiFi是旅客使用率較高的一種通信方式，因此可以利用航站樓現有的免費WiFi網絡開展定位業務和旅客密度分析等業務，為機場運行與資源調度提供支持[1]。目前在室內定位技術研究領域大多數研究都在提高定位算法的準確性，卻忽略了系統處理數據的性能問題。例如在文獻[2]中，江聰世等人提出了一種客戶端?服務器端架構的定位系統，通過手機采集定位數據后傳輸到系統服務器端進行數據處理，將定位結果返回到手機端顯示。文獻[3]中，樂燕芬等人設計了基于Android平臺的室內移動目標的實時定位系統，服務器端獲取無線傳感器網絡采集的定位數據發送給Android智能終端，智能終端利用位置指紋算法進行處理，實時動態顯示移動目標。在文獻[4]中，羅健宇等人設計了基于RSSI優化模型的室內定位系統，使用無線傳感器網絡采集定位數據后上傳到服務器，在服務器端使用濾波器進行數據處理，最后使用加權質心定位算法進行定位計算。在機場航班大面積延誤和高峰時段航站樓高密度人流的環境下，由于數據產生快、實時性強、數據量大等特點，導致傳統的數據處理架構無法滿足需求。因此，實現一個具有對實時數據進行快速處理、高效存儲和及時服務能力的高性能系統尤為重要。

Hadoop作為一個分布式系統基礎架構，在架構之上的生態系統給大數據的存儲、處理和分析做出了重要貢獻。但是隨著實時大數據應用越來越多，Hadoop的MapReduce作為離線的高吞吐、低響應框架已不能滿足數據實時處理的需求。因此為了滿足在高密度客流環境下對系統高吞吐和實時性的需求，本文給出一種基于WiFi數據的實時高效定位分析系統。在系統中將海量實時流數據處理和定位算法實現并行化，結合具有高密度讀寫能力的NoSQL數據庫，實現了一個具有穩定性、實時性和高效性的分布式系統。

1? 系統體系架構

基于海量WiFi數據的分布式定位分析系統架構如圖1所示，主要包括3個層次：數據層、服務層和表現層。數據層通過部署WiFi探針設備，使用探針對WiFi數據進行采集并且通過WiFi網絡將數據上傳到系統后端服務器。服務層運行在分布式架構之上，主要包括Kafka作為消息中間件接收和整理WiFi探針上傳的WiFi數據，Spark Streaming將Kafka的實時流數據進行數據解析后存儲到HBase數據庫以及Spark進行并行定位計算。表現層即用戶層，用戶通過軌跡檢索模塊和人員密度檢索模塊與高德地圖JS API結合實現系統的可視化呈現。

2? 系統設計與實現

2.1? WiFi定位數據采集與上傳

WiFi定位數據的采集功能通過部署WiFi探針實現。WiFi探針是基于WiFi探測技術，自動識別已開啟WiFi的移動設備（手機、平板、手提電腦等）并且獲取移動設備的MAC（Medium/Media Access Control）層數據的一種硬件設備。

如圖2所示，在公共WiFi環境下，移動設備的WiFi功能在開啟的狀態下會周期性地向四周發射掃描信號，因此WiFi探針就可以監聽移動設備發射的探測信號。WiFi探針探測到移動設備的MAC層的信息，主要包括設備MAC地址、數據傳輸信道、數據幀類型、信號強度以及移動設備所連接的熱點名稱。每個移動上網設備的MAC地址都是全球唯一的，所以利用MAC的唯一性可以有效地作為旅客的唯一標識。WiFi探針將探測到的數據按照數據上傳協議進行數據包封裝，封裝后的數據包采用TCP的Socket方式上傳到后臺服務器。

2.2? 消息隊列中間件

消息中間件是分布式系統中必不可少的組件，面對流量高峰問題可以幫助系統進行削峰降流和異步處理，并且可以降低系統架構各層的耦合度來提高系統的健壯性。因此，消息中間件廣泛應用于分布式系統中，目前主流的消息隊列中間件主要有：KafKa，RabbitMQ，RockertMQ。文獻[5?8]將Kafka分別應用于航空維修大數據系統、電量采集系統、聯通實時賬單短信系統中，驗證了Kafka作為消息中間件的可靠性。本文使用WiFi定位數據對三個中間件系統進行性能實驗對比，在測試過程中不斷增加數據發送端的壓力直到系統的吞吐量不再上升，但是處理時間不斷拉長，系統出現了性能瓶頸期，這時便得到了系統的最佳吞吐量。如圖3所示，Kafka吞吐量為5.24萬條性能高于RabbitMQ的4.35萬條和RocketMQ的2.12萬條，通過測試，表明Kafka更適合處理I/O高吞吐數據，因此本文將Kafka作為分布式系統的消息中間件組件。

2.3? 基于Spark Streaming的數據解析算法

Spark作為新一代大規模數據處理引擎，具有高效性、易用性、通用性和兼容性等特點[9]。Spark Streaming是運行在Spark之上的流式計算框架[10]，工作原理如圖4所示。Spark Streaming從Kafka接收到WiFi數據之后，首先將數據流進行切分成多個batch（分片），將多個batch高層抽象為DStream。每個Dstream代表了一系列連續的彈性分布數據集（Resilient Distributed Dataset， RDD），RDD是Spark中最重要的概念，在Spark中RDD是一個提供多種操作接口的數據集合。Spark Streaming將batch序列輸入到Spark Engine中，Spark Engine 將多個batch分派到Spark集群中的Worker節點進行WiFi數據的解析工作，最終將數據解析的結果存儲到HBase數據庫。

本文的數據解析算法根據WiFi探針上傳數據時的數據協議將原始的WiFi數據進行數據解析，原始的WiFi數據是以十六進制字節數組進行傳輸，數據格式如圖5所示。

數據解析算法是運行在Spark Streaming框架之上的并行流式算法，如圖6所示。原始WiFi數據分配到不同的Worker計算節點之后，首先找到數據的同步字段，該同步字段表示數據幀的開始，找到同步字段后，根據CHK字段結合CTL，LENGTH，SN三個字段進行CRC8校驗，最后進行數據完整性校驗。通過三步檢驗后將DATA字段根據數據協議進行數據解碼，最終將解析后的數據添加到Put對象中進行HBase數據存儲。

2.4? 基于Spark的三邊定位算法

使用Spark進行數據計算時，數據處理算法的設計和程序編寫的最關鍵部分就是利用Spark豐富的操作函數對原始數據產生的RDD進行多次變換，通過RDD轉換過程得到期望的計算結果。文獻[11?14]中將Spark分別應用到智慧城市系統、空間大數據分析、油田應用日志分析和推薦系統中，均驗證了Spark作為大規模數據處理引擎的優勢。本文提出的基于Spark的定位算法是將傳統的基于RSSI測距的室內三邊定位算法[15]進行重新編寫，使定位算法運行于Spark框架之上，算法流程如圖7所示。

具體的算法步驟描述如下：

1） 創建彈性數據集RDD1，從數據庫中查出需要定位計算的數據并存入到彈性數據集RDD1中，其中每一條數據包括phoneMac（手機MAC地址）、 ScaMac（WiFi探針的MAC地址）、timeStamp（數據采集時的時間戳）、isCalculate（計算標志位）。

由表1可知，本文提出的基于Spark的定位算法計算結果與傳統算法保持一致，證明了該算法在提高計算效率的同時并沒有影響算法的準確性。

4? 結? 論

為了解決傳統架構系統計算效率低、實時性差和穩定性差的問題，本文結合Kafka，Spark，HBase等大數據組件，設計基于海量WiFi數據的分布式定位分析系統。通過多組實驗測試，驗證了該系統在保持定位準確性的條件下，仍然具有穩定、實時、高效的定位分析能力。下一步工作：研究定位算法提供更準確的定位算法模型，豐富系統功能使系統進一步完善。

參考文獻

[1] 張曉海，梁旭.WiFi定位技術在機場的應用研究[J].綜合運輸，2017，39（2）：84?86.

[2] 江聰世，劉佳興.一種基于智能手機的室內地磁定位系統[J].全球定位系統，2018，43（5）：9?16.

[3] 樂燕芬，羅紅玉，趙妍，等.基于位置指紋的室內移動目標定位系統[J].電子科技，2018，31（11）：42?46.

[4] 羅健宇，張衛強，徐艇.基于RSSI優化模型的室內定位系統[J].無線通信技術，2018（3）：25?30.

[5] 徐海榮，陳閔葉，張興媛.基于Flume、Kafka、Storm、HDFS的航空維修大數據系統[J].上海工程技術大學學報，2015，29（4）：303?305.

[6] 金雙喜，李永，吳驊，等.基于Kafka消息隊列的新一代分布式電量采集方法研究[J].陜西電力，2018，46（2）：77?82.

[7] 楊潔.利用Kafka技術實現用戶實時賬單的短信提醒功能[J].數字通信世界，2017（11）：219?221.

[8] 王巖，王純.一種基于Kafka的可靠的Consumer的設計方案[J].軟件，2016，37（1）：61?66.

[9] 趙文芳，劉旭林.Spark Streaming框架下的氣象自動站數據實時處理系統[J].計算機應用，2018，38（1）：38?43.

[10] ZAHARIA M， CHOWDHURY M， FRANKLIN M， et al. Spark： cluster computing with working sets [C]// Proceedings of 2nd USENIX Conference on Hot Topics in Cloud Computing. Boston： ACM， 2010： 10?16.

[11] 石磊.基于Spark技術在智慧城市系統中的應用[J].電子技術與軟件工程，2018：58?59.

[12] 周堯，劉超，徐樹楠，等.基于Spark與MongoDB的地理空間大數據應用分析系統設計與實現[J].測繪與空間地理信息，2018，41（9）：71?74.

[13] 陳雷鳴，張偉光，李翛然，等.基于Spark的油田應用日志行為分析系統[J].計算機系統應用，2018，27（9）：74?80.

[14] 張靚，肖俊東，趙開敏.基于Spark的艦船網絡數據解析存儲系統設計與實現[J].艦船電子工程，2017（11）：98?101.

[15] YANG Z L. Study on indoor trilateration algorithm implementation based on positioning of RSSI [J]. Machine tool & hydraulics， 2018， 46（6）： 140?145.

[16] 房俊，李冬，郭會云，等.面向海量交通數據的HBase時空索引[J].計算機應用，2017，37（2）：311?315.

[17] 吳仁彪，劉超，屈景怡.基于HBase和Hive的航班延誤平臺的存儲方法[J].計算機應用，2018，38（5）：123?129.

[18] 張春風，申飛，張俊，等.基于Storm的車聯網數據實時分析系統[J].計算機系統應用，2018，27（3）：44?50.

[19] ZHANG Chong， CHEN Xiaoying， FENG Xiaosheng， et al. Storing and querying semi?structured spatio?temporal data in HBase [C]// International Conference on Web?Age Information Management. Nanchang： Springer， 2016： 303?314.