基于爬蟲及GIS技術的路況數據獲取及分析

陽利鋒

（創輝達設計股份有限公司）

1 引言

近年來，隨著我國社會經濟的快速增長和城鎮化進程的不斷加速，城市的規模不斷擴大，人們生活水平不斷提高，機動車擁有量迅速增加，交通供需矛盾日益突出，加劇了城市道路的擁堵程度。利用互聯網+大數據分析出的擁堵數據，可快速查找出路網中的擁堵點及有銜接結構性問題的路段，真正做到以問題和目標為導向，提出針對性強、操作性強、見效顯著的解決方案。

2 技術路線分析

2.1 通過Web API爬取路況數據

在國內導航領域占有率最高的是百度和高德，百度地圖和高德地圖都提供了交通路況數據的API接口，通過對比分析，兩者的路況都分為未知、暢通、緩行、擁堵、嚴重擁堵五個級別，但百度地圖返回的路況結果中并不包含路段的坐標點，無法把路況結果矢量化后利用GIS技術進行空間分析，且高德的接口每日免費調用額度為30000次，遠高于百度的2000次。為了覆蓋大多數時間，需要申請多個許可，可以建立key表記錄每個key一天訪問的次數，動態分配key。

2.2 通過地圖瓦片爬取路況數據

百度地圖和高德地圖均提供了實時路況圖層，兩者的路況圖層均進行了加密，但是百度地圖額外提供了一個非加密的交通瓦片服務地址，調用該服務會返回一張256像素×256像素大小的瓦片，通過該服務可爬取指定區域的所有路況瓦片，再對瓦片進行矢量化分析可提取路況數據。

3 路況數據獲取

3.1 高德路況API獲取

數據爬取：高德地圖提供了交通態勢的API，首先需要申請AK，申請流程：進入【高德地圖開放平臺】→注冊認證成為開發者→【應用管理】→【我的應用】→【創建新應用】→獲得AK。獲取AK后通過HTTP請示即可獲取矩形區域或圓形區域的交通狀況，請求參數“rectangle”為必填項，表示左下右上頂點坐標對，其中兩點矩形對角線不能超過10公里，兩個坐標對之間用"；"間隔，x坐標、y坐標之間用"，"間隔。由于高德地圖的坐標系為加密的GCJ-02坐標系統(火星坐標)，我們需要從高德的坐標獲取系統中拾取目標區域左下、右上兩個頂點的坐標，并按要求拼接成請求字符串，如“112.809244，28.313243；113.16218，28.004502”。返回的交通路況數據表字段如下：

序號 字段 數據類型 說明1 時間 時間 精確至秒，每十分鐘為一個數據周期2 道路名稱 文本3 路段名 文本4 路況 數字 0：未知；1：暢通；2：緩行；3：擁堵；4：嚴重擁堵5 方向描述 文本6 速度 數字 單位：km/h 7 車行角度 數字 以正東方向為0°，逆時針方向為正，取值范圍：[0，360]8 道路坐標集 文本 經度和緯度使用"，"分隔坐標之間使用";"分隔。例如：x1，y1；x2，y2。

高德返回的道路坐標集為火星坐標系，為了便于后面的數據分析，在采集時需要利用轉換算法將火星坐標系轉換為WGS84坐系。

3.2 百度路況瓦片獲取

數據爬取：百度路況瓦片的服務地址為：

http://its.map.baidu.com:8002/traffic/TrafficTileService，該服務需提交四個參數，參數說明如下：

序號 參數名 字段說明1 time 時間點，需要將時間轉化為13位數的整形2 v 版本號，默認為“016”3 level 瓦片級別4 x 瓦片列號5 y 瓦片行號

4 路況可視化

通過爬蟲技術將百度的路況瓦片爬取之后，需要進一步將瓦片中的路況信息提取出來并進行矢量可視化，這個過程涉及兩個操作，一是根據瓦片中的顏色提取路況狀態，二是將瓦片中的像素點轉換為經緯度空間坐標。路況瓦片中用四種顏色代表四種不同的路況，路況分別是：暢通，用顏色#4fd27d表示；緩行，用顏色#ffd045表示；擁擠，用顏色#e80e0e表示；嚴重擁堵，用顏色#b40000表示。

以單瓦片路況提取為例，從瓦片左上角（0，0）開始，以3像素為間隔循環提取瓦片中的顏色值，再與百度地圖的路況顏色進行匹配，如匹配成功，則根據瓦片文件名中的級別、行號、列號以及該像素點在瓦片中的位置計算該像素點的實際空間位置，核心代碼如下：

百度地圖的18級，1個像素代表1m，17級，1個像素代表2m，16級代表4m，以此類推，在將瓦片像素點中的坐標轉換為地理平面坐標時利用18級作為參考即可算出。為了保密，百度地圖做了偏移處理，使用的是百度的BD-09坐標系，在國家要求的火星坐標系GCJ-02上做了進一步的處理，因此GPS經緯度定位會出現偏移。

在GIS中建立路網數據庫，在建立的數據庫中分層出道路網絡相關數據，包括各等級道路網絡及屬性數據。利用緩沖區分析、疊加分析、線性參考分析、拓撲分析等多種空間分析方法，自動識別出各等級道路相交點、道路等級不匹配點并可視化顯示分析結果，再疊加互聯網+大數據分析出的擁堵數據，可快速查找出路網中有銜接結構性問題的路段。

5 結語

本次研究的結果采集數據量較小，考慮到目前位于暑假、部分周邊道路由于施工等原因進行了交通管制，不能全面的反映21個收費站出口路段的長時間周期內的擁堵情況，還需要收集長周期范圍內相關路段的擁堵數據。同時高德地圖及百度地圖均在WGS84坐標系的基礎上做了加密處理，為了將路況數據與路網數據等進行疊加分析，需要對采集轉換后路況數據進一步處理，統一坐標系。