基于時空相關性的公交大數據清洗

謝智穎，何原榮，李清泉

1.廈門理工學院計算機與信息工程學院，福建 廈門 361024

2.深圳大學空間信息智能感知與服務深圳市重點實驗室，廣東 深圳 518060

隨著AI 技術的發展，由數據驅動的公交車預測模型層出不窮，為了達到理想的預測效果，這些模型都要求很高的數據質量，而數據清洗是提高數據質量的必要步驟；同時，很多涉及數據分析的項目中，數據清洗在開發時間和預算方面占到30%～80%[1]，研究數據清洗方法在大數據時代，就顯得越來越重要了。數據清洗是對臟數據進行檢測和糾正的過程，郝爽等[2]對經典和新興的數據清洗技術進行分類和總結，對數據缺失、數據冗余、數據沖突和數據錯誤這四種數據噪聲的檢測技術進行詳細闡述，并把數據清洗方式分為基于完整性約束的數據清洗算法、基于規則的數據清洗算法、基于統計的數據清洗算法和人機結合的數據清洗算法。郭志懋等[3]對數據清洗問題進行了分類，并分析了解決這些問題的途徑，最后說明數據清洗研究與其他技術的結合情況，分析了幾種數據清洗框架，最后對將來數據清洗領域的研究問題作了展望。燕彩蓉等[4]基于樹狀領域知識庫，對海量數據中的重復數據可以有很好的清洗效果。

在智慧交通領域，王曉原等[5]把交通數據分為包含噪聲的正常數據和異常數據質量問題兩類，交通檢測器獲得的數據存在無效、冗余、錯誤、時問點漂移及丟失等質量問題，研究“臟數據”的清洗規則與清洗步驟，并對環形線圈檢測器檢測到的數據迸行驗證。其所提清洗規則對錯誤、丟失、冗余數據的識別率均在90%以上，但對時間點漂移數據無效。耿彥斌等[6]根據交通流理論和閾值規則篩選出錯誤數據，對丟失數據，采用線性插值和歷史數據平均法進行修正。從時空相關性入手，袁瑤瑤等[7]提出一種基于ST-DCGAN 的時序交通流量數據補全方法，該方法結合DCGAN網絡和交通流量的時空特性，能更好地抽取交通流量數據在時間維度上和遠近區域上的相關性。孟鴻程[8]采用基于時間相關性、空間相關性和時空相關性的多種數據修復方法對缺失數據進行處理。李林超等[9]將高速公路交通流數據缺失情況分為點缺失、線缺失和面缺失三種情況，并基于隨機森林算法建立修正模型。陸化普等[10]從時間相關性、空間相關性和歷史相關性三方面分析了交通流大數據的特點，建立了基礎交通流時空模型，具有較高的修復精度。Gill等[11]使用具有時空特征的公交車頂的環境和位置傳感器獲取的多種數據，構建了一個分布式實時清洗數據流系統，建立了線性回歸模型、多元回歸模型和廣義加權回歸模型三種清洗模型。

在AI 預測公交到達時間的相關文獻中，關于數據清洗也有專門的章節描述。賴永炫等[12]將數據文件按日期進行分割，并將分割后的數據根據方向、車輛、到達時間進行排序，然后將同趟數據劃分到同組中，剔除組內臟數據；對缺失數據填充時，對于站點停留和站間行駛時長優先選用歷史數據的均值進行填充，當不存在歷史數據時，則用臨近班次進行填充。陸俊天等[13]對公交GPS 數據進行了冗余篩選，站點匹配、站間站距匹配等方法，對公交數據進行了清洗。Han等[14]認為GPS數據精度比較低，以地圖匹配的方式，把偏離路線的GPS 點投影到了線路上，并通過速度、距離等關系，選取或過濾GPS 原始數據。Wang 等[15]提出了離異值判別、交通流趨勢判斷、相似度計算、缺失值補充等算法，來對數據進行清洗處理。

現有的研究成果大多是對原始的觀測數據進行剔除或者填充，往往破壞了原始觀測數據的嚴肅性。本文從OLAP 分析的角度，從業務數據的關聯性出發，研究面向業務分析的數據的清洗問題。首先，對公交大數據的異常進行了分析，并分解為四類數據異常；其次，對公交數據的時空相關性進行了分析；在此基礎上，提出了公交大數據清洗方法及流程；然后對清洗不同階段產生的四種數據集，采用LSTM 預測公交到達時間，比較分析了清洗方法的預測精度；最后對時空相關性的清洗方法進行了總結。

1 公交大數據異常分析

近年來，隨著物聯網、云計算等技術在各行各業的推廣與發展，公交行業在刷卡消費、公交調度、客流統計、主動安全等領域進行相應的信息化改造與升級，各種傳感器部署在公交車上，采集了大量的數據。這些數據由于采集方式、傳輸手段等因素，存在噪聲、缺失、不一致性、歧義等數據質量問題，影響了數據進一步分析利用，本節從公交大數據的特性出發，對公交異常數據分為以下四類。

（1）冗余數據：一般指內容相同的數據重復多次出現，公交數據都是異步上報方式，在網絡不穩定的情況下，會出現一些數據重復上傳的情況，這也會造成一定的這類冗余數據。本文所定義的冗余數據，是指對公交大數據預測沒有價值的數據，如公交車在首末站?？繒r，上傳的大量公交軌跡數據或進出站數據。

（2）范圍異常數據：一般指違反某種范圍區間或規則的數據，即文獻[2]中沖突數據，在公交系統中，由于公交是定線運營，從軌跡上不在線路的數據，一般可能是發生了特殊情況，不具有普遍的統計意義，對這類數據只需作為異常數據記錄，在公交大數據分析時，應作為異常數據過濾。

（3）異常數據：指一些與大部分數據相比偏差較大的數據，在公交網中，兩站間的運行時長、站點停留時長、公交運行時長（起終點間）等數據都符合某種統計規律，通過統計很容易發現異常數據。如表1后三列就對應著停留時長，運行時長與公交運行時長，當有異常發生時，這些值都奇高，通過這些奇異值就可以定位異常數據的位置，進而分析其出錯的原因。

（4）缺失數據：指采集終端故障、移動通訊中斷或后臺接收問題導致的數據的缺失，這種缺失數據也可以按異常數據的方式發現并定位之。如表1 中最后兩行數據，通過到達時間非常大這一奇異值，發現是因為缺失了前5站數據所導致。對缺失數據發現比較容易，但要補全缺失值就沒那么容易了，本文基于交通網的時空相關性，對如何補全缺失數據進行了研究。

表1 公交進出站數據中的異常數據Table 1 Abnormal data of bus in and out stations

2 公交大數據時空相關性

公交傳感器在采集數據時本身就帶有時間戳這一時間要素，空間信息由GNSS模塊獲取。公交的時空感知數據體現了數據的實時性和連續空間位置變化的屬性，反映了人們生活工作活動狀態時空變化特征。

2.1 時間相關性

時間維往往被看成是單向線性的或分支循環的，在單向線性時間中，以某一個時刻作為起點，這之后的固定間隔發生的時刻，往往以時間序列來表達。周期時間每周期都以某一時刻作為起點，其后周期內的任一時刻，也以時間序列來描述?？梢姇r間的周期性與序列性是相互嵌套，交替前行的。

（1）序列性

公交運行在定點定線的線路上，從起點到終點的一趟行駛下來，從時間維上會產生一些時間序列數據，如GNSS模塊以固定的采樣頻率，實時上報公交車的軌跡數據，還有公交車報站儀，與站點相關聯，自動的或由司機手動的觸發上報公交進出站信息。如圖1 所示的到達時間序列、行駛時長序列、等待停止序列等，在這個序列中數據是連續的，也是完整的，丟失某幾站數據，則相應的統計數據就會出現比較大的奇異值。

圖1 公交數據的序列性Fig.1 Sequence of bus data

（2）周期性

交通流隨時間變化的規律，是由車輛出行的規律決定的。每個工作日（星期一至星期五）的日變化規律基本相同，工作日與休息日（周六、周日）的形狀相似，從日流量變化圖，可獲得每天的流量高峰時間與高峰小時流量，這段時間車輛經常被堵塞，車輛運行緩慢。公交車輛也受交通流的支配，其運行也呈現出與交通流相似的周期性，如圖2 是某路公交車以5 min 時隙統計的到達終點所花費的時長統計圖，明顯可見這種周期規律性。

圖2 公交數據的周期性Fig.2 Periodicity of bus data

2.2 空間鄰近性

對公交而言，其運行線路具有定線定點的特點，某些公交車共享一些換乘站，某些公交車共享某幾段路段，這也從空間上可以把這些車輛關聯起來，其空間相關性可分以下三種情況。

（1）同線路同向車輛間空間鄰近性

同線路同向車輛發車時間相隔不大的話，如前車，其所處的交通流環境是相差不大的，其在某路段的行駛時間是相差不大的。正基于此，有學者[12]在做行程時間預測時，選用的特征數據是前面車輛的歷史數據，同理，當在清理數據時，發現數據缺失時，也可以采用這種方法，補齊缺失的數據。

（2）共享部分站點不同線路車間的空間鄰近性

共享站點的車輛，在相同時間，其站點的乘車環境可認為相同，如乘客的擁擠程度、站點周圍的交通流環境等。該站點上的停留等待時間具有相似性，若在處理異常數據時，發現停留等待時間異?；蛉笔?，可通過共享相同站點的其他車輛補齊。

（3）共享部分行駛路段不同線路車間的空間鄰近性

同共享站點的車輛一樣，共享行駛路段的車間，可借鑒的東西就更多了，如路段行駛時間、站點停留等待時間、區間車速，若時間相隔不大，則GNSS經緯度的缺失也可以采用這種方式補齊。

總之，空間相關性是滿足地理學第一定律的，同方向距離越近的車輛，其空間相關性越大，所采集的數據差別越小，反之亦然。

2.3 時空依賴性

根據交通流理論，應該從時間和空間兩個維度認識交通流的變化規律。交通流由于時間和空間兩個變量和隨機因素的影響，其變化規律是非常復雜的。公交車間存在共享站點與共享路段，時間依賴公交網體現了公交間的時空相關性。時間依賴公交網定義為：

給定有向圖G=(V,A) ，則時空網可表示為GT=(VT,AT) ，其中VT={(i,t)|i∈V,t∈T} ，AT={((i,t),(j,t+dij(t))|i,j∈V,t,t+dij(t)∈T}時空網上的節點與弧段是時間依賴的，即弧段上描述的屬性，是與車輛進入節點的時間緊密相關的。如公交車在某路段上的行程時間，在早高峰時段與平時時段是不一樣的，有時還相差比較大。通過時間依賴公交網，可以把所有公交車輛在某站點、某路段、某時隙里的行程時間或停留時間統計出來，通過時隙對應的時間點獲取經過該路段的相關屬性，完成缺失數據的補齊。

3 公交大數據清洗方法

公交大數據在時間維上具有序列與周期的特點，在空間維上具有鄰近性，在時空上可以通過時間依賴公交網關聯起來。下面從時間維的四分位數、空間維的緩沖區法、時空維的時間依賴公交網絡關聯法三方面介紹公交大數據的清洗方法。

3.1 四分位數法

四分位數（quartile）[16]也稱四分位點，是指在統計學中把所有數值由小到大排列并分成四等份，處于3個分割點位置的數值。它是一組數據排序后處于25%和75%位置上的值。四分位數是通過3個點將全部數據等分為4 部分，其中每部分包含25%的數據。很顯然，中間的四分位數就是中位數，因此通常所說的四分位數是指處在25%位置上的數值（下四分位數）和處在75%位置上的數值（上四分位數）。四分位數多應用于統計學中的箱線圖繪制。它由5個數值點組成：最小值（min）、下四分位數（Q1）、中位數（median）、上四分位數（Q3）、最大值（max）；也可以往箱線圖里面加入平均值（mean）。最大（最小）觀測值設置為與四分位數值間距離為1.5個IQR（中間四分位數極差）。由于現實數據中總是存在各式各樣地“臟數據”，也成為“離群點”，于是為了不因這些少數的離群數據導致整體特征的偏移，將這些離群點單獨匯出。

通過箱線圖，在分析數據的時候，箱線圖能夠有效地識別數據的離異值，也可以通過箱體的長度、中位數的大小判斷數據離散程序與偏向。在圖2中，對公交到達時間就是采用箱線圖繪制的，通過中位數可以觀察交通流的變化趨勢，通過箱體長度可以看到該時隙數據的離散程序，離群點單獨以圓點繪出，這些離群點多是數據異常所導致，所以，通過四分位數法可以定位異常數據。本文正是基于四分位法這一特點，計算公交到達時間，然后按5 min時隙分組數據，計算每個分組的四分位數，發現異常數據，完成異常數據的清洗。

3.2 緩沖區

緩沖區分析是指以點、線、面實體為基礎，自動建立其周圍一定寬度范圍內的緩沖區多邊形圖層，主要用來解決空間鄰近性問題的空間分析工具。在公交系統中，站點是點要素，線路是線要素，點要素的緩沖區，通常以站點為圓心，以一定距離為半徑的圓，線要素的緩沖區，通常是以線為中心軸線，距中心軸線一定距離的平行條帶多邊形。

如圖3是某公交網依線路與站點生成的緩沖區，黃色的多邊形是線路的緩沖區，粉色的圓形緩沖區是站點生成的，線路緩沖區可以過濾非正常不按線路行駛的記錄，如臨時封路改道的車輛行駛軌跡。站點緩沖區可以判斷公交進出站數據的正確性。這兩類緩沖區都可以過濾范圍異常的數據，起到范圍清洗的效果，同時，在首末站，還可以利用站點緩沖區，過濾大量的冗余數據，起到冗余清洗的作用。

圖3 公交站點與線路生成的緩沖區Fig.3 Buffer zone generated by bus stops and routes

3.3 時間依賴公交網絡

公交網是時間依賴交通網，每路段上的行程時間是與車輛進入該路段的時間相關的[17]，本文以傳統的節點-弧段模型[18]為基礎，建立時間依賴公交網的模型。如圖4 是邏輯模型，該模型把拓撲從幾何中分離出來，以交通特征作為建庫的基本要素，維持了地理實體在語義上的完整性。通過線路弧段與站點節點、運行時長序列、到達時長序列、停留時長序列的引入，可以很好地描述公交網的時態變化性，在公交網模型中加進了時間維，集成了相關的與交通有關的數據，從而為公交大數據中缺失數據的補充打下基礎，也是該模型對公交換乘路徑選擇也起到很大的支撐作用。

圖4 時間依賴公交網邏輯模型Fig.4 Logical model of time dependent bus network

如圖5是時間依賴公交網的物理存儲結構，結合公交發車及運行的特點，把相關統計量按工作日與周末進行了分組，并從6：00—23：00 按5 min 劃分為204 個時隙，這樣很好地表達了時間維，通過站點與線路間一對多的拓撲關系，很好地表達了空間維關系。

圖5 時間依賴公交網物理表結構Fig.5 Physical structure of time dependent bus network

3.4 時空數據清洗流程

從4 種異常數據的特點出發，利用各種清洗方法，從點緩沖區開始，依次通過冗余清洗、范圍清洗、異常清洗、補全清洗4個清洗步驟，完成對公交大數據和清洗，其主要流程分以下4步：

（1）生成站點緩沖區，過濾掉首末站的冗余數據，生成冗余清洗進出站與冗余清洗軌跡數據集。

（2）然后基于此數據集，通過線路緩沖區，通過范圍清洗，過濾進出站、軌跡不在線路上的數據，生成范圍清洗進出站與范圍清洗軌跡數據集。

（3）在范圍清洗進出站數據集上，依線路計算每兩站間的運行時長、累積運行時長、停留時長等，根據發車時間分組到每5 min時隙中，再依據工作日進行分組，并計算每個時隙的四分位數，把中位數存入時空依賴公交網中，作為以后補充缺失數據選用，通過四分位數判斷異常數據，生成異常數據集與異常清洗數據集。

（4）基于步驟（3）生成的異常進出站數據集，進行缺失站點判斷，如有缺失站點，從范圍清洗軌跡數據集中找補，從軌跡數據中沒有找到，則從時間依賴公交網中填補，若只是到達站點時間維數據異常，則直接從時間依賴公交網找公交運行時長反推計算，該步生成缺失清洗進出站數據集。

步驟（4）與步驟（3）生成的異常清洗進出站、補全清洗進出站數據集，是清洗完成后，用于公交到達時間預測可用的數據集。如圖6是完整的數據清洗流程圖。

圖6 數據清洗流程Fig.6 Data cleaning process

4 LSTM模型預測下清洗結果分析

公交進出站數據由進出站儀采集并上報，數據包含了線路、司機、車輛、到達站點時間、駛離站點時間、到達站點GNSS坐標等信息，但缺乏行駛里程、車速等信息，這些可以從公交車軌跡數據集中取得。從該數據集可以計算車輛的行駛時長、停留時長、到達時間、車頭時距等，該數據集可以用來預測車輛到達時間，也可以分析“串串車”“大間隔車”等智能調度面臨的主要問題。下面以前面介紹的基于時空相關性清洗方法，研究對該數據集清洗的實現。

4.1 原始數據集

如圖7 是山東省臨沂市選取一天的公交進出站與軌跡數據集，黑色的點是軌跡數據，綠色的點是進出站數據。軌跡數據比較密，80 s 采一次樣，進出站數據聚集在公交站點附近，在公交線路比較少的地方，間隔性表現的很明顯。

圖7 進出站與軌跡原始數據集Fig.7 Raw dataset of in and out stations and trajectories

4.2 LSTM網絡預測模型

本文對清洗數據集結果的評價，通過對不同清洗階段生成的數據集，采用LSTM網絡[19-20]預測公交到達時間的統計結果來進行。本次實驗基于2020年3月28日—2020 年6 月28 日山東省臨沂市30 路公交進出站數據、線路數據、節假日以及臨沂市天氣狀況等數據，使用Tensorflow-gpu2.0 進行數據處理與算法編寫。選用了與線路相關的一些屬性與當前站點之前的到達時間序列作為輸入特征，來預測當前站之后的到達時間序列。其形式如下：

[公交線路，方向，公交車輛，公交司機，發車小時，發車分鐘，星期幾，是否節日，距起點距離，天氣），(xt-k,…,xt)]，xt為當前站與上一站間的到達時間之差。輸出序列為(-xt-k,…,0,xt+1,…,xt+n)。

如圖8 是預測網絡結構圖，由單層LSTM 與二層全連接層組成，LSTM主要用于時間序列類預測。其輸入層由41 位的向量組成，包括線路相關屬性特征與到達時間序列特征。

圖8 LSTM網絡結構Fig.8 LSTM network structure

損失函數選用平均絕對誤差（MAE），即輸出的預測結果與真實值的誤差。網絡參數的更新采用Adam優化算法。Adam 算法是一種一階優化算法，主要利用梯度的一階矩估計和二階矩估計動態地為不同參數設計獨立的自適應性學習率，比傳統的梯度下降法更新效果更好。

如圖9 是epoch 選用100，batch 為100，validation split 為0.2 時的訓練損失圖。從4 種清洗數據集LSTM網絡的訓練圖可見，補全數據集訓練收斂最好，大約在80次時，模型已訓練到位，清洗完異常數據的數據集表現次之，另外兩種數據集由于有異常數據的存在，歸一化后導致數據值太小，訓練收斂效果比較差。

圖9 LSTM網絡訓練損失圖Fig.9 Diagram of LSTM network training loss

4.3 清洗數據集比較分析

4 個清洗過程都對應著不同的清洗數據集，數據集按8∶2 分成訓練集與測試集，訓練集又按8∶2 分成訓練集與驗證集，驗證集主要是驗證超參數設置是否合理，防止過擬合現象。表2 中列出了4 種數據集的數量大小，冗余清洗數據集最大，異常清洗數據集由于剔除了一些離異值，數量最小，補全數據集補全了一些缺失值與改正了一些離異值，數據數量得到了很大提高，與異常清洗相比，補全率達到19%。如圖10為4種清洗數據集預測公交到達時間結果比較圖

表2 預測公交到達時間結果統計表Table 2 Statistical table of predicted bus arrival time results

圖10 預測公交到達時間結果比較圖Fig.10 Comparison of predicted bus arrival time results

LSTM網絡經過訓練后，采用測試集數據進行預測精度分析，表2中，采用了平均絕對誤差（mean absolute error，MAE）、余弦相似度（cosign similarity，COS）兩個量化指標來量化的評價網絡模型。從數據可見，冗余清洗、范圍清洗、異常清洗、補全清洗是遞次進行的，對異常數據的每一次清洗，都能提高預測數據的精度，COS 描述了預測序列與測試序列的相似度，相似度也是依次遞進。

如圖11是4種清洗數據測試集的MAE偏差圖。棕色的線是MAE 的平值均，可以看出，MAE 的平均值補全數據集是最低的，從散點圖也可以看出，補全數據集大部分點都在均值附近，而其他數據集離異值比較多，說明預測精度沒有補全數據集高。

圖11 清洗測試集預測精度比較Fig.11 Comparison of prediction accuracy of cleaning test sets

如圖12 是按照公交站點，統計的每一站點預測值的平方根均方差（RMSE），綠色是補全清洗數據集的結果，在4 個數據集中均方差是最小的，也說明按單個站點，補全數據集的預測精度也是最高的。特別在第25站，由于異常值的存在，導致RMSE很高，通過異常清洗后，在異常清洗數據集與補全清洗數據集上，25站的預測精度得到了明顯改善。

圖12 站點預測平方根均方差Fig.12 RMSE of site prediction

綜上分析，冗余清洗、范圍清洗、異常清洗、補全清洗是遞次進行的，對異常數據的每一次清洗，都能提高預測數據的精度。補全數據集是在冗余數據集、范圍數據集、異常數據集的基礎上，最符合客觀實際的公交車運行數據，其預測效果也是最好的，這也證明了本文所研究清洗方法的有效性。

5 結論

本文針對公交大數據中的異常數據，分冗余數據、范圍異常數據、異常數據、缺失數據四類異常進行特征分析，然后從時間相關性、空間鄰近性、時空依賴性分析了公交數據間存在的時空關系，并基于時空關系，采用站點緩沖區完成冗余數據的清洗，路線緩沖區完成范圍異常數據的清洗，到達時間四分位數法判斷出離異值，完成異常數據的清洗，時間依賴公交網補全缺失數據，完成補全清洗。補全數據集數據數量得到了很大提高，與異常清洗相比，補全率達到19%。最后通過四種清洗階段生成的數據集，采用LSTM預測公交到達時間的方式，對清洗效果進行了比較分析。結果顯示，對異常數據的每一次清洗，都能提高預測數據的精度，補齊數據集是在冗余數據集、范圍數據集、異常數據集的基礎上，最符合客觀實際的公交車運行數據，其預測效果也是最好的，與異常清洗數據集相比MAE 提升了9%，預測值與真實值序列相關性達到95%以上，也證明了本文所研究冗余清洗、范圍清洗、異常清洗、補全清洗方法的有效性。