道面表觀病害檢測機器人系統研究

張力波 邵黎明 曹鐵

摘要：機場道面的病害影響著飛機的安全起降，當前機場主要通過人工巡查的傳統方式進行道面病害檢測。鑒于此，運用自動駕駛和人工智能技術，構建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統，為實現機場道面病害檢測作業的無人化提供了技術支持。

關鍵詞：機場道面；病害檢測；自動駕駛；深度學習

中圖分類號：TP242? ? 文獻標志碼：A? ? 文章編號：1671-0797（2023）12-0035-04

DOI：10.19514/j.cnki.cn32-1628/tm.2023.12.010

0? ? 引言

機場跑道病害威脅飛機起降安全，目前主要通過定期人工巡檢的方式檢測道面的病害。傳統手段存在時效性差、效率低、精確度低等不足，難以及時對機場道面進行檢測評估，存在一定的安全隱患。

近年來，人工智能以及無人駕駛等高新技術快速發展，都具備了一定的落地應用條件。在人工智能的機器視覺領域，自2012年AlexNet[1]模型取得ImageNet競賽冠軍開始，基于深度神經網絡的圖像識別技術快速發展，InternImage[2]和Transformer[3]兩種大規模模型代表了當前圖像識別的最高精度，而YOLO系列[4]以精度高、推理快以及部署容易等多種優點廣泛應用于工業界。自動駕駛方面，華為、百度等技術大廠已在助力L4級自動駕駛的落地，雖然開放場景的L4級自動駕駛技術量產落地還需打磨，但高速公路、大型工業園區、礦區、港口、機場[5-6]等特定場景的自動駕駛已經具備落地條件。

本文結合無人駕駛技術和人工智能機器視覺技術，構建具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統，實現對道面表觀數據的高效采集和常態化檢測。

1? ? 機械系統組成

如圖1所示，道面巡檢機器人機械系統主要由線控底盤、線陣相機、帶云臺的全景相機、激光雷達、差分定位天線以及控制箱等部件組成。

線控底盤選擇方面，機場道面相對平整，底盤選擇常用的四輪結構；為了提高巡檢效率，底盤時速最高不低于25 km/h；為了更好的路況適應能力，底盤離地15 cm以上高度，且底盤可以四輪轉彎以減小轉彎半徑。

帶云臺的全景相機如圖2所示，360°視野使巡檢機器人能從視覺上更全面地感知周邊環境，不僅有利于機器人的運行安全，也有利于后臺監測人員對現場的掌握。當現場出現異常情況或因特殊需求需要人為遠程操作巡檢機器人時，全景相機能夠提供更安全的操作環境。全景相機所帶的云臺具備較高的放大倍率，其圖像可用于確認道面病害、道面異物檢測以及場面人員人臉識別。

如圖3所示，線陣相機垂直于道面，通過線掃的方式不僅可以收集連續的道面圖像，還可以在運動過程中得到清晰的道面圖像，有利于算法對病害的準確識別。

激光雷達用于感知機器人周邊的障礙物，為自動駕駛系統的避障模塊提供數據支持。

定位天線選用精度高的實時動態差分（RTK）定位技術天線，配合線控底盤的慣導系統實現巡檢機器人的定位。

控制箱配置有工控機、圖像存儲硬盤以及4G/5G網絡天線。工控機主要用于部署自動駕駛算法；圖像存儲硬盤用于臨時存儲圖像數據，防止圖像數據直接傳回后臺服務器過程中因網絡原因丟失；4G/5G網絡天線用于通過無線方式與后臺服務器進行數據交換。

2? ? 自動駕駛系統差異化設計

一般情況下，自動駕駛系統主要由高精地圖、定位模塊、感知模塊、預測模塊、規劃模塊、控制模塊組成。其中，定位模塊和感知模塊根據機場自身特點進行設計。

2.1? ? 定位模塊方面

高精地圖具備厘米級地圖精度，并包含道路網的三維模型及道路語義信息，在周圍存在較多高樓建筑以及隧道等影響衛星定位精度的復雜環境下，激光雷達與高精地圖構成的定位模塊可實現厘米級定位精度。

但是，在機場這類空曠環境下，環境特征不夠明顯，通過激光雷達和高精地圖難以準確定位；而空曠環境下衛星信號強而準確，基于衛星導航的RTK定位技術能夠全程實現厘米級定位。因此，僅選擇RTK與慣導的組合定位作為道面巡檢機器人的定位模塊。

2.2? ? 感知模塊方面

自動駕駛通常使用攝像頭、激光雷達、毫米波雷達以及超聲波雷達作為感知設備。其中，攝像頭廣泛用于物體識別和物體追蹤場景，比如車道線檢測、交通燈識別等；激光雷達用于障礙物位置識別、繪制地圖、輔助定位等，其準確率非常高，很多方案中將激光雷達作為主傳感器使用；毫米波雷達在陰雨天、霧霾天能夠輔助感知獲取物體的位置和速度，觀測距離遠但誤檢較多；超聲波雷達作為近處高敏感傳感器，常作為安全冗余設備檢測車輛的碰撞等安全問題。由于機場安全要求高，感知模塊選擇以激光雷達為主，毫米波、超聲波以及全景相機為輔的技術路線。

3? ? 圖像識別算法設計

道面巡檢機器人作業過程有兩個圖像識別業務需求，即全景相機下的目標實時識別、線陣相機下的表觀病害識別。

3.1? ? 全景相機下的目標實時識別

因為有實時檢測的需求，綜合評估后，在受工業界青睞的YOLO系列算法中選擇YOLOV7[7]作為該系統的目標檢測算法。

所選全景相機的圖像為兩個分辨率為4 096×1 080的圖像，兩個圖像分別覆蓋前后180°。由于YOLO算法的圖像輸入尺寸為正方形，因此將全景相機某一幀的兩張4 096×1 080的圖像切分成8張1 080×1 080的圖像，相鄰切分圖像之間保留部分重疊區域。將8張圖像縮放為640×640的圖像，并作為一個batch輸入模型進行檢測。然后對檢測得到的結果進行合并，如圖4所示，為防止重疊區域的目標重復識別，運用非極大值抑制處理（NMS）算法對識別結果進行過濾。

為了達到實時性要求，運用tensorRT[8]對訓練后的YOLOV7模型進行量化以及結構優化。優化后的模型固定輸入尺寸（batch，height，width）為（8，640，640），在NVIDIA Tesla V100計算卡上進行一次檢測耗時約38 ms，達到了實時性要求。

3.2? ? 線陣相機下的表觀病害識別

如圖5所示，常見的道面表觀病害有裂紋、接縫破碎、板角剝落、補丁[9]等。道面表觀病害的尺寸對評估道面的損壞狀況有重要作用，因此，用實例分割模型檢測道面表觀病害更具意義。將YOLOV7的head由目標檢測改成實例分割后進行訓練，訓練后模型的測試效果如圖6所示。

4? ? 結論與展望

機場道面的病害影響著飛機的安全起降，而傳統的人工巡檢成本高、效率低。本文結合當前的自動駕駛以及人工智能技術，構建了具備自動巡檢能力和道面表觀病害自動識別能力的道面巡檢機器人系統，驗證了機場道面巡檢無人化的可行性。未來可在機場進行實地測試，通過采集更多的現場圖片以及優化算法設計，不斷提高各類道面病害自動識別能力，進一步推進道面巡檢機器人在機場的落地應用。

[參考文獻]

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G E，et al.ImageNet Classification with Deep Convolutional Neural Networks[J].Communications of the ACM， 2017，60（6）：84-90.

[2] WANG W H，DAI J F，CHEN Z，et al.InternImage： Exploring Large-scale Vision Foundation Models with Deformable Convolutions[J].arXiv：2211. 05778v4[cs.CV]，2022.

[3] LIU Z，HU H，LIN Y T，et al.Swin Transformer v2： Scaling Up Capacity and Resolution[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2022： 12009-12019.

[4] REDMON J，FARHADI A.YOLOv3：An Incremental Impr-ovement[J].arXiv：1804.02767v1[cs.CV]，2018.

[5] 嚴正罡，甄軍平.巡檢機器人應用綜述及在機場應用前景展望[J].現代計算機，2022，28（2）：50-55.

[6] 桂仲成，鐘新然，劉景泰.基于“云-邊-端”架構的機場道面安全檢測機器人系統[J].人工智能，2022（3）：80-89.

[7] WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv：2207.02696[cs.CV]， 2022.

[8] VANHOLDER H.Efficient inference with tensorrt[C]// GPU Technology Conference，2016：2.

[9] 民用機場道面評價管理技術規范：MH/T 5024—2019[S].

收稿日期：2023-02-15

作者簡介：張力波（1991—），男，四川眉山人，工程師，研究方向：機場安全。