變電站巡檢機器人避障方法研究與應用

鮮開義， 彭志遠， 谷湘煜， 梁洪軍， 蔣 鑫， 查 盛

(深圳市朗馳欣創科技股份有限公司成都分公司， 成都 610000)

隨著智能電網不斷深入以及機器人技術的高速發展，巡檢機器人被廣泛應用于變電站環境中，逐漸代替人工對電力設備進行巡檢[1]。對于變電站巡檢機器人而言，自主導航是其完成巡檢工作的前提，而有效的避障是機器人實現自主導航的基本要求之一。目前，大多數變電站巡檢機器人主要通過激光雷達、超聲波等傳感器對機器人周圍環境進行感知[2]，同時結合相應的避障算法(如蟻群算法、模糊控制算法等)實現機器人避障[3]。該方式雖然簡單高效，但獲取的環境信息相對稀疏，感知能力有限[4]，在實際應用中仍存在較多問題，如機器人偏離(定位誤差累積)、道路上的雜草(可越過障礙物)、水坑(易鏡面反射)、碎石(影響機器人定位)等。因此，研究一種針對變電站道路場景且適用于巡檢機器人的避障方法可有效彌補傳統避障方法的不足，提升機器人的環境適應能力，并對智能電網和無人值守變電站的發展也有較大的推動作用。

為提升機器人對環境的感知理解能力，不少學者采用視覺方法[5]指導機器人導航避障，并取得了一系列成果。王天濤等[6]針對雙目視覺避障的實時與準確性問題，采用圖像增強、種子填充、邊緣檢測等算法來提取障礙物輪廓以及位置信息，進而實現避障。He等[7]提出一種將視覺與超聲波傳感器相結合的避障策略，通過超聲波檢測遠距離障礙物，并配合圖像處理方法對近距離障礙物的形狀進行觀測來指導機器人進行避障。而隨著近年來，由于深度學習在圖像處理領域的蓬勃發展，基于神經網絡的機器人避障方法也得到了廣泛的應用。金彥亮等[8]利用深度卷積神經網絡來對不同場景下的機器人的對應轉向角進行訓練，實現了端到端控制的機器人自主避障。劉明春等[9]針對變電站道路特點提出了一種適用于變電站巡檢機器人的道路場景理解網絡，有效提高了機器人對場景理解能力。Tiago等[10]采用基于Q-Learning的強化學習方法，通過機器人不斷試錯來達到自主避障的效果。盡管這些避障策略中基于傳統機器視覺圖像處理的方法效率較高，但受環境影響較大，障礙物特征需要人工設計，并且泛化能力較弱；而基于深度學習的方法雖然有效地緩解了傳統圖像處理的缺點，但其效率相對較低，并且對于不同的應用場景，不同網絡模型的側重點也不盡相同。因此，如何根據變電站環境特點來設計一種適用于變電站巡檢機器人自主避障的方法也是一個極具實際應用價值的課題。

針對以上問題，在前人研究成果的基礎上，現提出一種聯合圖像分類以及語義分割的深度學習避障方法。該方法以深度可分離卷積為基礎搭建輕量級特征提取網絡結構，根據提取的特征分別對變電站道路場景進行語義分割和機器人行駛方向分類，最后轉化分割結果并與分類結果相結合來共同指導機器人自主避障。

1 深度學習避障模型

1.1 整體框架

所搭建的變電站巡檢機器人避障網絡整體框架如圖1所示。該模型由特征提取結構、分類結構、語義分割結構構成輕量級卷積神經網絡，并結合后處理實現機器人避障。特征提取結構主要由基本網絡層(如可分離卷積、批處理層、激活層等)堆疊而成，逐步深入提取圖像特征信息；分類結構通過全連接操作對提取的特征進一步抽象化為機器人行駛方向信息；語義分割結構采用上采樣操作從特征信息中分割出各個目標在圖像中的區域；后處理即將語義分割結果轉化為機器人理解的行駛方向信號。最后，結合后處理與分類結果，共同指導機器人下一時刻動作，實現自主避障。

圖1 網絡結構圖Fig.1 The structure diagram of network

1.2 分類網絡

目前，用于解決計算機視覺任務的深度學習算法中，其網絡的搭建基本采用骨干網絡與特定任務網絡相結合的模式。圖像分類在計算機視覺任務中相對簡單，主要由骨干網絡提取圖像有效特征，再結合全連接將提取的信息抽象成類別即構成分類網絡。隨著深度學習的高速發展，研究者們已提出很多經典的骨干網絡，如VGG[11]、ResNet[12]、MobileNet[13]、SENet[14]等。由于本文方法主要應用于變電站巡檢機器人，為保證網絡效率，所提分類網絡主要借鑒了輕量級網絡，采用深度可分離卷積為基本卷積單元搭建而成。

分類網絡詳細結構如表1所示，網絡主要通過串聯多個卷積塊結構來由淺到深地提取圖像特征，再經池化(pool)、全連接(fully connected，FC)等操作對圖像進行分類。而每個卷積塊又由多個輕量級逆殘差模塊和注意力模塊堆疊而成，其基本結構如圖2所示。其中，輕量級逆殘差模塊主要是在傳統殘差模塊的基礎上改進而成，通過對特征圖先升維，再利用深度可分離卷積(DWconv)提取特征后進行降維的方式，降低了傳統殘差先降維后升維對特征多樣性信息的丟失；同時，該模塊以深度可分離卷積來替代傳統卷積提取特征也有效提升網絡效率；最后，沿用傳統殘差模塊的殘差連接來緩解網絡訓練時梯度消失等問題。而注意力模塊主要由全局池化(global pooling)、全連接、Sigmoid激活函數構成，該模塊通過訓練為每個特征通道學習一個權重，用于衡量每個特征通道對當前任務的重要程度，可提升有效特征的權值，并降低無效特征對網絡精度的影響。整個分類結構與目前主流分類網絡(Inception、ResNet等)相比更為精簡高效，對平臺性能要求更低，盡管網絡以損失部分特征信息為代價，但對于變電站道路場景的分類而言，其分類類別較少，目標特征相對簡單，所提網絡足以滿足巡檢機器人對道路場景分類的需求。

表1 分類網絡結構

圖2 骨架網絡模塊Fig.2 Skeleton network module

1.3 語義分割結構

分類網絡主要從圖像全局信息的角度來保證巡檢機器人的正確行駛方向，但對于機器人避障而言，單靠分類網絡難以滿足其局部動態避障。因此，本文在分類結構基礎上增加語義分割支路來對圖像進行像素級分類，通過對障礙物實時識別分割來進一步提升機器人避障效果。

圖3 分割模塊Fig.3 Segmentation module

語義分割任務與分類相比，其難度相對較大，網絡結構也更為復雜。因此，為保證網絡在實際變電站場景中的分割精度以及效率，采用了多種策略來搭建分割結構，如圖3所示。為有效獲取圖像中各目標空間細節信息，網絡通過逐層上采樣與骨干網絡中對應維度的特征圖進行融合，如圖3(a)所示。該結構首先將分類網絡中最后一個5×5卷積后的特征圖最大池化后再上采樣至卷積塊7特征圖尺度進行融合(eltwise)，然后將融合后的特征圖再上采樣融合，以此類推。其中，上采樣過程采用雙線性插值的方法，避免引入過多的參數而降低了網絡效率，同時，由于淺層特征圖包含較多噪聲，故網絡只融合了尺度小于1/8原圖的特征圖，即圖中卷積塊n分別為卷積塊4、卷積塊6、卷積塊7中最后一層，上采樣i為卷積塊n對應尺寸的上采樣層。圖3(b)結構主要進一步挖掘目標細節特征以及全局信息，采用類似圖像金字塔結構的特征提取方式，將骨干網絡中卷積塊4最后一層通過不同空洞率的空洞卷積和平均池化(mean pooling)操作進行信息提取，再將空洞卷積后上采樣至卷積塊4進行拼接(concat)。最后，將圖3(a)和圖3(b)兩種結構輸出的特征圖通過批正則化來平衡權重后通過點卷積來融合，最后再將融合后的特征圖上采樣至原圖大小，實現語義分割。語義分割支路從多個角度來獲取目標全局和邊緣信息，保證變電站巡檢機器人在實時避障過程中對障礙物類別以及相對位置準確獲取，進而指導機器人實現高效避障。

1.4 后處理

對于語義分割結果，機器人只能判斷出圖像中每個像素的類別，而對于避障信息需要通過對分割圖像進一步轉化提取。針對變電站巡檢機器人避障問題，將語義分割結果轉化成了障礙物類別、可行道路區域等信息。障礙物類別信息主要提取影響機器人正常行駛的區域目標，即機器人正前方目標信息。為有效輔助機器人避障，在機器人正前方選擇了遠近兩個區域來識別目標，兩個區域的大小為機器人所占面積的映射，如圖4(c)所示。其中，遠距離的區域目標可指導機器人提前進行路徑規劃；近距離區域目標判斷機器人是否可行。

當機器人前方出現不可越過障礙物時，對于機器人對避障區域的選擇，采用相對簡單直觀的方法，即通過對比障礙物左右兩邊的道路區域面積(可由道路像素數量表示)來規劃機器人避障路線，如圖4(d)所示。其中，對比區域與障礙物的判斷方式類似，也選擇了遠近兩組區域，當無障礙物或遠目標區域出現障礙物時，使用遠區域來判斷結果引導機器人行駛；當障礙物由遠及近出現在近目標區域時，選擇近區域保證機器人準確避障。最后，結合分割結果與分類結果的避障信息，共同控制機器人避障，控制策略如下。

(1)兩支路輸出相同時，執行輸出方向；當相反時，由于分割支路的判斷精度更高，故由分割支路決定。

(2)出現轉向和直行時，若無障礙物，則執行分類輸出；反之執行分割支路輸出。

(3)出現轉向和停止時，執行轉向。

(4)出現直行和停止時，執行停止。

對于每次轉向角度的選擇根據實際變電站巡檢機器人情況(如巡檢速度、相機位姿等)來確定。

圖4 機器人前方目標區域Fig.4 The target area in front of robot

2 實驗與結果分析

主要利用Caffe深度學習框架來對所提網絡進行搭建，實驗以搭載Titan X顯卡的臺式電腦和搭載NVIDIA Jetson TX2嵌入式模塊的變電站巡檢機器人為硬件平臺，通過公開數據集和實際變電站場景分別對網絡的有效性以及在實際變電站巡檢機器人上的避障效果進行了測試驗證。由于該網絡包含多個任務，故在訓練時的損失函數為分類和分割誤差的疊加，而分割相當于是對像素的分類，因此都以交叉熵作為損失函數來計算誤差，損失函數公式如式(1)～式(3)所示。

(1)

(2)

Lall=Lcls+Lseg

(3)

式中：aj為樣本屬于第j類的概率；T為類別數；Sj為將第j類概率softmax處理；yj為標簽值；L為交叉熵損失函數；log底數為任意整數；Lcls為分類損失；Lseg為分割損失；Lall為總的損失。

對于網絡訓練參數設置，為了方便與同類型網絡進行對比，主要借鑒文獻[13，16]中的網絡訓練參數。訓練時設置學習率為0.005，動量參數為0.9，權值衰減系數為0.000 2，網絡以Adam優化策略進行權重更新。同時，對于網絡性能評價，由于分類任務中每幅圖像值對應一個類別，因此采用平均精度(average precision，AP)來衡量；語義分割采用全局精度( global precision，G)、平均精度( mean accuracy，C)以及交除并均值(mean intersection over union, IoU)來評價。

(4)

(5)

(6)

(7)

(8)

式中：Pi、AP為分類評價指標，G、C、IoU為分割評價指標；Pi為類別i的精度;N(TP)i為類別i被正確分類數量；N(Total)i為類別i的圖像總數；Ncls為總的分類類別數；i，j分別為類別i和類別j；nji為屬于類別j卻被預測為類別i的像素個數；nc1為分割總的類數；ti為類別i的總像素。

2.1 標準數據集測試

為快速驗證本文網絡，實驗采用搭載Titan X GPU的臺式機訓練網絡，將訓練好的網絡利用NVIDIA Jetson TX2進行測試。實驗首先利用Animals和CamVid標準數據集分別對分類和分割兩個分支進行測試；然后，手動標注Animals數據集，對聯合分類和分割的網絡進行訓練測試。其中，Animals為動物分類數據集，包含貓、狗和大熊貓三類目標，每個類別約1 000張圖像；CamVid為城市道路場景分割數據集，包含十多類標注的目標，約700張圖像。兩個數據集都相對較小，可以方便快速測試各個改進的網絡結構。對于分類網絡的測試，首先將Animals數據集圖像尺寸歸一化為360×480，以2∶8的比例隨機將每類圖像分為測試集和訓練集(后續數據集都是該比例分配)，并采用遷移學習的方法對網絡訓練收斂后與文獻[12-13]中的分類網絡進行對比，對比結果如表2所示。同理，對于分割網絡的驗證與分類網絡類似，只需替換訓練數據和移除分類支路即可，同時將其分割精度與同類型網絡文獻[15-16]進行對比，結果如表3所示。其中，分割效率為TX2上測試結果。

表2 分類網絡對比

表3 分割網絡測試結果對比

注：FPS(frames per second)表示每秒處理幀數。

對于同時分類和語義分割的測試，由于目前大多數語義分割數據集中每幅圖像包含目標類別較多，與本文針對的應用有一定的差別。因此，為更好地切合實際應用，將Animals數據集中的圖像通過Labelme標注軟件進行標注為動物、道路、植物、天空以及背景。訓練時，每幅圖像對應兩個標簽(即兩個loss)，可同時優化分類和分割支路參數。測試結果如表4所示。

表4 網絡測試結果

根據上述實驗結果可以看出，本文網絡可以有效地實現分類和語義分割任務，同時，與同類型網絡相比，該網絡的兩個獨立分支在精度與效率上都得到了有效的平衡。由表4的實驗結果可以看出，聯合分類和分割后的網絡由于支路增加，因此效率有一定的下降；同時，由于兩個支路同時訓練，網絡所需要學習的目標特征種類也有所增加，任務復雜度增大，故精度都略微有所降低。總體來說，本文所提方法較好地兼顧了網絡精度與效率，可以更好地應用于變電站巡檢機器人平臺。

2.2 變電站場景測試

為進一步驗證本文方法在實際變電站環境下的可行性，分別測試了網絡在變電站環境下的適應性以及巡檢機器避障效果。對于網絡適應性測試主要通過巡檢機器人對變電站道路圖像進行采集(主要為機器人正常、偏離道路以及避障行駛的圖像)，從中篩選出重復率較低的圖像約5 000張，將其分為直行、左偏、右偏、停止4類，同時將圖像的雜草、道路、石頭、路坑和背景5類目標進行標注，并將圖像歸一化為224×224后構建訓練數據集。通過Titan X訓練迭代收斂后在TX2上的測試結果如表5和圖5所示。

對于巡檢機器人避障效果測試主要通過機器人在特定情況下(如機器人偏離道路、前方有障礙物等)，本文方法對每一幀圖像判斷情況，即是否正確預測機器下一步動作。實驗分別測試了單支路和聯合支路的網絡在機器人正常行駛、偏離行駛、障礙物、偏離和障礙物同時出現的情況下的預測結果。其中，每種情況分別測試7段道路路，每段道路包含2 000～3 000幀圖像，最后對每種情況預測結果取平均精度，測試結果如表6所示。其中，正常指機器人行駛道路中無雜物或部分雜草、積水等可越過障礙物；偏離指機器人偏離道路中心一定閾值；障礙物指機器人需繞過物體。

表5 網絡測試結果

圖5 分類分割結果Fig.5 Classification and segmentation results

為了更好地體現本文方法的有效性，將該方法分別與基于神經網絡的視覺避障[17]、基于模糊控制的超聲波避障[18]以及基于人工勢場的激光雷達避障[19]方法進行了對比。為方便對比，通過巡檢機器人相機、超聲波、激光雷達傳感器同時對表6中的每一段路進行數據采集，再通過對應的避障方法判斷機器人方向，根據統計每一時刻各方法的判斷結果來計算避障精度，實驗結果如表7所示。

表6 機器人偏離測試結果

表7 機器人避障方法對比

由表5、圖5可知，本文網絡可以有效地遷移至變電站場景數據集，相對于標準數據集，變電站場景數據集圖像分辨率較低，目標類別種類及背景卻更多、更復雜，故網絡分類及分割精度有一定下降，但保障了機器人實際應用的效率。由表6可知，不同支路的避障效果不同，分類支路獲取圖像整體信息更多，更有利于判斷機器人偏離情況；語義分割支路包含目標更多局部細節信息，再通過后處理降低了分割精度對避障的影響，保障機器人局部避障。通過將兩支路結合，使各支路信息相互補充，進一步彌補網絡在精度上的不足，從而實現機器人高效避障。同時，表7的實驗結果也較好地體現了本文方法的優越性，單純利用視覺分類的方式難以滿足機器人局部動態實時避障；而超聲波與激光雷達的方式無法較好地理解環境(如可越過障礙物等)，在實際變電站場景中也存在較大的局限性。綜上，本文方法完全以變電站場景特點為基礎，以提升巡檢機器人避障性能為目的，通過輕量級網絡結構來適應性能較低的機器人平臺，采用分割后處理以及多支路聯合方式保障避障效果，使最終網絡效率達到20/s左右，對于速度相對較慢的變電站巡檢機器人來說，基本滿足其對實時避障的需求。

3 結論

針對目前變電站巡檢機器人自主避障存在的不足，提出了一種基于深度卷積神經網絡的避障方法。該方法聯合圖像分類與語義分割兩類計算機視覺任務，分類結構可以獲取更多圖像全局信息，使機器人偏離道路情況得到改善；語義分割結構主要關注局部細節信息以及近距離目標，可有效輔助機器人避開障礙物，將兩者結合使機器人能最大程度理解環境信息，進而進行正確判斷。通過多個數據集測試結果表明，本文方法有效兼顧了網絡精度以及效率，同時，在實際變電站場景下，該方法也能有效地應用于巡檢機器人中，輔助機器人矯正偏離航向以及實現障礙物的識別和自主避障。

本文方法盡管基本滿足變電站巡檢機器人對避障的需求，但仍有較多需要改進的地方，后續工作將嘗試進一步完善網絡的避障策略，提升其避障準確性；其次，將該方法與其他傳感器(如激光雷達、超聲波等)進行聯合避障，提升其導航避障能力。