基于語義分割的防侵入系統①

羅耀俊,向 海,胡曉兵,牛洪超,魏上云

1(四川大學 機械工程學院,成都 610065)

2(四川大學宜賓園區,宜賓 644000)

現如今,隨著微電子、機器視覺、5G 通訊、人工智能技術的快速發展,市場對門式起重機的自動化、信息化和智能化水平要求越來越高[1].對于開放式工作的門式起重機來講,安全是其面臨的一個重大的挑戰,尤其是門機軌道運行區域,直接影響其能否暢通運行.所以,對于研究一套安全、可靠、智能的防侵入系統,是具有十分重要的工業實用意義的[2–5].

對于門式起重機的防侵入監測任務而言,研究的重點在于如何在運行過程中對監測區域中的障礙目標以及可能進入特定區域的目標進行檢測、跟蹤和預警.障礙物檢測研究主要集中在機器視覺,向榮等人[6]使用幀差法進行障礙物檢測,但容易受環境光線的影響;戰強等人[7]采用HIS 顏色空間對障礙物進行檢測分割,通過建立空間位置坐標關系,使用柵格搜索算法對障礙物進行定位;王榮本等人[8]對智能車輛的障礙物檢測進行了綜合性分析,并提出多傳感器榮融合方法進行車輛前方障礙物檢測;辛煜[9]采用激光雷達實時對無人車周圍環境進行三維重建,并提出了時空障礙物柵格圖的障礙物檢測方法;劉聰美等人[10]采用Hough 直線檢測對煤礦鐵軌進行識別,并采用支持向量機算法對行人進行監測,根據行人與鐵軌的相對位置關系,發出不同的預警信號.

本文針對實際工作環境和工業需要,結合語義分割在各方向的應用[11–17],對門式起重機防侵入問題進行分析,將其轉換為語義分割問題.標定用于防侵入研究的語義分割數據集GCAID,并利用多個語義分割網絡進行訓練對比,最后決定選用ICNet 網絡運用于門式起重機的防侵入監測任務.門式起重機防侵入監測模型首先對圖像進行語義分割,得到軌道和入侵目標的分割結果.然后根據軌道的分割結果,將監測視場劃分為三個互不重疊的區域,分別是禁止區域、過渡區域和安全區域.接著計算檢測的入侵目標所處的入侵區域,并根據入侵目標所處的區域,向控制系統發送不同的預警信號.

1 問題建模

如圖1所示,將環境數據劃分為4 部分,分別是禁止區域、過渡區域、安全區域以及障礙目標.禁止區域屬于軌道區域,禁止出現行人等危險源,當出現行人等危險源時應及時對門機進行減速和制動;過渡區域是沿軌道區域外擴0.5 m的區域,分布在禁止區域兩側,當出現行人等危險源時應發出警報信息并減速;安全區域是指除禁止區域和過渡區域的其他區域,對于這些區域存在的潛在危險目標可以按照正常速度運行;障礙目標是指可能影響門機安全運行的目標,結合本文的實際研究情況,暫定只考慮行人目標.在門機的防侵入檢測問題中,只需重點檢測禁止區域和過渡區域即可,過渡區域的劃分是基于禁止區域的劃分,因此需要首先檢測出禁止區域.如圖1左圖所示,禁止區域包括軌道以及固定螺栓等目標,整個禁止區域與過渡區域存在明顯的邊緣、顏色等特征的差異,因此可以將整個禁止區域作為其中的一個檢測對象.過渡區域的劃分是在禁止區域的基礎上進行的,且過渡區域與安全區域的特征基本是一致的,因此不做單獨檢測.障礙目標以行人檢測為主,其可以在任何位置出現,針對不同位置對門機的運行狀態進行不同的控制,分別是禁止區域減速停車、過渡區域警報減速、安全區域正常行駛.如前所述,如果采用目標檢測算法來對問題進行建模,存在的問題是采用邊界框來劃分區域容易使得處于安全區域的行人被劃入禁止區域,從而使得門機總處于預警和停車狀態.此外,對于處于禁止區域、但距離門機較遠位置的障礙目標,在提前預警的情況下,如果在門機到達前障礙目標能夠提前移除過渡區域,那么仍然可以不用停車.對此,可以該問題轉換為語義分割問題,前景分別是軌道區域(即禁止區域)和障礙目標(即行人),背景為過渡區域和安全區域.通過軌道區域來確定禁止區域、過渡區域和安全區域,根據行人的位置所屬區域來判斷門機的執行命令.

圖1 門機防侵入建模示意圖

基于以上分析,門機的防侵入檢測系統的關鍵是對軌道區域和行人進行準確地檢測和分割.經典的語義分割算法,如灰度分割、條件隨機場等,均難以滿足復雜自然環境下的在線檢測;基于深度學習的語義分割算法近年來取得大量研究成果,在醫學圖像分割、缺陷檢測與分割、街景分割、自動駕駛、衛星圖像分割等領域已經成功應用.因此,本文采用基于深度學習的語義分割模型,以實現對軌道區域和行人的精確分割.

2 ICNet 網絡網絡架構

ICNet (image cascade network)網絡[18]是由香港中文大學聯合騰訊優圖、商湯科技于2018年在歐洲計算機視覺國際會議(European conference on computer vision,ECCV)上首次公開,相比于與UNet、SegNet、FCN 等網絡,ICNet 綜合利用了不同分辨率的圖像來提高網絡的檢測精度和速度,其核心思想是采用圖像級聯框架來逐步細化分段預測,首先使用低分辨率圖像來獲取粗略的預測掩膜,然后通過級聯融合來源以引入高分辨率圖像特征,并逐步改進已獲得的粗略預測.ICNet 通過將圖像語義分割任務劃分為粗預測和精調整,在單塊英偉達1080Ti 圖像處理器的情況下,可以以30.3 幀/s的速度處理1024×2048 分辨率的圖像,并且平均IOU 精度可以達到71%.

降采樣輸入圖像、減少特征圖數量以及模型壓縮是最常用的檢測加速策略,但是無論哪一種策略,都難以平衡網絡推斷速度和精度.盡管這3 種策略可以顯著地減少運行時間,但同時也只能得到比較粗糙的預測結果.而如果直接使用高分辨率圖像進行檢測,計算量通常是難以接受的.如圖2所示,ICNet 并不是簡單地選擇任何一種策略來加快推斷速度,相反,它是通過采用不同分辨率大小的輸入,并采用級聯特征融合單元來進行快速的語義分割.訓練時采用級聯標簽進行引導,而在測試階段直接輸出最終預測結果.輸入圖像尺寸為全尺寸,如1024×2048 分辨率的Cityscape 數據集圖像,并將輸入圖像進行下采樣至輸入的1/2和1/4,從而得到低、中、高3 種不同分辨率的圖像,并將它們分別輸入到3 個不同的網絡分支中.將1/4 輸入圖像送入PSPNet 進行8 倍下采樣至輸入分辨率的1/32,以進行粗分割;將1/2 輸入圖像和原圖像分別送入兩個更淺的卷積網絡進行特征提取和下采樣;將最上分支的1/32 特征圖進行上采樣并與第2 分支的1/16 特征圖通過級聯特征融合(cascade feature fusion,CFF)單元進行求和,經過激活后再進行上采樣,并與第3 分支的1/8 特征圖通過CFF 模塊進行融合,并通過兩次上采樣以及卷積操作后得到與原圖相同分辨率的預測圖.

圖2 ICNet 網絡架構圖

雖然第1 分支的卷積層數量比較多,采用的是完整的PSPNet 分割網絡,但由于輸入圖像的分辨率非常低,因此其計算量依然比較有限,推斷時間僅需18 ms,內存占用也只有0.6 GB.由于第2 層的卷積核共享了第1 層的卷積核參數,因此第2 層的級聯特征融合也僅僅只耗費了6 ms.第3 層雖然輸入圖像的分辨率非常高,但是由于卷積層數量比較少,網絡深度比較淺,整個推斷過程也僅需9 ms.因此,ICNet 通過不同分支進行不同分辨率輸入的計算以及特征圖的級聯融合,在保證分割精度的前提下,可以有效地提高檢測速度和減少內存占用.

圖3為CFF 單元示意圖,該單元地輸入包括3 個部分:兩個特征圖F1、F2以及真實標簽,尺寸分別為C1×H1×W1、C2×H2×W2和1×H2×W2,其中F2的尺寸為F1的兩倍.在特征融合前,先對F1使用雙線性插值進行上采樣2 倍,從而得到與F2具有相同高度和寬度的特征圖F1'.然后再使用卷積核為C3×3×3、空洞率為2的空洞卷積,對F1'進行調整,得到尺寸為C3×H2×W2的特征圖F1''.空洞卷積可以融合相鄰像素的特征信息,相比于反卷積而言,使用空洞卷積只需要更小的卷積核,就可以獲得與較大卷積核的反卷積一樣大的感受野.在保持感受野不變的條件下,反卷積操作比空洞卷積需要更大的卷積核,如反卷積的卷積核為7×7,而空洞卷積可以使用3×3、空洞率為2的卷積核實現,因此空洞卷積需要的計算量更少.

為了使得F2的通道數與F1''的通道數保持一致,使用尺寸為C3×1×1 卷積核對F2進行卷積操作,得到F2',其尺寸為C3×H2×W2.然后分別對F1''和F2'進行批歸一化操作,使得兩個特征圖可以保持在同一尺度空間.最后對歸一化后的F1''和F2'進行逐元素求和以及ReLU 激活操作,從而得到融合后的特征圖F2'',其尺寸為C3×H2×W2.為了增強網絡對F1的學習,使用降采樣后的真實標簽來引導學習.如圖3所示,在第1 層與第2 層融合后,使用1/16 真實標簽進行學習,從而得到融合后的損失值;同理,使用1/8 真實標簽學習第2 層與第3 層的融合特征.對第3 層融合后的特征進行上采樣后,計算與1/4 真實標簽的損失值.因此在訓練期間,損失值包括3 部分,第1 層和第2 層融合后的特征與1/16 真實標簽間的損失L1/16、第2 層和第3 層融合后的特征與1/8 真實標簽間的損失L1/8、第3 層融合后的特征上采樣后與1/4 真實標簽間的損失L1/4.

圖3 級聯特征融合圖

訓練時,為了增加每個分支的學習率,采用級聯標簽引導策略,利用1/16、1/8和1/4 真實標簽來引導學習低、中、高3 種不同分辨率的學習,對于T個分支和N個類別,在分支t(t=1,2,…,T),預測特征圖Ft的空間尺寸為Yt×Xt,在位置(n,y,x)(n表示特征圖Ft的第n通道)的值為Fn,y,xt,真實標簽在二維坐標中(y,x)對應的值為.對于分支使用權值為λt的帶權Softmax 交叉熵損失函數,其數學表達式為:

測試時,僅保留高分辨率的引導操作,這樣既可以保持訓練過程中的穩定性,同時又能夠防止網絡受單個分支支配.

3 數據集的處理

由于目前尚無公開的門機軌道數據,為了更好地匹配實際問題,通過攝像頭采集不同光線和天氣條件下的現場視頻.采集視頻的分辨率為1024×720,幀率為30 幀/s,顏色通道為RGB 三通道.對所采集的視頻間隔15 幀取一張圖片,共計1680 張圖片,其中晴天為1420 張、陰天為140 張、傍晚為120 張.

考慮到只檢測軌道和人,因此標記類別有3 類,分別是軌道、人和背景.由于行人的數據在現場非常有限,本系統在網絡上下載了12 個包含人的視頻,并按照45 幀的間隔進行數據提取,然后篩除不包含人的圖片,共得到540 張分辨率為1024×720的數據集.最后選擇將兩個子數據集合并為最終的GCAID 數據集.

Labelme是一個開源的可視化圖像標注工具,它采用Python+Qt 進行開發.Labelme是目前常用的標注工具之一,它可以標注用于語義分割、實例分割、場景分割等視覺任務的數據.Labelme 可以根據任務的需要對圖像進行多邊形、矩形、圓形、多線段、線段、點等形狀的標注,也可以對圖像直接進行類別標注用于圖像分類.此外,Labelme 還可以對視頻進行標注.Labelme 標注的數據格式包括.xml和.json 格式,分別對應VOC 類型和COCO 類型的數據集.Labelme 兼容所有操作系統,其操作界面如圖4所示.

圖4 Labelme 標記工具操作界面

ICNet 對于圖像的識別精度、數據集的標注精度及面積計算精度,都會影響分割精度.由于數據集的標注精度會影響到網絡對圖像的識別精度,網絡對圖像的識別精度通過直接影響最后的類別預測,從而影響面積計算精度,最后影響分割.所以,本系統首先采用通過只標定軌道(包括整個軌道安裝區域)與人,背景區域自動生成的策略,通過減少分割數量來減少ICNet對于圖像識別精度的影響.然后,由于系統是對于門式起重機軌道的防侵入監測,只需軌道與人處在分割區域內.所以在數據集標記過程中,對于軌道和人,采用了不影響整體識別的前提下,擴大標注區域,來減小標注精度和圖像識別精度對面積計算、類別分割的影響.

基于Labelme 工具箱,對包含2220 張圖片的GCAID數據集按json 格式進行標注.如圖4所示,標簽包含2 類,分別是track和human,代表圖片中的軌道區域和人.本文所標記的track 并非僅僅表示軌道,而是包含整個軌道安裝區域,因此其特征更加復雜,難以通過經典的圖像處理算法進行檢測.實際的語義標簽包含3 個類,分別是背景、軌道和人,背景類在標定的時候自動生成.如圖5所示,圖5(a)列表示原始數據,包含了軌道、人以及各種復雜的背景,其中74%的數據只包含軌道或人中的一種,26%的數據同時包含軌道和人;圖5(b)列表示真實語義分割圖,這部分數據是由人工標定,作為訓練時的監督數據;圖5(c)列表示掩膜可視化的結果,通過圖5可以清晰地看出,數據集包含3 個類別,分別為_background_、track和human,對應地標簽分別為0、1和2.在模型訓練過程時,通常只需要原始圖片和真實語義分割圖即可,通常記為(x,y),分別表示模型輸入數據和訓練目標.

圖5 GCAID 數據集部分樣本

4 實驗分析

4.1 訓練參數設置

采用Keras 來實現ICNet 網絡,訓練時采用4 塊技嘉2080Ti 圖形處理顯卡,并使用CUDA10.0和CUDNN v7.5 來加速訓練過程.將GCAID 數據集劃分為訓練集、驗證集和測試集共3 個互不重疊的子集,各子集包含的樣本數分別為1698、189和333.

在訓練超參數設置方面,每個批次的樣本數為2,訓練輪數為50,每一輪迭代375 次,共迭代37 500 次.初始學習率為0.01,在第30 輪、40 輪將學習率分別降低10 倍.訓練過程中采用早停技術,以防止出現過擬合.在訓練過程中,每迭代1 輪就進行1 次驗證.為了增加樣本的多樣性,采用包括隨機縮放(比例在0.5～2)、隨機鏡像等數據增強策略.訓練時,L1/16與L1/8的權值λ1、λ2均為0.4,L1/4的權值λ3設置為1.網絡的分割精度評估采用逐類交并比平均值(mean of class-wise intersection over union,mIoU).mIoU是通過計算每一類的IoU 值后再求平均值,計算公式為:

其中,k表示類別數,pii表示像素預測類別i與真實標定類別i一致的像素點總數,表示實際標定類別為i卻預測類別為j的其他類的像素點數(包含pii),表示實際標定類別為j卻預測為類別i的像素點數(包含pii).由于分母重復計算了pii,因此需要減去一個pii.

4.2 數據分析

如圖6(a)所示,經過50 輪的訓練,訓練精度均達到穩定狀態,盡管ICNet的初始精度較低,但是經過快速的上升后,獲得最高訓練精度;而SegNet 模型的訓練精度則明顯低于其他模型.如圖6(b)所示,所有模型的訓練損失值都處于向下收斂,其中,ICNet的損失值下降速度最快.

圖6 常用模型訓練精度曲線圖與損失曲線圖

圖7(a)為常用語義分割模型驗證精度曲線圖,從圖中可以看出,SegNet 在前20 輪訓練中,驗證損失的波動幅度較大,然后就趨于平緩;FCN-8的驗證精度持續上升,在第10 輪后一致保持最高的驗證精度;UNet的驗證精度值最低,始終處于80%以下.如圖7(b)所示,除了SegNet的損失值前20 輪波動幅度較大以外,其他的模型的下降過程較為平穩.

圖7 常用模型訓練精度曲線圖與損失曲線圖

如表1所示,ICNet的訓練精度和訓練損失均優于其他模型,而在驗證精度與損失方面,FCN-8 則取得了最好的成績,且ENet 也優于ICNet.通過對333 張測試集進行測試分析,并選用每個網絡保存的最佳模型,得到測試mIoU 如表2所示,ICNet 取得63.72%的測試精度,而SegNet的測試mIoU 最低,僅為30.25%.

表1 實驗中相關參數設置對照

其次,對各模型在測試集上的表現進行了分析,評估指標包括mIoU和各類的IoU.測試結果如表2所示.從表中可以看出,ICNet 對于GCAID 數據集的平均分割精度最高,為63.72%.

表2 實驗中相關數據對照

其他多數框架針對高分辨率輸入都具有相對密集的計算過程,而ICNet 由于采用了獨特的級聯特征融合網絡,通過在訓練時使用了級聯的標簽監督,有效地利用了低分辨率圖和高分辨率圖信息結合.其中低分辨率分支被送入了Heavy CNN中,得到了粗糙的語義預測.中分辨率和高分辨率的分支只被輕量級的CNN處理,進行恢復和完善模糊邊界和丟失的細節,可以減少中部分支和下部分支的參數數目.雖然低分辨率分支導致了細節缺失和邊界模糊,但它已經獲得了大部分語義信息,細節再由其他分支補全.正是這種獨特的級聯網絡使得測試結果中ICNet 在所選網絡中都呈現出較好的精度.

最后,本文對ICNet 網絡的訓練輪數進行了對比分析,如表3所示,隨著迭代次數的增加,測試mIoU先出現上升,然后呈現下降,在70 輪取得最佳mIoU值.可以看出,隨著訓練輪數增加,模型出現了過擬合情況.此外,本文展示了部分ICNet 分割結果,如圖8所示,可以看出,ICNet 對軌道的分割比較準確,但是對于人的分割精度并不是很理想,且容易將部分背景錯誤分類為人.針對人的分割精度較差的原因主要有兩點:第一是人的姿態更加復雜,且在整個圖像中的占比并不是很高,因此在訓練過程中即使錯誤分類,依然可以得到較高的精度;第二是因為數據集中人的數量并不是很多,從而導致樣本失衡.

表3 ICNet 在不同迭代輪數下的測試結果

圖8 部分測試結果圖

4.3 防侵入測試

在對防侵入進行測試中,本文基于軌道的分割結果將圖片分為禁止區、過渡區和安全區,然后根據人的分割結果及其所處的區域發出不同的預警信號.測試時,將幀率設置為20 幀/s,測試結果如表4所示,正確預警樣本包含48 張不包含人的樣本和5 張包含人但處于警告區的樣本,錯誤預警的3 張樣本是將人劃入到禁止區.

表4 防侵入系統測試結果

圖9是部分防侵入測試結果,從圖中可以看出,模型能夠很好的對軌道各區域進行正確劃分,效果良好.

圖9 防侵入分割測試結果

5 結論

本文針對門式起重機實際工作環境和工業需要,結合深度學習技術,對門式起重機防侵入問題進行了分析,并對門機的防侵入監測任務進行了詳細的建模,確定了門式起重機智能防侵入系統的方案.采用了語義分割算法(ICNet 網絡)對視場中的特定目標進行了檢測和分割,并對選用的ICNet的網絡結構做了詳細的介紹.針對門機的防侵入監測需求,使用Labelme 圖片標注工具制作了GCAID 數據集,用于訓練ICNet和其他語義分割模型,也對訓練網絡參數設置進行了詳細說明,并基于Keras 測試了包括ICNet、UNet、SegNet等語義分割模型.對比其他網絡,ICNet 網絡具有99.37%的訓練精度和1.81%的訓練損失,都展現出了最優的精度,并且在對實際防侵入測試中,也證明了基于語義分割的防侵入系統的智能性、可行性,為門式起重機或類似場景,提供了智能防侵入系統方案.