丁家皓,李柏巖,劉曉強,涂文奇,鄭佳明
(東華大學 計算機科學與技術學院,上海 201620)
近年來,隨著制造業的蓬勃發展,我國正從制造業大國向制造業強國轉變。隨著工業制造業規模的擴大,機器設備不斷增多,相應的強、弱電配電柜的使用量也與日俱增。配電柜在配電控制系統中起著至關重要的作用,是整個配電設備安全運行的重要保障[1],因此配電柜在全部接線完成,通電之前,必須進行接線連通檢測,以確保所有線路都被已正確連接,防止燒毀設備。通常,配電柜的組成元器件主要包括斷路器、PLC控制器、電源、繼電器、接線端子等,負責將電能分配到各個負荷部位、通常還具有調控以及信息傳遞等功能[2]。在配電柜配置過程中,各組件之間不正確連接可能導致系統范圍的故障,接線正確性是電路設備整體能否正常運行的先決條件。
傳統模式下的配電柜的生產從設計、制造、安裝到質檢的各個環節較為獨立,設計人員在最初設計配電柜結構時只考慮原理的正確性而忽略了在制造和安裝中布局的合理性[3],隨著德國EPLAN Platform軟件的問世和廣泛使用,這種狀況發生了的改變。該軟件為設計人員提供了虛擬樣機與物理實物的數字孿生模型,通過“基于網絡的布線優化”功能,可以在虛擬樣機進行器件布局,并自動優化接線關系[4],得到接線表和接線圖,將配電柜的生產過程帶入了一個數字化、一體化設計的生產模式中。
EPLAN Platform將設計、制造和安裝的過程聯系了起來,從制造過程角度優化了生產時間,提高了自動化,甚至可以直接導出配電柜的接線表和接線圖。但配電柜的接線檢測工作依舊是依賴于人工、工作量大、自動化程度低、容易出錯的工作。如圖1所示,檢測員根據接線圖,在配電柜面板上查找接線點,用檢測筆依次測量線路的通斷情況。這不僅對檢測員的經驗和精神集中度有極高要求,也無疑耗費了大量的人力和時間,增加了企業成本。顯然,采用新的技術手段,提高接線質量檢測工作流程的自動化程度,減輕人工檢測的工作難度和工作量,對配電柜生產企業尤為迫切。

圖1 基于接線圖的接線檢測示意圖
近年來,隨著計算機新技術的不斷涌現,以工業4.0所代表的智能制造技術發展迅速[5- 6],使用信息化、智能化技術改造傳統制造業成為一種趨勢[7],例如,朱雨賀[8]將YOLOv3(you only look once)應用于制造業的分揀工作中,并實現了深度學習下的自動分揀系統。王林[9]等以CNN(convolutional neural networks)為框架設計行人檢測系統,有效檢測了在各個狀態和姿勢下的行人;馮碩[10]等結合嵌入式系統和CNN結構設計實現了一套奇異果自動采摘系統,優化了繁重的采摘工作;梁赟[11]通對深度學習中定位與識別的研究,實現了生產線產品的檢測。這些工作都為生產現場的自動化和智能化改造提供了值得借鑒經驗。
本文通過分析傳統人工檢測配電柜接線工作流程,采用一系列計算機智能化技術,優化了傳統配線接線工作,主要貢獻如下:
1)設計并實現了接線檢測輔助系統,針對接線檢測的需求,提供人機交互繪制面板布局圖的界面,并結合接線表,為檢測員標示每對接線對在配電柜中的位置,優化了配線接線的質量檢查工作的效率和可靠性。
2)收集且標注了配電柜圖像,構建了配電柜常用器件數據集,借助卷積神經網絡識別機柜圖,輔助繪制面板布局圖。利用目標檢測網絡YOLOX檢測配電柜圖,對配電柜中的常用器件進行識別和定位。
智能接線檢測輔助系統的總體結構如圖2所示,分為服務器、移動檢測終端(上位機)和檢測儀三部分。接線檢測管理軟件系統服務器端運行在服務器上,其主要模塊包括系統管理、用戶管理、產品管理、檢測實例管理、檢測終端管理、檢測過程管理、檢測結果分析等。檢測終端是每個檢測員在工作現場使用的輔助設備,它提示當前要檢測的線對、并在屏幕上指示檢測點在配電柜面板上的位置。服務器與檢測終端之間采用TCP/IP協議C/S架構通過Wi-Fi連接。檢測儀是一個微型移動設備,它有兩只帶有作為導電觸頭的探針的檢測筆,用于連接要檢測的接線。工作時,檢測員將檢測終端貼掛在配電柜面板旁,查看當前要檢測的接線對及其接線柱的位置,然后把測量儀探針與接線柱接觸好,按“檢測”按鈕,檢測儀將測量結果(線路通斷情況)通過Wi-Fi傳回上位機傳回上位機,然后進入下一個接線對的檢測。

圖2 系統總體結構圖
智能輔助檢測系統在實際工作中的應用流程如圖3所示,總體可分成3部分,由技術人員、管理人員和檢測人員分別完成不同的工作并相互協助完成整個檢測流程:

圖3 系統工作流程圖
1)技術人員:首先,由技術人員設計配電柜的總體布局,得到接線表和接線圖,并配置完成配電柜,得到配電柜實物圖。其中,接線表中包含了對應配電柜中所有的接線對信息,包括源端與目標端器件的標號與標簽、線纜標簽、線色等信息;技術人員在完成所有工作后,將接線表、接線圖和配電柜實物圖交由管理人員,進入下一步工作。
2)管理人員:然后,由管理人員針對配電柜新建其對應的產品,并進入維護產品階段,導入接線表及配電柜實物圖,如缺少相關文件則聯系相關技術人員完成配電柜的配置并提供相關文件。管理人員通過系統中人機交互繪制界面,完成在配電柜面板實物圖層之上各個器件的繪制工作,系統記錄各個器件的坐標位置等信息得到面板布局圖,為檢測人員的檢測通過做好準備工作。
3)檢測人員:最后,檢測人員檢測面板布局圖是否繪制完畢并創建產品對應的檢測實例,如缺少面板布局圖則聯系管理人員進行產品面板布局圖的維護。系統通過接線對信息中的器件名與面板布局圖中繪制的器件名相對應,在檢測時,通過在配電柜實物圖上標識并高亮顯示當前接線對源端與目標端對應器件的位置,起到了幫助檢測人員快速定位目標器件的輔助檢測效果。
面對配電柜接線正確性的檢測問題,傳統的檢測方式需要質量檢測人員在配電柜讀取接線表和接線圖,得到各個器件之間的連接關系,并且在配電柜繁多的器件中尋找當前接線對的對應器件,使用萬用表的表筆連通器件接線柱,并觀察萬用表數據變化來確定器件連通情況,然后手工記錄每一條接線對的連通情況并撰寫檢測結果報告。因此這種檢測方式不但需要質量檢測人員擁有相當的專業知識,同時復雜且繁重的工作,加上手工的記錄方式,對于檢測人員的工作態度和精神集中程度都有很高的要求,同時,對于量產的同一配電柜,檢測員每檢測一個配電柜,就要重復讀取接線表和接線圖并找尋器件的工作,如此情況下,導致檢測工作的效率低下且對檢測員讀取接線圖尋找器件的成果的利用率低。
所以為了減少檢測員查找接線對和接線柱的時間,本系統引入了面板布局圖。面板布局圖是一種根據配電柜實際器件布局,在實物圖圖層之上繪制矩形框的示意圖,其中,矩形框用于標識器件的位置和名稱,便于用戶確定接線對關聯器件位置,系統通過數據庫記錄矩形框,保存了器件的位置和名稱,因此只需要一次接線表和接線圖的解讀,就可以用于所有該種配電柜的檢測,提高了讀圖成果的利用率,同時在檢測階段為檢測員顯示當前器件位置,幫助檢測員快速定位了目標。建立面板布局圖有兩種方式:基于實物圖利用人機交互界面繪制或基于機器學習中的標檢測技術輔助繪制。
1.3.1 人機交互繪制
本系統建立了人機交互界面,采用計算機輔助繪圖的方式,人機交互繪制面板布局圖,實現了矩形框的繪制、矩形框拖拽和移動、鎖定矩形框、調整圖片顯示比例、自定義顏色名稱等功能。系統對用戶導入的接線表中源端與目標端名稱抽取去重,獲得配電柜中各個器件對應的器件名稱,并顯示在器件列表中。用戶可在器件列表中選擇器件并在配電柜實物圖中用鼠標繪制出對應區域的半透明框圖,面板布局圖繪制效果如圖4所示,面板布局圖分為實物圖圖層及矩形框圖層,實物圖層為用戶導入的配電柜實物圖,矩形框圖層為用戶在系統人機交互界面中繪制的半透明框圖,系統記錄了其名稱及坐標信息。最終經繪制得到的面板布局圖將被拆分為配電柜實物圖和器件矩形框信息的方式,分別存入數據庫,并在檢測階段讀取,為檢測員指示當前檢測器件位置。

圖4 面板布局圖繪制示意圖
1.3.2 目標檢測輔助面板圖生成
雖然人機交互繪制面板圖的方式非常靈活,適應性好,但是對繪制人員來說,定位符號所對應器件并進行繪制的過程仍耗費過多時間,且要求繪制人員熟悉設備和器件布局。
近年來,計算機視覺領域,目標檢測、語義分割、圖片分類等人工智能技術發展迅速,并被廣泛應用運用于各個領域[12- 15],取得了很好的效果。所以,本文在人機交互繪制面板布局圖的基礎上,進一步采用計算機視覺領域目標檢測算法對配電柜中的常用器件進行分類定位,并與接線表中各個器件名稱所對應的符號進行匹配,幫助繪制人員快速定位當前器件名稱在配電柜中對應的所有器件,輔助面板圖布局圖的繪制。
針對此項需求,本系統采用YOLOX目標檢測算法[16]對配電柜實物圖中的常用器件進行識別定位,獲取器件的類別和坐標信息,并為用戶在配電柜圖片相應器件位置處進行標注,優化了面板圖繪制過程,進一步提高了配線接線的質量檢查工作的效率。
訓練器件檢測的機器學習模型,需要一個包含足夠多器件實物圖像的數據集。本文中用于建模的圖片有自拍配電柜面板圖片、來自配電柜廠家及網上收集的圖片,其中包括了各個廠商的產品圖片,如西門子、霍尼韋爾、艾默生等品牌的產品,篩選后的得到圖片共1 714張。
訓練數據集中選擇標注的常用器件類型共11種,分別是斷路器、接觸器、繼電器、接線端子、斷熔器底座、溫控器、插座、PLC模塊、變頻器、電源和互感器。標注采用開源工具LabelImg,主要針對圖像中的器件,標注其位置和類別,保存為xml格式文件。
YOLO[17]系列算法是目前目標檢測算法中比較主流的算法之一,并且YOLOv3網絡更是在工程領域中得到廣泛運用[18-19]。YOLOX是曠視科技公司在2021年提出超越YOLO系列的算法,其在YOLOv3~v5的基礎上改進,無論是在檢測速度還是在檢測精度上都優于YOLOv3~v5[20]。故本文選擇YOLOX預訓練模型建模。
2.2.1 YOLOX網絡結構
YOLOX整體可分為三部分——CSPDarknet、FPN和YOLO Head,如圖5所示。

圖5 YOLOX-X網絡結構
1)主干部分CSPDarknet:CSPDarknet負責特征提取,沿用了YOLOv5——BackBone網絡的基本結構,在輸入端對圖像采用Mosaic數據增強策略和Focus網絡結構,豐富了圖像的背景和通道。并在每次卷積后,YOLOX選擇進行歸一化處理并修改激活函數為SiLU函數。SiLU函數具有無上界有下界、平滑、非單調的特性,計算公式如式(1)所示:
f(x)=x*sigmoid(x)
(1)
YOLOX采用多維度檢測方法,共提取3種不同維度的特征層,分別為x1=80*80*256、x2=40*40*512、x3=20*20*1024,3種維度分別用于檢測圖像中不同大小的目標物體,維度越大,對于小物體的敏感度越高。其中在x3維度的特征提取過程中加入SPP[21](patial Pyramid Pooling空間金字塔池化)結構,有效地避免了因圖像裁剪和變形導致特征提取偏差的問題。
2)FPN特征金字塔:FPN負責對主干網絡的3個維度的特征進行特征融合,如圖5所示,在YOLOv5——Neck結構的基礎上對高層特征進行下采樣并與低層特征再進行一次堆疊,使得高層特征和低層特征能互相利用,起到了進一步加強特征的作用,并將3個維度特征分別傳遞到YOLO Head,即網絡的分類器部分中,用以檢測不同大小的目標。
3)YOLOHead解耦頭:以往的YOLO算法版本中,分類器部分都選擇將分類與回歸同時進行,即在一個1×1卷積里實現。但是,由于分類是對于物體特征差異的比較,而回歸則是提取的物體輪廓處特征,所以分類和回歸的過程可能會互相影響而產生沖突,不利于模型檢測,所以與以往的YOLO算法不同,YOLOX采用了解耦頭,將物體預測框和類別的預測分別實現。
2.2.2 YOLOX的特殊處理
1)無先驗框(anchor free):YOLOv3~v5都采用了先驗框,而YOLOX認為先驗框的預設在一定程度上限制了模型的預測效果,因為不同數據集目標可能出現的位置也會不同,并且設定好的先驗框對于不規則目標的檢測反倒帶來了干擾,模型默認的先驗框也一定不適合當前需解決問題的數據集,人為分析獲取最優先驗框無疑增加了模型訓練的難度和復雜度,降低了靈活性,同時隨著Anchor Free策略的發展,其預測精度已不亞于Anchor Base[22-23],所以YOLOX選擇使用AnchorFree策略。
2)SimOTA正樣本匹配:SimOTA能動態得為每個真實框分配正樣本數量,即各個不同的目標對應的正樣本數量不同,相比以往的正樣本分配策略速度更快,參數更少,分配更合理。其核心思想是為每一個真實框計算一個cost代價矩陣,矩陣包含了每個真實框與預測框重合程度和種類預測準確度,以及真實框中心點和特征點的距離的接近程度。計算真實框與預測框重合程度前10的IOU總和并取整得到k,cost最低的k個點即為該真實框的正樣本。
本文模型在Python 3.7、Tensorflow2.2.0的環境下運行,訓練的服務器GPU為NVIDIA TeslaGPU_V100_32 GB,內存為32 G。
mAP為目標檢測準確率的評價指標,通過精確率和召回率共同計算而來。其中,精確率指真陽性在預測為正類中的占比,計算公式如式(2)所示;召回率指真陽性在實際為正類中的占比,計算公式如式(3)所示:
(2)
(3)
式中,TP代表預測為正類并且實際為正類目標,FP代表預測為正類但實際為負類的目標。FN代表預測為負類但實際為正類的目標。
以召回率為X軸,精確率為Y軸建立直角坐標系,召回率和精確率相交點的集合即稱為P-R線,P-R線與召回率X軸所圍成圖形的面積即AP,而模型所有類別AP的平均值即mAP。
模型使用YOLOX-X預訓練,將數據集以9∶1∶1的比例劃分為訓練集、驗證集和測試集。訓練時,先對模型主干部分(CSPDarknet)進行凍結,凍結階段模型訓練參數如表1所示,此時模型特征提取網絡部分參數不變,僅對FPN結構參數微調。在100輪迭代后,解凍模型主干網絡,解凍階段模型訓練參數如表1所示,訓練迭代輪數不固定,通過觀察驗證集損失變化情況動態停止網絡,此時模型的主干不再凍結,網絡所有參數都會發生改變。

表1 模型訓練參數表
訓練集及驗證集損失函數變化趨勢如圖6所示。圖中train loss為訓練集損失,val loss為驗證集損失,同時為了便于觀察損失變化趨勢,對訓練集損失及驗證集損失折線進行平滑處理,得到smooth train loss和smooth train loss曲線。如圖6所示,模型在經過400輪迭代后,train loss和val loss都趨于平穩,因此在此處停止模型訓練,保存模型權重,并參照本章3.1節所介紹的AP和mAP的計算方法,根據測試集的預測結果計算mAP。

圖6 訓練集、驗證集loss變化圖
模型對各器件預測AP值結果如表2 所示。可以看到,模型的平均AP值以及達到了95.49%,且各個器件的AP值都保持在了90%以上,實驗結果顯示YOLOX網絡對各個器件都有較高的識別率,可以滿足工程需求。

表2 各類別預測數據及對應符號
將訓練好的YOLOX檢測模型運用到面板布局圖的繪制,在基于實物圖的人機交互繪制階段,在維護產品流程中,將配電柜實物圖通過訓練好的器件識別模型進行器件識別,得配電柜中器件的位置和名稱信息,并導入人機交互繪制面板布局圖階段,將從接線表中提取出的器件名中的器件符號與模型中識別的器件名稱相匹配,器件符號與器件名稱的對應關系如表2所示,系統提取器件符號并將模型中所檢測出的所有對應器件在圖片中的位置使用標注框高亮出來,用戶根據器件序號選擇對應的標注框,確認后該標注框變更為繪制框。例如,選擇器件名為KM1的器件,其中符號KM對應的器件為接觸器,數字1對應該器件的序號,系統讀取模型中接觸器的坐標信息,并在配電柜圖中以標注框的形式框標注出所有未繪制的接觸器在圖中所處的位置,用戶選擇序號為1的接觸器所對應的標注框,點擊該標注框,確認操作后,該標注框變更為繪制框并添加器件名稱KM1,優化了面板布局圖繪制過程。
本文針對配電柜接線檢測問題,實現了一種智能接線檢測輔助系統,并提出了一種用虛實結合的分層面板接線布局圖來引導檢測人員快速定位檢測點的方法,根據配電柜實際器件布局,在實物圖圖層之上繪制矩形框用于記錄器件的位置和名稱,并在檢測階段為檢測員在配電柜實物圖上進行標示,大大減輕了檢測員的工作強度,加快了檢測速度。同時提出了兩種方式針對面板布局圖的繪制:
1)采用計算機與人工相結合的方式繪制面板布局圖。以Qt為開發框架,C++為編程語言,建立了人機交互面板布局圖繪制界面,采用計算機輔助繪圖的方式,由人工通過計算機可視化交互界面繪制面板布局圖,為用戶提供一個可以自主繪制面板布局圖系統。
2)借助目標檢測網絡識別配電柜實物圖中的常用器件生成面板布局圖。收集并標注了配電柜常用器件數據集,通過YOLOX目標檢測算法檢測配電柜實物圖中的常用器件,進行識別和定位,得到器件在配電柜中的坐標位置,并在繪制階段為用戶標注出當前器件所在位置,為用戶提供了一個可直接在標注框中尋找對應器件的接口,優化了繪制過程的復雜程度和時間損耗。
當然,由于市場上配電柜器件的樣式眾多,目前系統對于非常用器件的識別能力有限,需收集更多的配電柜面板圖片,豐富數據集,訓練能力更強的模型。