面向智慧礦山的無(wú)人礦用卡車運(yùn)動(dòng)信息識(shí)別算法

顧同成，李 冰*，何 心，惠翔禹，徐武彬

（1.廣西科技大學(xué) 機(jī)械與汽車工程學(xué)院，柳州 545006；2.廣西土方機(jī)械協(xié)同創(chuàng)新中心，柳州 545006）

0 引言

礦山智能施工是在傳統(tǒng)施工基礎(chǔ)上加入智能排班、調(diào)度以及路徑規(guī)劃算法，并根據(jù)計(jì)算結(jié)果做出決策指令。其突出特點(diǎn)是為保證開(kāi)采礦物量的前提下，合理地分配人力和物力，實(shí)現(xiàn)智能調(diào)度和排班。智能施工的實(shí)現(xiàn)首先是對(duì)周圍信息進(jìn)行感知，但目前通過(guò)外界感知實(shí)時(shí)獲取礦山整體信息的能力仍然有待提高。在智慧礦山系統(tǒng)中，實(shí)現(xiàn)車輛行使方向的自行判斷，能夠有效控制小車行進(jìn)和提前進(jìn)行狀態(tài)修正，尤其是在彎道區(qū)域方向信息更是礦卡自動(dòng)過(guò)彎的重要因素之一，提高過(guò)彎效率。另外對(duì)感知模塊進(jìn)行深一步的優(yōu)化，不僅可以大大提高系統(tǒng)自動(dòng)排班、調(diào)度和路徑規(guī)劃的效率，還可以降低整個(gè)系統(tǒng)程序的運(yùn)行時(shí)間以及程序復(fù)雜性，有助于系統(tǒng)初始化響應(yīng)，為工程施工的智能化轉(zhuǎn)型打好堅(jiān)實(shí)的基礎(chǔ)。

礦山智能施工的主要應(yīng)用對(duì)象是挖掘機(jī)與礦卡。系統(tǒng)在感知礦山場(chǎng)景中的人、車輛和障礙物等信息后進(jìn)行判斷，經(jīng)排班、調(diào)度以及路徑規(guī)劃算法，再傳送指令至各礦卡車輛，使其自動(dòng)進(jìn)行最優(yōu)化工作。現(xiàn)有的智慧礦山系統(tǒng)中，通過(guò)礦卡上的雷達(dá)和激光雷達(dá)[1]等多傳感器融合的方式實(shí)現(xiàn)車輛對(duì)外界的感知以及對(duì)車輛自身的精準(zhǔn)定位。目前YOLO系列算法已經(jīng)運(yùn)用到多方面的目標(biāo)檢測(cè)中[2-6]，同樣也可以運(yùn)用到智慧礦山系統(tǒng)的感知層面。YOLO算法雖然能夠識(shí)別目標(biāo)種類和位置但對(duì)于相對(duì)地面靜止或者運(yùn)動(dòng)中的目標(biāo)，其無(wú)法給出目標(biāo)將要或者正在行駛的運(yùn)動(dòng)信息，進(jìn)而無(wú)法通過(guò)算法或者感知的層面解決運(yùn)動(dòng)信息識(shí)別的問(wèn)題，然而為了實(shí)現(xiàn)無(wú)人智能化施工，外界感知模塊需要完成更加全面的識(shí)別工作：路況監(jiān)控（障礙物）、工程車輛識(shí)別和定位以及運(yùn)動(dòng)信息的識(shí)別等。

目前用于檢測(cè)目標(biāo)方向的方法有很多，曹城華等人[7]研究基于Radon變換的空間目標(biāo)運(yùn)動(dòng)方向檢測(cè)，通過(guò)前期對(duì)小目標(biāo)進(jìn)行隨機(jī)方向和大小的位移后對(duì)序列幀圖像降噪、分割等處理，然后利用Radon變換對(duì)空間目標(biāo)的運(yùn)動(dòng)方向進(jìn)行檢測(cè)。該方法使用在小目標(biāo)的運(yùn)動(dòng)方向檢測(cè)上，而且針對(duì)在空間坐標(biāo)，在平面坐標(biāo)問(wèn)題上并不適用。李洪峰等人[8]研究了基于SIFT算法的物體運(yùn)動(dòng)方向識(shí)別方法，主要是找到兩幅圖像的特征點(diǎn)，采用SIFT算法，對(duì)兩幅圖像的特征點(diǎn)進(jìn)行匹配，選取三個(gè)特征點(diǎn)構(gòu)建三角形，分析三角形的變化進(jìn)而得出方向參數(shù)，然而此方法在SIFT匹配時(shí)會(huì)存在匹配誤差，精度有待提高。陳文帥等人[9]采用了Faster RCNN與YOLO-v3結(jié)合的方法實(shí)現(xiàn)了對(duì)極性電子元器件的定位和方向識(shí)別，此方法在識(shí)別靜止物體的方向上表現(xiàn)突出，但是識(shí)別速度不理想，不適合檢測(cè)運(yùn)動(dòng)中的物體。徐國(guó)瑞等人[10]研究運(yùn)用了圖像處理及回歸分析擬合的方法，規(guī)劃判斷機(jī)器人行走方向，但是由于前期對(duì)圖像處理的步驟較為繁瑣，無(wú)法滿足對(duì)行駛中車輛的方向快速檢測(cè)。秦攀等人[11]研究通過(guò)在現(xiàn)場(chǎng)架設(shè)微波傳感器，根據(jù)兩路微波觸發(fā)前后來(lái)判斷車輛的行駛方向，此法對(duì)環(huán)境的要求較高，不適用于礦山的施工過(guò)程。

總結(jié)以上方法，基于深度學(xué)習(xí)及圖像的處理方法雖然能夠判別目標(biāo)的運(yùn)動(dòng)方向，但對(duì)目標(biāo)運(yùn)動(dòng)信息的快速、準(zhǔn)確、實(shí)時(shí)的檢測(cè)方面還未取得有效成果。且國(guó)內(nèi)外在礦山智能施工領(lǐng)域中并沒(méi)有針對(duì)識(shí)別礦用自卸卡車運(yùn)動(dòng)信息的算法。在目前智慧礦山系統(tǒng)的搭建過(guò)程中，實(shí)現(xiàn)礦卡的無(wú)人調(diào)度、排班以及路徑規(guī)劃等方面均是通過(guò)傳感器再利用建立的坐標(biāo)系統(tǒng)進(jìn)行關(guān)系映射來(lái)實(shí)現(xiàn)礦卡的定位以及運(yùn)動(dòng)狀態(tài)信息識(shí)別。基于此方法實(shí)現(xiàn)的運(yùn)動(dòng)信息識(shí)別雖能夠達(dá)到目的，但是需要高精度的傳感器增加了系統(tǒng)復(fù)雜度及搭建的成本，同時(shí)增加了系統(tǒng)的整體響應(yīng)時(shí)間。

1 YOLO算法

YOLO系列，全稱“you only look once”，是基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法。本文將以YOLO-v5目標(biāo)檢測(cè)算法作為改進(jìn)對(duì)象對(duì)礦卡的運(yùn)動(dòng)信息進(jìn)行識(shí)別。

從2016年到2021年，YOLO系列更新?lián)Q代已經(jīng)有多個(gè)版本[12-15]。YOLO系列算法主要將輸入圖像劃分為n×n的方格，若某一個(gè)方格內(nèi)對(duì)應(yīng)著目標(biāo)物體的重心，則該方格負(fù)責(zé)檢測(cè)該目標(biāo)。每一個(gè)方格會(huì)產(chǎn)生多個(gè)預(yù)測(cè)框Bounding boxes，每個(gè)預(yù)測(cè)框Bounding boxes都會(huì)產(chǎn)生與之對(duì)應(yīng)的五個(gè)參數(shù)，分別是x，y，w，h和confidence。其中（x，y，w，h）為物體的中心位置相對(duì)于格子位置的偏移及寬度和高度，均被歸一化。Confidence置信度反映是否包含物體以及包含物體的情況下位置的準(zhǔn)確性，定義如式(1)所示：

式(1)中，Pr（object）——方格是否包含真實(shí)對(duì)象，包含取1，不包含取0；IOU——交并比，是“預(yù)測(cè)的邊框”和“真實(shí)的邊框”的交集和并集的比值。

2 改進(jìn)的YOLO-v5算法

目前YOLO系列算法是目標(biāo)檢測(cè)領(lǐng)域中的最主流的算法之一，方便快捷，識(shí)別速度快，準(zhǔn)確率較高，非常適合用在智慧礦山系統(tǒng)搭建中對(duì)移動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。為了繼續(xù)沿用YOLO-v5的識(shí)別功能，本文對(duì)模型做出如下改進(jìn)來(lái)實(shí)現(xiàn)運(yùn)動(dòng)信息的實(shí)時(shí)檢測(cè)：

1）修改YOLO-v5的輸出對(duì)象，提取識(shí)別過(guò)程中每一個(gè)最優(yōu)目標(biāo)預(yù)測(cè)框的左上角和右下角坐標(biāo)，修改算法使其返回并輸出目標(biāo)框的中心位置坐標(biāo)。

2）整改算法輸出結(jié)構(gòu)，提取目標(biāo)標(biāo)簽，利用標(biāo)簽索引使其每次因礦卡移動(dòng)而導(dǎo)致的坐標(biāo)變化值都能夠?qū)崟r(shí)保存。

3）將Open cv算子與YOLO-v5網(wǎng)絡(luò)融合，并且依次處理視頻流的每一幀畫(huà)面，實(shí)時(shí)調(diào)取礦卡的位置坐標(biāo)參數(shù)，在視頻數(shù)據(jù)流和圖像檢測(cè)中進(jìn)行圖像處理并以箭頭的形式表示前進(jìn)方向，方便工作人員實(shí)時(shí)觀察和系統(tǒng)糾偏。

4）在YOLO-v5執(zhí)行過(guò)程中，通過(guò)修改算法調(diào)取每一幀畫(huà)面礦卡車身和車頭的中心坐標(biāo)，并以向量的形式作為方向參數(shù)在各功能模塊之間傳輸。

5）為網(wǎng)絡(luò)設(shè)計(jì)并添加方向角轉(zhuǎn)換算法，將檢測(cè)的方向向量以轉(zhuǎn)角和轉(zhuǎn)向的形式輸出，為調(diào)度、排班以及路徑規(guī)劃模塊提供準(zhǔn)確實(shí)時(shí)的方向數(shù)據(jù)。

6）加入目標(biāo)識(shí)別判斷機(jī)制，防止因目標(biāo)的錯(cuò)檢、漏檢導(dǎo)致的錯(cuò)誤輸出甚至系統(tǒng)崩壞問(wèn)題。

7）在多車目標(biāo)方向判定時(shí)，加入多目標(biāo)方向檢測(cè)并行機(jī)制，避免車輛因出入視野影響其他車輛方向的判斷問(wèn)題，并且調(diào)整IOU閾值，使其輸出穩(wěn)定且準(zhǔn)確的預(yù)測(cè)結(jié)果。

8）加入漏檢報(bào)錯(cuò)機(jī)制，由于外部光線或者攝像頭原因?qū)е履骋粫r(shí)刻無(wú)法識(shí)別視野中的目標(biāo)時(shí)，將會(huì)針對(duì)漏檢對(duì)象及時(shí)報(bào)錯(cuò)，以備工作人員調(diào)整。

9）加入車輛動(dòng)靜識(shí)別機(jī)制。如車輛因自身故障長(zhǎng)時(shí)間停在某一位置時(shí)，算法識(shí)別之后自動(dòng)判斷是否停在準(zhǔn)停區(qū)域并將故障車輛具體位置實(shí)時(shí)上報(bào)。

本文整體算法具體執(zhí)行流程如圖1所示，圖2為本文方法執(zhí)行順序框圖。

圖1 算法執(zhí)行流程框圖

圖2 方法執(zhí)行框圖

2.1 方向角轉(zhuǎn)換算法

為實(shí)現(xiàn)將YOLO-v5檢測(cè)到的兩個(gè)坐標(biāo)點(diǎn)以方向參數(shù)的結(jié)果傳輸便于工作人員觀察以及智慧礦山其他模塊的準(zhǔn)確調(diào)用。現(xiàn)設(shè)計(jì)一種方向角轉(zhuǎn)換算法，將檢測(cè)到的同一礦卡的兩個(gè)目標(biāo)坐標(biāo)輸入，返回坐標(biāo)的方向向量和該方向向量的轉(zhuǎn)向及轉(zhuǎn)角，如圖3所示。算法對(duì)得到的兩個(gè)坐標(biāo)點(diǎn)進(jìn)行向量化處理，將向量的兩個(gè)值比較后，在笛卡爾坐標(biāo)系中進(jìn)行表示并返回該向量的轉(zhuǎn)角及轉(zhuǎn)向。具體實(shí)現(xiàn)效果如圖4所示（以4號(hào)礦卡為例）。

圖3 方向角轉(zhuǎn)換算法

圖4 實(shí)現(xiàn)效果

2.2 防誤識(shí)別機(jī)制

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法中，誤識(shí)別是常見(jiàn)的現(xiàn)象，研究者們也一直致力于降低誤識(shí)別率、提高算法的性能等方面的研究。降低誤識(shí)別的方法有很多，如：改變判斷閾值的大小、增加網(wǎng)絡(luò)訓(xùn)練的次數(shù)（epoch）、增加數(shù)據(jù)集大小等。基于此，此次改進(jìn)首先保證足夠的訓(xùn)練數(shù)據(jù)集，并在后期實(shí)驗(yàn)調(diào)整網(wǎng)絡(luò)預(yù)測(cè)模型的閾值用以保證識(shí)別車身和車頭的準(zhǔn)確率。接下來(lái)通過(guò)在預(yù)測(cè)腳本中針對(duì)方向參數(shù)的實(shí)際輸出準(zhǔn)確率做出優(yōu)化，保證方向參數(shù)輸出結(jié)果的可靠性。具體實(shí)現(xiàn)方法：驗(yàn)證檢測(cè)出的標(biāo)簽與目標(biāo)標(biāo)簽是否一致，隨后將坐標(biāo)對(duì)號(hào)入座進(jìn)行保存，然后依次按照標(biāo)簽對(duì)應(yīng)關(guān)系進(jìn)行后續(xù)處理，在此基礎(chǔ)上進(jìn)行方向轉(zhuǎn)換和對(duì)行駛方向進(jìn)行表示和輸出，避免因誤識(shí)別造成的方向轉(zhuǎn)換不準(zhǔn)和輸出混亂問(wèn)題。圖5是具體實(shí)現(xiàn)方法。

2.3 動(dòng)靜識(shí)別機(jī)制

在智慧礦山搭建系統(tǒng)中，為了提高系統(tǒng)整體智能化水平，需要系統(tǒng)自動(dòng)判斷礦卡停車位置是否是在準(zhǔn)停區(qū)。如礦卡停在除準(zhǔn)停區(qū)的其他位置，則證明礦卡出現(xiàn)故障，需要對(duì)其進(jìn)行維護(hù)。對(duì)故障礦卡的位置檢測(cè)十分重要，當(dāng)出現(xiàn)故障礦卡時(shí)，若車輛停在非準(zhǔn)停區(qū)，此時(shí)必須立刻識(shí)別出當(dāng)前位置坐標(biāo)傳輸至路徑規(guī)劃、調(diào)度和排班模塊，防止因故障車的停車導(dǎo)致的追尾事故。如圖6算法流程圖展示了在YOLO-v5車輛運(yùn)動(dòng)信息識(shí)別過(guò)程中上報(bào)故障車輛的執(zhí)行流程。

圖6 動(dòng)靜識(shí)別機(jī)制

檢測(cè)過(guò)程中每40幀畫(huà)面對(duì)各車坐標(biāo)列表進(jìn)行判斷并更新，檢查坐標(biāo)列表中第1個(gè)坐標(biāo)和最后一個(gè)坐標(biāo)的直線距離是否大于250mm（一個(gè)礦卡模型車的身位），如小于一個(gè)身位則證明此車靜止在原地，結(jié)合對(duì)目前停止車輛的區(qū)域判定，執(zhí)行判斷機(jī)制是否需立刻上傳該車坐標(biāo)。另外通過(guò)設(shè)置互斥參數(shù)（step）實(shí)現(xiàn)在YOLO-v5循環(huán)檢測(cè)程序中僅上傳一次故障車坐標(biāo)，防止因多次上傳坐標(biāo)導(dǎo)致的參數(shù)更新使得其他模塊無(wú)法持續(xù)工作的問(wèn)題。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)說(shuō)明

實(shí)驗(yàn)準(zhǔn)備五輛礦卡模型車，并在車頭標(biāo)號(hào)作為車頭識(shí)別特征（通過(guò)對(duì)礦卡編號(hào)更加有利于調(diào)度排班以及路徑規(guī)劃系統(tǒng)命令下發(fā)）。用Labelimg處理得到標(biāo)簽，訓(xùn)練改進(jìn)后的YOLO-v5模型，訓(xùn)練epoch取150，選擇yolo-v5s預(yù)訓(xùn)練權(quán)重，置信度閾值設(shè)置為0.6，IOU閾值設(shè)置為0.5。

本文實(shí)驗(yàn)在智慧礦山場(chǎng)景沙盤(pán)中開(kāi)展，沙盤(pán)正上方安置“天眼”攝像頭實(shí)時(shí)采集礦山數(shù)據(jù)，礦卡模型車采用光電傳感器循跡行駛，運(yùn)行訓(xùn)練得到的YOLO-v5運(yùn)動(dòng)信息識(shí)別模型處理視頻流和圖片數(shù)據(jù)，并對(duì)沙盤(pán)狀況實(shí)時(shí)監(jiān)控同時(shí)檢測(cè)運(yùn)動(dòng)信息。

3.2 實(shí)驗(yàn)結(jié)果

訓(xùn)練完的運(yùn)動(dòng)信息識(shí)別模型對(duì)五輛礦卡模型運(yùn)動(dòng)方向檢測(cè)結(jié)果如圖7所示。

圖7 模型識(shí)別及輸出效果

能夠發(fā)現(xiàn)基于本文改進(jìn)算法的運(yùn)動(dòng)信息識(shí)別可以很有效的解決方向問(wèn)題，無(wú)漏檢的情況，而且檢測(cè)的置信度也很高，定位精準(zhǔn)，結(jié)果可靠。在真實(shí)礦山排班調(diào)度過(guò)程中，難免會(huì)遇到某一輛車不在視野范圍中從而未檢測(cè)到其運(yùn)動(dòng)信息，面對(duì)這種情況，模型也會(huì)將未檢測(cè)到的目標(biāo)車輛輸出，從而方便操作人員或系統(tǒng)做下一步指令，圖8展示的是在未檢測(cè)到2、3號(hào)車時(shí)模型的輸出。

圖8 漏檢輸出

圖9 效果展示

實(shí)驗(yàn)證明經(jīng)過(guò)改進(jìn)的YOLO-v5目標(biāo)檢測(cè)算法對(duì)礦卡運(yùn)動(dòng)信息識(shí)別效果較好，并且針對(duì)未檢測(cè)的目標(biāo)會(huì)實(shí)時(shí)上報(bào)，上報(bào)準(zhǔn)確，另外對(duì)礦卡模型位置的定位準(zhǔn)確，為系統(tǒng)控制車輛行駛提供了便利。

4 項(xiàng)目應(yīng)用

將模型整合到模擬礦山智能排班調(diào)度系統(tǒng)中，經(jīng)信息通訊指令，把運(yùn)動(dòng)信息實(shí)時(shí)傳輸?shù)较⑥D(zhuǎn)發(fā)中心，便于其他模塊對(duì)運(yùn)動(dòng)信息的調(diào)取和監(jiān)控。如圖展示的是將模型運(yùn)用到項(xiàng)目中的識(shí)別效果。

5 結(jié)語(yǔ)

本文以目標(biāo)檢測(cè)中運(yùn)用普遍的YOLO-v5算法為基礎(chǔ)，針對(duì)智慧礦山中識(shí)別礦卡運(yùn)動(dòng)信息這一特定的問(wèn)題進(jìn)行改進(jìn)，改變?cè)瓉?lái)的輸出信息并根據(jù)測(cè)試中遇到的問(wèn)題進(jìn)行算法優(yōu)化，在保障識(shí)別準(zhǔn)確性的前提下提高了識(shí)別的魯棒性。本文改進(jìn)算法在實(shí)現(xiàn)礦卡本身識(shí)別的同時(shí)還實(shí)現(xiàn)了運(yùn)動(dòng)信息檢測(cè)，提高了網(wǎng)絡(luò)的實(shí)用性和檢測(cè)的泛化性。結(jié)合本文提出的方向角轉(zhuǎn)換算法，將實(shí)際轉(zhuǎn)角和方位進(jìn)行可視化輸出，為后續(xù)工作提供方向參數(shù)，更方便人為實(shí)時(shí)觀察和系統(tǒng)糾偏。由于本論文采用YOLO-v5目標(biāo)檢測(cè)算法，其原算法具有的不足，如處理速度隨著視野中目標(biāo)個(gè)數(shù)的增加而降低、受光線等環(huán)境的影響因素較大等缺點(diǎn)也體現(xiàn)在本論文的改進(jìn)算法中,今后將會(huì)針對(duì)此進(jìn)行優(yōu)化，增強(qiáng)算法的健壯性并將實(shí)地收集智慧礦山以及真實(shí)礦卡信息，進(jìn)一步驗(yàn)證本文改進(jìn)算法的有效性。