基于HALCON的機(jī)器視覺識(shí)別綜合實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)

摘 要 為了增強(qiáng)機(jī)器視覺與圖像處理課程教學(xué)效果與工程實(shí)用性，基于HALCON集成開發(fā)環(huán)境，研究開發(fā)一個(gè)復(fù)雜環(huán)境紙箱識(shí)別機(jī)器視覺綜合性實(shí)驗(yàn)教學(xué)項(xiàng)目。該實(shí)驗(yàn)項(xiàng)目首先使用圖像標(biāo)注工具Deep Learning Tool對采集到的紙箱圖像進(jìn)行標(biāo)注，然后將標(biāo)注后的文件集成到HALCON環(huán)境中進(jìn)行訓(xùn)練，最后通過調(diào)用訓(xùn)練后的紙箱定位模型驗(yàn)證機(jī)器視覺效果。實(shí)驗(yàn)項(xiàng)目包括學(xué)生動(dòng)手采集紙箱圖像和編寫代碼過程，可有效加深學(xué)生對機(jī)器視覺理論知識(shí)的理解，促進(jìn)學(xué)生工程實(shí)踐能力的培養(yǎng)。

關(guān)鍵詞 機(jī)器視覺與圖像處理；深度學(xué)習(xí)；HALCON；實(shí)驗(yàn)教學(xué)

中圖分類號(hào)：G642.423 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2024）18-0132-06

0 引言

機(jī)器視覺與圖像處理是一門新工科屬性的強(qiáng)實(shí)用性課程，也是一門多學(xué)科交叉的綜合性課程，具有數(shù)學(xué)公式多、理論原理抽象、學(xué)習(xí)起點(diǎn)高、理解難度大等特點(diǎn)[1-2]。為了增強(qiáng)課程的教學(xué)效果、達(dá)成教學(xué)目的，課程組面向?qū)嶋H工程應(yīng)用需求，強(qiáng)化實(shí)踐教學(xué)，采用梅卡曼德Mech-Eye DEEP系列的3D相機(jī)和MVTec公司開發(fā)的HALCON集成開發(fā)環(huán)境，研發(fā)設(shè)計(jì)復(fù)雜環(huán)境紙箱識(shí)別機(jī)器視覺綜合性實(shí)驗(yàn)教學(xué)項(xiàng)目。該項(xiàng)目不僅可以讓學(xué)生實(shí)際了解工業(yè)界常用機(jī)器視覺與圖像處理工具軟硬件平臺(tái)，訓(xùn)練學(xué)生的動(dòng)手能力，也可以以實(shí)際工程應(yīng)用帶動(dòng)課本理論學(xué)習(xí)，幫助學(xué)生融會(huì)貫通抽象的理論知識(shí)，提高學(xué)習(xí)主觀能動(dòng)性，增強(qiáng)學(xué)生在實(shí)踐中發(fā)現(xiàn)問題和解決問題的能力，進(jìn)一步培養(yǎng)學(xué)生的思考創(chuàng)新能力、理性批判能力和終身學(xué)習(xí)能力。

1 HALCON集成開發(fā)環(huán)境簡介

HALCON是德國MVTec公司開發(fā)的一套完善、標(biāo)準(zhǔn)的機(jī)器視覺算法軟件包，擁有可交互式集成開發(fā)環(huán)境HDevelop，算子提供C、C++、C#和VB等多種編程語言，用戶可以利用開發(fā)環(huán)境HDevelop直接導(dǎo)出不同語言的程序代碼，從而減少系統(tǒng)開發(fā)的難度，節(jié)約產(chǎn)品成本，縮短軟件開發(fā)周期。

HALCON具有深度學(xué)習(xí)版本，采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對圖像的異常檢測、分類、目標(biāo)檢測、實(shí)例分割、語義分割和邊緣提取。HALCON在深度學(xué)習(xí)模塊方面的特色主要體現(xiàn)在代碼集成度高、便捷性高、可視化更加多樣、針對性更強(qiáng)，并且更加容易和傳統(tǒng)算法與深度學(xué)習(xí)算法相結(jié)合。HALCON在歐美日的工業(yè)界已經(jīng)是公認(rèn)的具有最佳效能的機(jī)器視覺軟件[3-5]。

2 實(shí)驗(yàn)教學(xué)項(xiàng)目步驟設(shè)計(jì)

2.1 圖像采集與標(biāo)注

圖像數(shù)據(jù)集的搭建是深度學(xué)習(xí)的基礎(chǔ)。本項(xiàng)目的檢測目標(biāo)選用工業(yè)生產(chǎn)作業(yè)中常用的紙箱。為此，項(xiàng)目首先采用梅卡曼德Mech-Eye DEEP系列的3D相機(jī)在作業(yè)現(xiàn)場實(shí)地拍攝各類工況的紙箱圖像，共采集紙箱圖像518張，圖像真實(shí)有效，且具有應(yīng)有的價(jià)值。部分紙箱采集圖像如圖1所示。

圖像標(biāo)注的質(zhì)量會(huì)在一定程度上影響網(wǎng)絡(luò)訓(xùn)練的效果。本項(xiàng)目采用數(shù)據(jù)集專用標(biāo)記軟件Deep Learning Tool對采集的紙箱圖像進(jìn)行標(biāo)注，標(biāo)注后生成的.hdict文件能夠集成到HALCON集成開發(fā)環(huán)境HDevelop中直接進(jìn)行訓(xùn)練。與當(dāng)前流行的圖像標(biāo)注工具LabelImg相比，Deep Learning Tool的標(biāo)注界面可視化更高，標(biāo)注起來更加方便快捷。該軟件提供不同種類的標(biāo)注方法，如圖像分類、異常檢測、對象檢測、語義分割、實(shí)例分割等。

在Deep Learning Tool不同種類的標(biāo)注中，對象檢測分為軸對齊矩形和自由矩形。軸對齊矩形的對象檢測是簡易的對象檢測方法，使用與坐標(biāo)軸對齊的矩形包圍框進(jìn)行標(biāo)注。自由矩形的對象檢測是進(jìn)階的對象檢測方法，該方法尤其適用于傾斜對象，也可以計(jì)算對象的尺寸。

考慮到紙箱的擺放可能無序、傾斜，紙箱圖像的標(biāo)注方法采用自由矩形的對象檢測方法。標(biāo)注界面可以顯示標(biāo)簽類別、標(biāo)注框中心點(diǎn)的X坐標(biāo)和Y坐標(biāo)、標(biāo)注框的高度和寬度以及標(biāo)注框的角度。

2.2 網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練

深度學(xué)習(xí)是一系列機(jī)器學(xué)習(xí)的方法集合，其算法結(jié)構(gòu)類似于多層次的神經(jīng)網(wǎng)絡(luò)，對大量的訓(xùn)練樣本圖像進(jìn)行學(xué)習(xí)，提取各個(gè)層次的特征，使網(wǎng)絡(luò)具有判別和推理的能力。

深度學(xué)習(xí)的本質(zhì)是參數(shù)迭代，學(xué)習(xí)完成后輸出模型，與傳統(tǒng)的學(xué)習(xí)模型相比，最明顯的區(qū)別就是網(wǎng)絡(luò)更加復(fù)雜[6-7]。HALCON中集成的基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)模型及說明如下：

1）pretrained_dl_classifier_alexnet.hdl，該網(wǎng)絡(luò)模型適用于簡單的分類任務(wù)；

2）pretrained_dl_classifier_compact.hdl，該網(wǎng)絡(luò)模型的優(yōu)點(diǎn)是節(jié)省內(nèi)存和提高運(yùn)行效率；

3）pretrained_dl_classifier_enhanced.hdl，該網(wǎng)絡(luò)模型比網(wǎng)絡(luò)模型2擁有更多的隱含層，計(jì)算更加復(fù)雜，因此可以勝任更復(fù)雜的任務(wù)，但需要更多的內(nèi)存和更長的訓(xùn)練時(shí)間；

4）pretrained_dl_classifier_mobilenet.hdl，基于該網(wǎng)絡(luò)模型構(gòu)造的分類器是一個(gè)小而低功耗的模型，因此更適合移動(dòng)和嵌入式視覺應(yīng)用；

5）pretrained_dl_classifier_resnet50.hdl，該網(wǎng)絡(luò)模型適用于更復(fù)雜的任務(wù)，與網(wǎng)絡(luò)模型3的結(jié)構(gòu)不同，相比之下，其訓(xùn)練更穩(wěn)定、魯棒性更好。

紙箱定位流程如圖2所示，主要實(shí)現(xiàn)算子如下。

2.2.1 圖像數(shù)據(jù)預(yù)處理

1）通過read_dict算子讀取標(biāo)注好的數(shù)據(jù)文件并存入數(shù)據(jù)字典DLSample中，DLSample可以充當(dāng)一個(gè)數(shù)據(jù)庫，存儲(chǔ)數(shù)據(jù)的所有必要信息。

2）通過split_dl_dataset算子對紙箱數(shù)據(jù)集進(jìn)行分割，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集三個(gè)部分，占比分別為70%、15%和15%。

3）接著通過create_dict算子創(chuàng)建預(yù)處理字典DLModelDetectionParam并通過set_dict_tuple算子設(shè)置相關(guān)參數(shù)。

4）通過create_dl_preprocess_param_from_model算子從深度學(xué)習(xí)網(wǎng)絡(luò)中檢索所有必要的預(yù)處理參數(shù)。

5）通過preprocess_dl_dataset算子對數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理后會(huì)將數(shù)據(jù)存入磁盤中，這樣可以減少后期訓(xùn)練的時(shí)間。預(yù)處理完成后可以使用算子dev_display_dl_data對預(yù)處理后的數(shù)據(jù)進(jìn)行可視化。

2.2.2 模型構(gòu)建

考慮到采集的紙箱圖像數(shù)量較多但種類較為單一，所以選用pretrained_dl_classifier_compact.hdl網(wǎng)絡(luò)模型。通過create_dl_model_detections算子創(chuàng)建網(wǎng)絡(luò)模型，并通過set_dl_model_param算子設(shè)置學(xué)習(xí)率（learning_rate）、批量大小（batch_size）、迭代次數(shù)（epoch）等模型參數(shù)。

1）學(xué)習(xí)率是深度學(xué)習(xí)的一個(gè)重要參數(shù)，決定訓(xùn)練期間如何對梯度進(jìn)行加權(quán)，意味著目標(biāo)函數(shù)是否能以及何時(shí)能收斂至局部最小值。

2）批量大小表示在一次迭代中能夠處理的圖像數(shù)量，直接影響網(wǎng)絡(luò)訓(xùn)練速度。

3）迭代次數(shù)是使用訓(xùn)練集的所有數(shù)據(jù)進(jìn)行的一次完整訓(xùn)練過程。

通過train_dl_model算子進(jìn)行模型訓(xùn)練，訓(xùn)練結(jié)束后輸出的最佳模型保存為hdl文件。通過evaluate_dl_model算子對模型進(jìn)行評估，主要評估指標(biāo)有全類平均正確率（mean Average Preci-sion，mean_ap）、損失函數(shù)、精確率和召回率等。如果評估指標(biāo)不夠理想，可以進(jìn)行模型調(diào)優(yōu)，即重新設(shè)置參數(shù)訓(xùn)練。

2.2.3 模型預(yù)測

通過算子apply_dl_model調(diào)用訓(xùn)練好的紙箱定位模型，對測試圖像進(jìn)行預(yù)測。通過算子get_dict_tuple獲取字典中的鍵值，包括定位框所屬類別、推理邊界框的中心點(diǎn)坐標(biāo)等信息。

2.3 網(wǎng)絡(luò)模型評估

數(shù)據(jù)集檢測會(huì)產(chǎn)生以下四類檢測結(jié)果：

1）預(yù)測正確，原本是正樣本，檢測也為正樣品（TP，真陽性）；

2）預(yù)測正確，原本是負(fù)樣本，檢測也為負(fù)樣本（TN，真陰性）；

3）預(yù)測錯(cuò)誤，原本是負(fù)樣本，檢測為正樣本（FP，假陽性）；

4）預(yù)測錯(cuò)誤，原本是正樣本，檢測為負(fù)樣本（FN，假陰性）。

其中，正樣本表示前景目標(biāo)，負(fù)樣本表示背景。TP+FP+TN+FN表示樣本總數(shù)，TP+FN表示實(shí)際正樣本數(shù)，F(xiàn)P+TN表示實(shí)際負(fù)樣本數(shù)，TP+FP表示預(yù)測結(jié)果為正樣本數(shù)（包括預(yù)測正確和預(yù)測錯(cuò)誤的），TN+FN表示預(yù)測結(jié)果為負(fù)樣本數(shù)（包括預(yù)測正確和預(yù)測錯(cuò)誤的）。

對于訓(xùn)練好的網(wǎng)絡(luò)模型需要進(jìn)行評估，一些重要的性能評估指標(biāo)介紹如下。

精確率（Precision）表示預(yù)測正確的正樣本在全部預(yù)測是正樣本中的占比，計(jì)算式為：

召回率（Recall）表示預(yù)測正確的正樣本在實(shí)際所有正樣本中的占比，計(jì)算式為：

精確率和召回率的取值在0～1之間，數(shù)值越接近1，目標(biāo)檢測效果越好。一個(gè)好的目標(biāo)檢測模型精確率和召回率兩項(xiàng)指標(biāo)越高越好，但是由于置信度閾值設(shè)定的不同，這兩個(gè)指標(biāo)的變化趨勢往往相反，因此，在實(shí)際檢測場景中需要根據(jù)自己的判斷選擇取舍或者繪制Precision-Recall（簡稱P-R）曲線幫助分析[8]，如圖3所示。

根據(jù)P-R曲線提出平均精度（Average Preci-sion，AP）性能指標(biāo)，一般來說，目標(biāo)檢測模型越好，AP值越高，其計(jì)算式為：

實(shí)際的P-R曲線中，召回率是離散的，AP的計(jì)算式為：

對于多類別場景，引入mAP（Mean Average Precision），表示多個(gè)類別AP的平均值。mAP的大小在0～1之間，值越大，目標(biāo)檢測效果越好，其計(jì)算式為：

式中，N代表總類別數(shù)。

訓(xùn)練過程中，設(shè)置參數(shù)“batch_size”為2，表示一次處理2張圖像數(shù)據(jù)。訓(xùn)練過程如圖4所示，其中，最上排的圖片是原始輸入的紙箱圖像，中間排的圖片是識(shí)別出的實(shí)例對象，最下排的圖片是訓(xùn)練后得到的定位框。

圖5是進(jìn)行模型訓(xùn)練時(shí)的一些必要參數(shù)信息，圖中顯示正在使用train_dl_model算子進(jìn)行模型訓(xùn)練，Epoch表示迭代次數(shù)，Iteration表示使用訓(xùn)練樣本對模型進(jìn)行的一次參數(shù)更新過程，Time elapsed表示已經(jīng)訓(xùn)練的時(shí)間，Time left表示訓(xùn)練剩余時(shí)間，還給出了評估指標(biāo)mean_ap和模型參數(shù)的具體信息：學(xué)習(xí)率learning_rate=0.000 050，批量大小batch_size=2，動(dòng)量momentum=0.99，正則化參數(shù)weight_prior=0，以及圖片維度image_dimensions=640×480×1，表示圖片為寬度640像素、高度480像素的單通道灰度圖。

圖5還顯示了損失函數(shù)Loss與迭代次數(shù)Epochs的變換曲線，可以看出損失函數(shù)曲線隨著迭代次數(shù)的增加由急劇下降到逐漸平穩(wěn)，檢測準(zhǔn)確率也在不斷提高。

使用mean_ap（mean Average Precision）指標(biāo)評估網(wǎng)絡(luò)訓(xùn)練后得到的紙箱定位模型，mean_ap與迭代次數(shù)Epochs的變換曲線如圖6所示。可見，指標(biāo)mAP隨著迭代次數(shù)的增加，由時(shí)大時(shí)小上升到逐漸平穩(wěn)，檢測準(zhǔn)確率不斷提高。

3 實(shí)驗(yàn)結(jié)果分析

完成以上實(shí)驗(yàn)步驟以后，學(xué)生可以通過算子apply_dl_model調(diào)用訓(xùn)練好的紙箱定位模型對測試圖像進(jìn)行預(yù)測，觀察機(jī)器視覺檢測效果。圖7是基于HALCON集成開發(fā)環(huán)境編寫的界面。

通過算子get_dict_tuple獲取字典中的鍵值。

1）Bbox_Row1：推斷邊界框定義在檢測物體的中心點(diǎn)的行坐標(biāo)。

2）Bbox_Col1：推斷邊界框定義在檢測物體的中心點(diǎn)的列坐標(biāo)。

3）Bbox_Length1：推斷邊界框邊1一半的長度。

4）Bbox_Length2：推斷邊界框邊2一半的長度。

5）Bbox_Phi：水平軸和Bbox_Length1之間的角度。

6）Bbox_Confidence：邊界框推理的置信度值。

圖8是紙箱視覺辨識(shí)測試結(jié)果圖，辨識(shí)結(jié)果顯示所有定位框所屬的類別是paperbox，說明識(shí)別出來的都屬于紙箱類別，得到的置信度值分別是1.00、1.00、1.00、0.91和0.85，置信度在0～1之間，置信度越高，表示定位的效果越好。

圖9是獲取到的定位框的具體信息圖，可以得到五個(gè)紙箱定位框中心點(diǎn)的行坐標(biāo)分別為91.384 6、151.61、112.438、237.538和276.904；五個(gè)紙箱定位框中心點(diǎn)的列坐標(biāo)分別為217.464、213.655、264.148、381.125和256.765；五個(gè)紙箱定位框邊1一半的長度分別為23.66、23.825 1、19.746、20.887和59.272 4；五個(gè)紙箱定位框邊2一半的長度分別為30.697 2、30.127 4、48.306 2、84.397 2和49.152 1；五個(gè)紙箱定位框的邊1和水平軸的弧度分別為-0.060 817 4、-0.058 319 9、0.017 574、-0.282 788和-0.010 411 7；五個(gè)紙箱定位框的置信度值分別為1.0、1.0、0.999 979、0.911 363和0.854 632。在紙箱定位結(jié)果圖中紙箱定位框的置信度值保留兩位小數(shù)。

學(xué)生可以通過調(diào)用訓(xùn)練好的模型對紙箱圖像測試集進(jìn)行定位，得到定位結(jié)果和具體定位框參數(shù)信息，且定位結(jié)果良好，置信度接近于1。

4 結(jié)束語

本文運(yùn)用Deep Learning Tool圖像標(biāo)注工具和HALCON集成開發(fā)環(huán)境設(shè)計(jì)開發(fā)了一種機(jī)器視覺紙箱定位綜合實(shí)驗(yàn)項(xiàng)目。本實(shí)驗(yàn)項(xiàng)目首先對采集到的紙箱圖像進(jìn)行標(biāo)注，然后導(dǎo)入HALCON環(huán)境，進(jìn)行數(shù)據(jù)預(yù)處理、模型構(gòu)建和模型預(yù)測，得到紙箱定位最佳模型，最后調(diào)用訓(xùn)練好的紙箱定位模型，對測試集進(jìn)行測試，完成對機(jī)器視覺紙箱定位效果的驗(yàn)證。

Deep Learning Tool標(biāo)注軟件具有各類標(biāo)注方法，HALCON環(huán)境中也集成了多種檢測方法，學(xué)生可以根據(jù)理論知識(shí)和實(shí)際情況選用不同的標(biāo)注方法和檢測方法，對各種定位目標(biāo)進(jìn)行實(shí)驗(yàn)。本實(shí)驗(yàn)項(xiàng)目不僅可以讓學(xué)生鞏固圖像處理理論知識(shí)，了解市場上常用的機(jī)器視覺開發(fā)軟件，還可以鍛煉學(xué)生的編程應(yīng)用能力、實(shí)踐動(dòng)手能力和創(chuàng)新開發(fā)能力，取得良好的教學(xué)效果。

5 參考文獻(xiàn)

[1] 楊澤青，張明軒，陳英姝，等.基于機(jī)器視覺的表面缺 陷檢測方法研究進(jìn)展[J].現(xiàn)代制造工程，2023（4）：143- 156.

[2] 鞏師鑫，趙國瑞，王飛.機(jī)器視覺感知理論與技術(shù)在煤 炭工業(yè)領(lǐng)域應(yīng)用進(jìn)展綜述[J].工礦自動(dòng)化，2023，49（5）： 7-21.

[3] 李穎，段玉坤，秦浩然，等.基于機(jī)器視覺Halcon軟件 的齒輪參數(shù)檢測系統(tǒng)[J].機(jī)電工程技術(shù)，2023，52（3）： 188-193.

[4] 程強(qiáng)，黃河，許靜靜，等.一種基于雙目視覺和Halcon 的高效機(jī)器人手眼標(biāo)定方法[J].現(xiàn)代電子技術(shù)，2023， 46（13）：35-42.

[5] 陳嵐萍，劉寒寒，馬正華.基于Halcon的普通工件目標(biāo) 檢測方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（8）：2576- 2581.

[6] 楊航，陳瑞，安仕鵬，等.深度學(xué)習(xí)背景下的圖像三維 重建技術(shù)進(jìn)展綜述[J].中國圖象圖形學(xué)報(bào)，2023，28（8）： 2396-2409.

[7] 楊鋒，丁之桐，邢蒙蒙，等.深度學(xué)習(xí)的目標(biāo)檢測算法 改進(jìn)綜述[J].計(jì)算機(jī)工程與應(yīng)用，2023，59（11）：1-15.

[8] 張超.P-R曲線與模型評估問題研究[J].現(xiàn)代信息科 技，2020，4（4）：23-24，27.