基于改進YOLOv5的霍爾測試儀輔助操控系統

中圖分類號：TP391.4 文獻標志碼：A 文章編號：1000-5137（2025）02-0223-06

Abstract：ToehancethetsingefiencyofteHallectmeasurement，nintellgentasistiecontrolsstemtatinteated technologiessuchasmotioncontrol，objectdetection，andmachinevisionwasconstructed.Theexteralkeyboardbutonsonthe Halltestersetasthedetectiontargets wereusedinthesystem.Thedetectionalgorithmwasimprovedthroughtheoptimizationof the you only look once（YOLO） v5 loss function and the structure of the detection head，in order to promote detection performance.Aditionally，bychanging theroboticarm motion mode，the motion trajectorywasoptimized toensure stableand accurate button clicks for automated testing tasks.With the above improvements，the system objectdetection accuracy was increased by 10.8% ，reaching 87.3% ；therobotic arm correct click ratewasincreased by 10.0% ，reaching 95.0% ，and the completion rate for the system assisted byHall tester was increased by 20.0% ，reaching 80.0% ：

KeyWords：object detection；automation；artificial inteligence；keyboard recognition

0 引言

近年來，集成人工智能算法和機器學習功能的自動化系統一直都是熱門的研究方向.如LI等[1設計了一種果蔬自動分揀輸送系統，結合機械臂與yolonolylookonce（YOLO）v5檢測算法，實現果蔬分揀運輸的智能化.徐毓松等2提出了一種基于從示范中學習（LfD）的機器人系統，通過實時檢測人類示范動作，理解并獲得動作基礎，然后通過機器人手臂進行復制，再現人類用戶演示的任務，實現系統的自動化工作，以避免執行新任務時重復編程和優化的操作.HWANG等3提出了一種基于深度強化學習（DRL）分層控制的雙足機器人多模式步態生成系統，通過生成足跡序列，可以設計多模式任務場景，有效提高雙足機器人在復雜環境下行走的穩定性以及泛化性.

霍爾測試儀作為一種重要的測量工具，在材料科學和電子學領域發揮著不可替代的作用，利用霍爾測試儀進行無人自動化測試，可以提升測試效率.因此，本文作者提出了一種基于改進YOLOv5的霍爾測試儀輔助操控系統，使用深度相機作為該套系統的“眼睛”，使之擁有感知目標場景變化的能力，具有實時性和適應性;以機械臂作為“人手”，點擊鍵盤相應按鈕，操控測試儀完成測試.為使檢測更為快速，選用速度快、輕量化、精度高的YOLOv5算法[4作為檢測算法，用于檢測外接于霍爾測試儀上實現測試操作的鍵盤按鈕.另外，鑒于本次檢測數據集樣本有限且檢測任務對精度和實時性有一定要求，本文作者還改進了YOLOv5算法模型.首先，將原模型中的complete intersection over union（Ciou）Loss函數改進為enhanced intersection over union（Eiou）[5]Loss函數，提升模型收斂和檢測速度，使系統具有更好的實時性能;其次，將原模型中的耦合式檢測頭（couple head）改進為解耦式檢測頭（decouple head）[6]，增加學習分支，有針對性地學習目標信息，有效改善了模型過擬合問題，提升系統檢測精度，將基于YOLOv5改進后所得到的新的算法模型命名為ED_YOLOv5.

最后，針對實驗中機械臂因限位問題導致執行任務中斷、運行過程中出現顛簸連觸、誤觸等問題導致機械臂未能完成任務等問題，提出高位點方案，提升角度空間控制效率7，從而優化機械臂運動軌跡，控制機械臂精準點擊目標按鈕.

本系統主要由3部分組成：Jibot機械臂作為機械運動單元，AstraProPlus深度攝像頭作為視覺單

元，計算機作為控制單元，如圖1所示.將腳本導人Jibot開發套件中，實現對機械臂運動的精確控制；采用AstraProPlus深度攝像頭，捕捉外接輸入設備圖像，并加載到YOLOv5算法中，實現鍵盤上的按鈕檢測；控制單元將檢測到的目標按鈕圖像坐標轉化為機械臂系下坐標，并傳輸相應指令，控制機械臂接受指令后執行點擊任務.

1提出方法

1.1 ED_YOLOv5目標檢測模型

1.1.1改進損失函數YOLOv5算法中的CiouLoss函數

式中： I_ou 為預測框和真實框的交集和并集之比；b， b^gt 分別代表了預測框和真實框的中心點； ρ 代表計算兩個中心點間的歐式距離； 是能夠同時包含預測框和真實框最小閉包區域的對角線距離； α 是權重函數； w^gt 和 h^gt 分別為預測框的寬度和高度； σ_v 代表預測框和真實框的縱橫比之間的差異，是一個相對值，無法直接代表寬和高分別與其置信度的實際差異，因此計算結果存在一定的模糊性.針對這一問題，本文引人Eiou Loss 函數取代Ciou Loss，

可以看出，在Ciou Loss的基礎上，EiouLoss的懲罰項將縱橫比的影響因子拆開，分別計算目標框和預測框的長和寬.寬高損失的引入直接使真實框和預測框的寬度和高度最小化，使模型收斂速度更快，并解決了多樣化樣本間不平衡的問題.

1.1.2 解耦式檢測頭

YOLOv5算法中使用耦合結構的檢測頭將卷積層輸出的特征圖直接送人幾個全連接層或卷積層中，輸出目標位置和類別.該結構設計簡單，但會消耗大量計算資源，且易出現過擬合現象，影響模型檢測精度.因此，本文將耦合式結構改進為解耦結構來處理骨干網絡中所得到的特征圖.改進后得到的解耦式檢測頭結構如圖2所示， H 和W分別代表預測框的高度和寬度，首先將特征圖中目標的位置信息和類別分別提取出來，并送人不同分支中學習，然后進行融合，這樣的分支-融合策略能夠有效解決本次檢測任務中因數據集樣本不足而導致的過擬問題，提升模型的檢測速度并增強模型的泛化能力和穩健性.

1.2基于高位點改進的JUMP_X運動模式

Jibot機械臂提供MOVJ，MOVL和JUMP3種模式選項，其運動路線分別為曲線、直線和門型軌跡.曲線運動軌跡涉及多個角度空間和任務空間，雖能有效解決運動過程中出現的限位情況，但也會出現顛簸的情況，從而損耗機械臂.此外，在本實驗場景中，機械臂執行任務終點受鍵盤按鍵高度影響，直線運動軌跡易出現連觸鍵盤按鍵情形，從而使任務被錯誤執行.門型運動軌跡涉及多段長路徑，在實際執行任務中易出現極限問題導致任務中斷.為避免機械臂運動限位和誤觸的情況，本文在JUMP運動模式基礎上并結合MOVJ的優點，在A點和 B 點之間加入一個高位點X，設計了JUMP_X運動模式，如圖3所示.

2 實驗結果與分析

2.1ED_YOLOv5模型訓練及結果分析

通過編寫python腳本程序控制AstraProPlus深度相機，以固定時間間隔拍攝連接光譜儀的顯示屏，獲取實時屏幕信息并使用數據增強算法，將原130幅圖像增強擴充至469幅.構建數據集時，遵循1：9的比例分配檢測集與訓練集，并從訓練集中隨機抽取 10% 樣本作為驗證集，以評估模型泛化能力.

本實驗基于Windows 11操作系統和Pytorch框架版本2.1.1完成數據集訓練任務;計算機的CPU型號是AMDRyzen 7，6800H ;GPU型號是NVIDIAReForceRTX3090Laptop；軟件環境為CUDA11.8，Python 3.9和PyCharmIDE2023.1.3（社區版）;改進的YOLOv5算法的實驗參數，圖片大小為640 piexlsX640piexls，線程數為8，批量大小設置為8，訓練epoch數設置為300.

為了全面評估模型的性能，使用 I_ou 閾值為0.50時的平均精度 （mAP@0.5） 和 I_ou 閾值從0.50＼～0.95范圍內的平均精度 （mAP@0.5：0.95） 作為目標檢測模型性能的指標.

為了探究改進的方法對實驗結果的影響，在數據集上進行消融實驗，實驗結果如表1所示.

實驗結果表明，將YOLOv5算法的損失函數改進為EiouLoss后， 在數據集上從 76.5% 提高到 84.0% ，n _1AP@0.5：0.95 從 49.1% 提高到 51.1% ，參數量從7.1GB降低到6.5GB.這表明EiouLoss的引入能有效地提高模型的檢測精度和收斂速度.此外，將檢測頭改進為解耦頭結構后， mAP@0.5 在數據集上提高了 3.6% （組別2相對于基準組），可見檢測頭的改進有助于改善過擬合問題，模型具有更好的泛化性和推理能力.

結合這些改進的模塊，最終的 mAP@0.5 和m AP@0.5：0.95 分別達到 87.3% 和 56.6% ，與原YOLOv5模型相比分別提高了 10.8% 和 7.5% .模型的檢測性能提升顯著.驗證了本方法有效性.

2.2JUMP_X運動模式改進結果及分析

為避免損壞機械臂，本文僅考慮使用MOVL，JUMP和JUMP_X3種運動模式執行點擊按鈕任務，依次傳輸給機械臂3個檢測點坐標，結果如表2所示.

從表2中可知，使用JUMP_X運動模式時機械臂點擊偏移量最小，性能最佳，有效避免了中斷、連觸和誤觸等問題，表明JUMP_X模式運動模式有助于實現機械臂平穩準確地執行任務.

2.3系統測試與結果

系統改進前測試機械臂點擊目標按鍵成功率為 85.0% ，輔助測試成功率為 60.0% .以JUMP_X為機械臂的運動模式，以ED_YOLOv5模型為目標檢測模型，系統需要點擊F5，F6，F7及F8按鍵實現霍爾測試儀的相應功能，完成測試任務.為避免偶然性，檢測輪數設置為5次.表3為機械臂受系統控制下，輔助霍爾測試儀完成測試任務的結果.從表3中可知，機械臂點擊目標按鍵率約為 95.0% ，輔助測試成功率約為 80.0%

3結語

本文提出一種集成目標檢測算法和機器控制的智能伺服控制系統，控制機械臂點擊目標按鈕，輔助霍爾測試儀完成測試工作.本文將YOLOV5檢測算法中的損失函數改進為Eiou Loss，檢測頭結構改進為解耦式.改進后的ED_YOLOv5模型 mAP@0.5 和 mAP@0.5：0.95 分別為 87.3% 和 56.6% ，與YOLOv5模型相比，分別提高了 10.8% 和 7.5% ，驗證了本文所提方法的有效性.此外，提出JUMP_X運動模式，較于其他幾種運動模式，表現出更好的性能，點擊偏移量最小，點擊目標正確率為 95.0% ，較改進前提升了10.0% .最后，系統集成改進后的算法，輔助霍爾測試儀完成自動化測試成功率可達 80.0% ，較改進前提升了 20.0%

參考文獻：

[1]LIH Z，DONG C，JIA X Y，etal. Design of automatic sorting and transportation system forfruits and vegetables based ondobot magician roboticarm[C]/ International Symposiumon Control Engineering andRobotics.Hangzhou：IEEE， 2023：229-234.

[2]徐毓松，上官倩芡，安康.基于深度強化學習分層控制的雙足機器人多模式步態系統研究[J].上海師范大學學 報（自然科學版中英文），2024，53（2）：260-267. XUY S，SHANGGUAN Q Q，AN K.Research on multi-mode gait hierarchical control systemof biped robot based on hierarchical controlof deepreinforcement learning[J].Joumal of ShanghaiNormalUniversity（Natural Sciences）， 2024，53（2）：260-267.

[3] HWANG P J，HSU C C，CHOU P Y，et al. Vision-based learning from demonstration system for robot arms[J]. Sensors，2022，22（7）：2678.

[4] WUWT，LIUH，LILL，etal.Applicationof local fulyconvolutional neural network combined withYOLOv5 algorithm in smalltarget detection of remote sensing image[J].PLoS one，2O21，16（1O）：e0259283.

[5] ZHANGYF，REN W，ZHANG Z，et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing，2022，506：146-157.

[6] WUY，CHENYP，YUANL，etal.Rethinking clasification and localization forobject detection[C]//Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seatle： IEEE，2020：10186-10195.

[7]TURNER JD，CHUN H M. Optimal distributed control of a flexible spaceeraft during a large-angle maneuver[J]. Journal ofGuidance，Control，and Dynamics，1984，7（3）：257-264.

（責任編輯：包震宇，郁慧）