一種20kg砝碼組智能檢定系統(tǒng)的設(shè)計

馬健 趙迪 郭琳琳 劉桂雄

摘 ?要：砝碼智能化檢定有助于提高砝碼檢定效率、增強(qiáng)檢測數(shù)據(jù)可溯源性。文章從20 kg砝碼組智能化檢定系統(tǒng)整體設(shè)計入手，提出依靠三維堆放20 kg砝碼組深度學(xué)習(xí)識別分割技術(shù)、多模態(tài)傳感定位技術(shù)配合設(shè)計的軟硬件平臺，實(shí)現(xiàn)日光燈照明下三維堆放20 kg砝碼組的智能檢定。通過模擬搭建三維堆放砝碼組開展系統(tǒng)測試試驗(yàn)，驗(yàn)證了智能檢定系統(tǒng)的有效性、準(zhǔn)確性，單個砝碼實(shí)例檢定時間約為42 s，可以滿足實(shí)際20 kg砝碼組檢定過程需要，實(shí)現(xiàn)“機(jī)器代人”，大幅提高20 kg砝碼組檢定效率。

關(guān)鍵詞：20 kg砝碼組;深度學(xué)習(xí);多模態(tài)傳感;智能化平臺

中圖分類號：TP391.4;TH715 ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2021）12-0001-05

Abstract： The intelligent verification of weights is helpful to improve the verification efficiency of weights and enhance the traceability of test data. Starting with the overall design of the intelligent verification system of 20 kg weight set， this paper proposes a software and hardware platform based on the deep learning， identification and segmentation technology of three-dimensional stacking 20 kg weight set and the multi-modal sensing and positioning technology， so as to realize the intelligent verification of three-dimensional stacking 20 kg weight set under the illumination of fluorescent lamp. The validity and accuracy of the intelligent verification system are verified by simulating the construction of three-dimensional stacking weight set and carrying out system test. The verification time of a single weight example is about 42 s， which can meet the needs of the actual verification process of 20 kg weight set， realize "machine replace people" and greatly improve the verification efficiency of 20 kg weight group.

Keywords： 20 kg weight set; deep learning; multi-modal sensing; intelligent platform

0 ?引 ?言

砝碼是質(zhì)量量值傳遞、溯源的基準(zhǔn)，保證其量值精確意義重大[1]。目前部分計量檢測機(jī)構(gòu)實(shí)現(xiàn)了基于預(yù)設(shè)工位的砝碼自動檢定[2]，檢定過程依舊需要人工干預(yù)，自動化、智能化水平不高。為實(shí)現(xiàn)20 kg砝碼組智能檢定，須解決砝碼實(shí)例、砝碼提手這類低對比度、低飽和度遮擋對象圖像檢測問題[3，4]，以及傳統(tǒng)單模態(tài)傳感定位技術(shù)無法實(shí)現(xiàn)三維堆放砝碼組空間定位為復(fù)雜環(huán)境多深度曲面測量問題。

文獻(xiàn)[5]通過微調(diào)Mask R-CNN得到Pig Net，可對不同形態(tài)、粘連嚴(yán)重的群豬圖像準(zhǔn)確分割出獨(dú)立的個體目標(biāo)。文獻(xiàn)[6]基于Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)模型，分別對每組雙目圖像進(jìn)行目標(biāo)檢測和掩膜分割，匹配雙目圖像中相同目標(biāo)，以準(zhǔn)實(shí)時速度進(jìn)行物體識別、定位。文獻(xiàn)[7]基于Mask R-CNN網(wǎng)絡(luò)從高分辨率RGB無人機(jī)圖像中提取樹木，與常規(guī)、高成本遙感數(shù)據(jù)方法相比有更好效果。文獻(xiàn)[8]基于FPGA搭建立體計算RGBD動態(tài)場景實(shí)時三維重建系統(tǒng)，實(shí)現(xiàn)對目標(biāo)場景數(shù)據(jù)同步采集，實(shí)時生成拍攝場景三維空間點(diǎn)云。文獻(xiàn)[9]將雙通道后融合網(wǎng)絡(luò)結(jié)構(gòu)用于卷積特征提取、單通道前融合網(wǎng)絡(luò)結(jié)構(gòu)用于道路檢測，可有效克服光照、陰影、路面類型變化等影響。文獻(xiàn)[10]基于RGBD圖像恢復(fù)室內(nèi)物體、布局面完整三維模型，依靠支持推理來輔助物體識別，并使用卷積神經(jīng)網(wǎng)絡(luò)對區(qū)域進(jìn)行分類。文獻(xiàn)[11]整合Microsoft Kinect RGBD傳感器、YOLO算法與Nvidia Jetson TX2神經(jīng)網(wǎng)絡(luò)開發(fā)板以用于識別移動機(jī)器人路徑障礙的靜態(tài)物體。

可以看出深度學(xué)習(xí)算法、RGBD多模態(tài)傳感在遮擋對象識別、測量方面相較傳統(tǒng)方法均有不小優(yōu)勢。故本文研究面向低對比度堆放砝碼識別的改進(jìn)Mask R-CNN算法、面向堆放砝碼的RGBD多模態(tài)傳感定位技術(shù)實(shí)現(xiàn)20 kg砝碼組智能檢定系統(tǒng)設(shè)計，對于促進(jìn)計量技術(shù)自動化以及智能制造技術(shù)發(fā)展，具有重要學(xué)術(shù)價值與實(shí)際意義。

1 ?系統(tǒng)整體設(shè)計

圖1為20 kg砝碼組智能化檢定系統(tǒng)整體設(shè)計圖，主要包括五個模塊：

（1）圖像采集與處理模塊，負(fù)責(zé)圖像數(shù)據(jù)采集及預(yù)處理。

（2）20 kg砝碼組識別、分割模塊，負(fù)責(zé)20 kg砝碼組實(shí)例RGB圖像定位。

（3）20 kg砝碼組定位模塊，負(fù)責(zé)20 kg砝碼組實(shí)例三維空間定位。

（4）20 kg砝碼抓取模塊，負(fù)責(zé)智能化檢定過程20 kg砝碼抓取搬運(yùn)。

（5）檢定數(shù)據(jù)溯源模塊，負(fù)責(zé)20 kg砝碼智能化檢定過程數(shù)據(jù)溯源。

1.1 ?20 kg砝碼組深度學(xué)習(xí)識別分割技術(shù)

前期試驗(yàn)證明，經(jīng)典深度學(xué)習(xí)算法對三維堆放20 kg砝碼組提手、砝碼間重疊部分識別分割效果較差，主要原因在于20 kg砝碼組外表面常為黑、灰色，是典型低對比度物體。

為提升圖像中砝碼提手實(shí)例分割效果，獲取高精度砝碼組圖像坐標(biāo)信息，從提升圖像特征區(qū)分度、多算法融合方向入手，對采集原始圖像進(jìn)行Gamma增強(qiáng)、ACE自適應(yīng)對比度增強(qiáng)，以提升其輪廓特征便于深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí);增加Mask R-CNN頭部檢測分支，對掩膜分割效果不好的實(shí)例通過BBox回歸框分支連接Canny邊緣檢測算法代替原Mask掩膜分支輸出，以提升砝碼提手實(shí)例分割效果。

圖2為20 kg砝碼組深度學(xué)習(xí)識別分割網(wǎng)絡(luò)結(jié)構(gòu)圖，改進(jìn)Mask R-CNN模型由圖像對比度增強(qiáng)、Backbone骨干網(wǎng)絡(luò)、RPN（Region proposal network）候選區(qū)生成、RoI Align特征圖對齊和Head頭部網(wǎng)絡(luò)功能等模塊構(gòu)成，生成Mask掩膜、目標(biāo)分類、BBox回歸定位框結(jié)果。

1.2 ?20 kg砝碼組多模態(tài)傳感空間定位技術(shù)

為達(dá)到20 kg砝碼組智能檢定效果還須實(shí)現(xiàn)復(fù)雜光照環(huán)境下砝碼提手曲面深度測量。

圖3為20 kg砝碼組多模態(tài)傳感定位流程圖，RGBD相機(jī)采集4通道砝碼組圖像數(shù)據(jù)，生成對應(yīng)RGB圖像及D通道深度圖像，RGB圖像輸入改進(jìn)Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)識別、分割20 kg砝碼組提手，得砝碼提手掩膜與BBox回歸框輸出;砝碼提手掩膜與深度圖“求與”得各砝碼提手實(shí)例所有像素點(diǎn)深度數(shù)據(jù)，空間圓柱擬合生成對應(yīng)實(shí)例關(guān)鍵點(diǎn)坐標(biāo)及單位方向向量，用來描述20 kg砝碼提手空間姿態(tài)及位置;K-means聚類算法按照各實(shí)例關(guān)鍵點(diǎn)坐標(biāo)對空間坐標(biāo)組分層，層間計算提手關(guān)鍵點(diǎn)與預(yù)設(shè)原點(diǎn)曼哈頓距離規(guī)劃調(diào)度砝碼組檢定順序。

引入多模態(tài)傳感技術(shù)可有效提高20 kg砝碼提手空間定位準(zhǔn)確性，克服單模態(tài)傳感定位技術(shù)對檢定場景適用性差、難以滿足砝碼檢定動態(tài)過程不同深度曲面定位精度要求的問題，提高20 kg砝碼組智能化檢定效率。

1.3 ?20 kg砝碼組智能化檢定系統(tǒng)軟硬件平臺

20 kg砝碼組智能檢定集成系統(tǒng)由待檢砝碼抓取裝置、標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置、電氣控制系統(tǒng)、Intel RealSense D455深度相機(jī)、NVIDIA Jetson TX2邊緣計算機(jī)構(gòu)成。如圖4所示。

圖5為20 kg砝碼組智能檢定系統(tǒng)運(yùn)行邏輯流程圖，具體流程如下：

（1）PC上位機(jī)發(fā)送開始指令給PLC下位機(jī)。

（2）標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置將標(biāo)準(zhǔn)砝碼加載至檢定天平。

（3）檢定天平稱量數(shù)值反饋至上位機(jī)后標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置卸載標(biāo)準(zhǔn)砝碼。

（4）待檢砝碼轉(zhuǎn)運(yùn)裝置移動至待定位置后Jetson TX2邊緣計算機(jī)獲取Intel D455 RGBD相機(jī)數(shù)據(jù)計算得到待檢砝碼提手空間定位坐標(biāo)。

（5）坐標(biāo)信息指導(dǎo)待檢砝碼轉(zhuǎn)運(yùn)裝置加載待檢砝碼至檢定天平后讀取檢定天平數(shù)據(jù)。

（6）檢定稱量完成后，將待檢砝碼從檢定天平轉(zhuǎn)運(yùn)碼放至完成區(qū)域。

（7）判斷檢定是否完成，完成即結(jié)束檢定、未完成則進(jìn)入下一次循環(huán)。

按上述結(jié)構(gòu)、邏輯搭建如圖6所示的20 kg砝碼組智能化檢定系統(tǒng)軟硬件平臺。軟件平臺用于20 kg砝碼組智能化檢定關(guān)鍵數(shù)據(jù)（如：測試項(xiàng)目、委托方、制造廠商、鑒定地點(diǎn)、鑒定時間、溫度、濕度、氣壓、標(biāo)準(zhǔn)值1、待檢值、標(biāo)準(zhǔn)值2、誤差、合格情況等）實(shí)時顯示、歷史數(shù)據(jù)溯源等。

2 ?試驗(yàn)

使用上述20 kg砝碼組智能化檢定系統(tǒng)對圖7系統(tǒng)級測試待檢砝碼試驗(yàn)堆開展自動化檢定試驗(yàn)，待檢砝碼試驗(yàn)堆由2層共18個20 kg砝碼組模擬實(shí)際檢定過程中砝碼堆放情況搭建而成。

按圖7（a）中順序開展各砝碼實(shí)例檢定，得表1砝碼檢定數(shù)據(jù)，包含從20 kg砝碼組智能檢定系統(tǒng)軟件平臺獲取的各砝碼實(shí)例檢定過程的標(biāo)準(zhǔn)值1、待檢值、標(biāo)準(zhǔn)值2、合格情況、碼放位置、檢定用時等關(guān)鍵信息。

從表中數(shù)據(jù)可以看出，單個砝碼檢定時間平均在43 s左右，由于在第1、3個砝碼檢定前調(diào)用空間定位算法分別獲取上、下層砝碼提手空間位置信息，檢定時間較其他砝碼長，又因檢定開始時需先執(zhí)行一次標(biāo)準(zhǔn)砝碼檢定，故第1個砝碼檢定用時比第3個長11 s。

系統(tǒng)試驗(yàn)證明20 kg砝碼組智能檢定系統(tǒng)可以按設(shè)計功能要求實(shí)現(xiàn)“機(jī)器代人”，提升20 kg砝碼組檢定效率、準(zhǔn)確性。

3 ?結(jié) ?論

本文提出20 kg砝碼組智能檢定系統(tǒng)設(shè)計方案。通過深度學(xué)習(xí)算法、多模態(tài)傳感定位技術(shù)處理堆疊20 kg砝碼組RGBD圖像數(shù)據(jù)得到各砝碼實(shí)例空間坐標(biāo)，指導(dǎo)硬件系統(tǒng)抓取搬運(yùn)，最終實(shí)現(xiàn)三維堆放20 kg砝碼組智能檢定。單個砝碼檢定時間平均為43 s，檢定數(shù)據(jù)精確可靠，可實(shí)現(xiàn)“機(jī)器代人”、大幅提升20 kg砝碼組檢定效率。

參考文獻(xiàn)：

[1] 全國量和單位標(biāo)準(zhǔn)化技術(shù)委員會.國際單位制及其應(yīng)用：GB 3100-1993 [S].北京：中國標(biāo)準(zhǔn)出版社，1993.

[2] 王益飛，楊圓圓.公斤組砝碼自動檢定系統(tǒng) [J].計量技術(shù)，2017（7）：61-64.

[3] UIJLINGS J R R，SANDE K E A，GEVERS T，et al. Selective Search for Object Recognition [J]. International Journal of Computer Vision，2013，104（2）：154-171.

[4] JIANG J J，GUI X Q. Target Detection and Recognition Method of Farming Machine Based on Machine Vision [C]//Proceedings of the 2015 4th National Conference on Electrical，Electronics and Computer Engineering.Paris：Atlantis Press，2015：1385-1389.

[5] 高云，郭繼亮，黎煊，等.基于深度學(xué)習(xí)的群豬圖像實(shí)例分割方法 [J].農(nóng)業(yè)機(jī)械學(xué)報，2019，50（4）：179-187.

[6] 彭秋辰，宋亦旭.基于Mask R-CNN的物體識別和定位 [J].清華大學(xué)學(xué)報（自然科學(xué)版），2019，59（2）：135-141.

[7] OCER N E，KAPLAN G，ERDEM F，et al. Tree extraction from multi-scale UAV images using Mask R-CNN with FPN [J].Remote Sensing Letters，2020，11（9）：847-856.

[8] 段勇，裴明濤.基于多RGBD攝像機(jī)的動態(tài)場景實(shí)時三維重建系統(tǒng) [J].北京理工大學(xué)學(xué)報，2014，34（11）：1157-1162.

[9] 曲磊，王康如，陳利利，等.基于RGBD圖像和卷積神經(jīng)網(wǎng)絡(luò)的快速道路檢測 [J].光學(xué)學(xué)報，2017，37（10）：124-132.

[10] ZOU C H，GUO R Q，LI Z Z，et al. Complete 3D Scene Parsing from an RGBD Image [J].International Journal of Computer Vision，2019，127（2）：143-162.

[11] REIS D，WELFER D，CUADROS D S L，et al. Mobile Robot Navigation Using an Object Recognition Software with RGBD Images and the YOLO Algorithm [J].Applied Artificial Intelligence，2019，33（14）：1290-1305.

作者簡介：馬健（1980—），男，漢族，廣東廣州人，高級工程師，碩士，研究方向：衡器計量技術(shù)研究。