基于機(jī)械臂的食物儲藏室熱缺陷檢測系統(tǒng)

馬志艷 李翱翔 段宇飛 李江華

(1. 湖北工業(yè)大學(xué)，湖北 武漢 430068；2. 湖北省農(nóng)業(yè)機(jī)械工程研究設(shè)計院，湖北 武漢 430068)

目前中國的儲藏室大多是由老舊倉庫或民房改建而成， 一旦食物儲藏室保溫圍護(hù)出現(xiàn)結(jié)構(gòu)缺陷，室內(nèi)能耗升高引起儲藏的物品變質(zhì)，就會造成不同程度的經(jīng)濟(jì)損失[1-2]。

食物儲藏室圍護(hù)結(jié)構(gòu)中出現(xiàn)因保溫材料分布不均、受潮、材料缺失等使空氣易于滲透，這種缺陷稱為圍護(hù)結(jié)構(gòu)的熱工缺陷[3]。中國在20世紀(jì)90年代開始了在儲藏室建筑熱工缺陷方面的紅外檢測研究，相比于傳統(tǒng)的熱工缺陷檢測方法(熱箱法、熱流計法)，紅外熱成像技術(shù)在檢測過程中不會損壞被檢測的墻面且具有高精度和測溫范圍廣的優(yōu)點[4]。劉長利[5]研究了紅外熱成像技術(shù)在建筑物圍護(hù)結(jié)構(gòu)熱工缺陷中的應(yīng)用，分析了建筑圍護(hù)結(jié)構(gòu)熱工缺陷的主要類型，更全面地推進(jìn)紅外技術(shù)在建筑圍護(hù)結(jié)構(gòu)的檢測工作。王楊洋等[6]采用紅外輻射成像儀對目標(biāo)墻面實行檢測，通過發(fā)現(xiàn)建筑物外墻熱工缺陷所在處，以確定熱工損耗部位，對墻體的質(zhì)量進(jìn)行評價，但紅外檢測每次僅能掃描被測墻面的小部分區(qū)域，而且需要人工推動成像儀來完成整個室內(nèi)的掃描，人的頻繁活動不僅會干擾儲藏室的制冷環(huán)境，還會降低檢測的準(zhǔn)確程度。在紅外檢測探析中，中國已經(jīng)存在諸多的研究成果，但其主要集中于熱工缺陷的定性分析方面[7-9]，對保溫墻體的熱工缺陷檢測目前尚未存在整體的檢測系統(tǒng)，且人工紅外檢測效率較低，存在一定的局限性[10]，有待通過機(jī)械裝置提升其檢測效率。研究擬采用機(jī)械臂搭載熱紅外相機(jī)和履帶式行走機(jī)構(gòu)為一體的檢測機(jī)構(gòu)，對食物儲藏室的圍護(hù)機(jī)構(gòu)進(jìn)行熱工缺陷檢測，結(jié)合改進(jìn)的紅外圖像處理判別方法，以實現(xiàn)對墻體“缺陷”的高效、智能檢測。

1 檢測裝置結(jié)構(gòu)設(shè)計與選用

1.1 總體結(jié)構(gòu)設(shè)計

檢測裝置包括智能行走平臺和檢測系統(tǒng)兩個部分。履帶式機(jī)構(gòu)優(yōu)勢在于其支撐面積大，適合在冷庫的地面上行駛，而且履帶支撐面上有履齒，不易打滑造成小車軌跡偏移，具有較強(qiáng)的地形適應(yīng)能力。小車行走機(jī)構(gòu)由一臺步進(jìn)電機(jī)驅(qū)動底盤的兩條履帶同時移動，小車前端配置了兩部由電缸組成的剎車裝置，當(dāng)小車需要進(jìn)行轉(zhuǎn)彎動作時即可通過上位機(jī)發(fā)送指令使控制小車剎車的電缸運動，進(jìn)而使其中一條履帶剎車抱死達(dá)到讓裝置轉(zhuǎn)彎的目的，冷庫圍護(hù)結(jié)構(gòu)檢測小車的結(jié)構(gòu)如圖1所示。

1. 熱紅外相機(jī) 2. 6軸機(jī)械臂 3. 機(jī)械臂固定平臺 4. 激光測距儀 5. 行走小車 6. 電源 7. 電控柜

1.2 機(jī)械臂最大工作空間距離指標(biāo)

在考慮機(jī)械臂的各個桿長時，延長不同部位的桿長會影響機(jī)械臂的工作空間，而縮短機(jī)械臂的桿長又會很大程度縮小工作空間。根據(jù)GB/T 12642—2013《工業(yè)機(jī)械人性能規(guī)范及其試驗方法》對機(jī)械臂工作空間的設(shè)定，假設(shè)機(jī)械臂手腕中心到基本坐標(biāo)系原點的距離為X，定義P=(px,py,pz)T表示機(jī)械臂末端在基礎(chǔ)坐標(biāo)系下的位置矢量。

(1)

(2)

Rmax=Xmax-Xmin，

(3)

式中：

Xmax、Xmin——機(jī)械臂手腕中心到基坐標(biāo)系原點的最大、最小距離，cm；

Rmax——機(jī)械臂的最大工作空間，cm。

1.3 機(jī)械臂D-H坐標(biāo)系建立及參數(shù)設(shè)定

對選用的六自由度機(jī)械臂的運動特性進(jìn)行分析，首先要建立參數(shù)模型。根據(jù)1955年由Denavit與Hartenberg所提出的D-H參數(shù)法，在每個機(jī)械臂的桿件關(guān)節(jié)上建立坐標(biāo)系[11-13]用來描述相鄰連接桿件的坐標(biāo)系關(guān)系(圖2)，桿件的D-H參數(shù)如表1所示。

表1 UR5機(jī)械臂的D-H參數(shù)

圖2 機(jī)械臂仿真

1.4 履帶式行走機(jī)構(gòu)設(shè)計

為了簡化結(jié)構(gòu)的設(shè)計，僅由一臺電機(jī)提供驅(qū)動力，獨立的電機(jī)置于底架的前端，傳動經(jīng)過減速器和行走支架到達(dá)驅(qū)動輪，縮短了傳動路線有利于機(jī)身平衡，方便維修和檢查。履帶式行走機(jī)構(gòu)結(jié)構(gòu)設(shè)計圖如圖3所示。

1. 導(dǎo)向輪 2. 傳動連桿 3. 張緊輪 4. 小負(fù)重輪 5. 連接鋼板 6. 大負(fù)重輪 7. 驅(qū)動輪 8. 支重輪 9. 履帶 10. 無刷電機(jī) 11. 變速箱 12. 進(jìn)退開關(guān) 13. 電池 14. 油門踏板 15. 電缸

檢測小車采用履帶式機(jī)構(gòu)，在儲藏室的冰面上行走也不打滑，且具有較好的承重性。電池放置在5(連接鋼板)內(nèi)部的凹槽中用于向機(jī)構(gòu)供電。選用無刷電機(jī)作為履帶行走的驅(qū)動電機(jī)，采用霍爾元件與油門踏板的配合控制電機(jī)的速度輸出，霍爾元件控結(jié)構(gòu)圖及驅(qū)動電路圖如圖4所示。

圖4 霍爾元件

2 檢測路徑設(shè)計與規(guī)劃

2.1 熱紅外相機(jī)成像模型

熱紅外相機(jī)對被測墻面的單次成像如圖5所示。熱紅外相機(jī)與被測墻面之間的垂直距離、熱紅外相機(jī)在機(jī)械臂上的水平和垂直視場角可計算出熱紅外相機(jī)視野區(qū)域的面積大小。

C. 熱紅外相機(jī) A. 視野區(qū)域 V. 視野區(qū)域長度 H. 視野區(qū)域?qū)挾?L. 視距 α. 相機(jī)垂直視角 β. 相機(jī)水平視角

計算公式：

(4)

(5)

(6)

式中：

A——視野區(qū)域，cm2；

V——視野區(qū)域長度，cm；

H——視野區(qū)域?qū)挾龋琧m；

L——視距，cm；

α——相機(jī)垂直視角，°；

β——相機(jī)水平視角，°。

確定相機(jī)視野面積大小后即可確定對整面墻體的采集次數(shù)，從而確定檢測小車的前進(jìn)步距和機(jī)械臂的抬升距離。

2.2 檢測路徑規(guī)劃

首先在上位機(jī)中輸入室內(nèi)的墻體尺寸，選擇熱紅外相機(jī)的成像距離，根據(jù)其成像距離確定每次步進(jìn)距離。假設(shè)檢測小車與被測冷庫圍護(hù)墻體的距離為d，被測的冷庫圍護(hù)結(jié)構(gòu)墻體的面積為H×W(高、寬)，根據(jù)視野區(qū)域計算熱紅外相機(jī)單次所能拍攝到的熱紅外圖像尺寸為h×v。則理論上所需要機(jī)械臂所需抬升(下降)的次數(shù)為X=W÷v；所需要的檢測小車上下的次數(shù)為Y=H÷h。檢測過程如圖6所示。

圖6 檢測路徑規(guī)劃

檢測墻體檢測路徑規(guī)劃如圖7所示。檢測過程中小車每次行走的距離為熱紅外相機(jī)所能采集的圖像大小W，每次行走后機(jī)械臂可依照圖7中所設(shè)定的路線檢測所規(guī)劃好的兩列墻面。以墻角作為原點建立二維坐標(biāo)系，通過上位機(jī)計算出每次相機(jī)采集的位置(黑點)將其坐標(biāo)輸入六軸機(jī)械臂進(jìn)行逆運動求解，進(jìn)而得到機(jī)械臂各個桿件的轉(zhuǎn)動角度使熱紅外相機(jī)達(dá)到指定的拍攝位置。

黑點表示拍攝位置

3 檢測算法實現(xiàn)

3.1 紅外圖像采集與預(yù)處理

根據(jù)檢測小車的路徑規(guī)劃，通過上位機(jī)向熱紅外相機(jī)發(fā)送采集指令，在采集過程中依照圖像的采集順序?qū)D像進(jìn)行標(biāo)號以便后續(xù)的分析處理，采用高德公司型號為IPT640的熱紅外相機(jī)，通過千兆以太網(wǎng)線采集圍護(hù)結(jié)構(gòu)的熱紅外圖像信息，該紅外相機(jī)附帶有自身的采集軟件NetCore采集圖像，通過相機(jī)的自帶的SDK軟件開發(fā)工具包在Visual Studio上實現(xiàn)對冷庫圍護(hù)結(jié)構(gòu)的圖像采集。采集流程圖如圖8所示。

圖8 紅外相機(jī)采集到的溫度場圖像

為了增加處理的精度和效率，在進(jìn)行缺陷的識別與定位前先對采集的圖像進(jìn)行預(yù)處理，主要包括：① 對圖像進(jìn)行去噪處理，提高圖像的質(zhì)量并突出重點須關(guān)注的元素；② 對圖像進(jìn)行一些基本的變換，方便后續(xù)的對比。經(jīng)過灰度化后的圖像與原圖對比如圖9所示。

圖9 熱紅外圖像與灰度圖

3.2 基于改進(jìn)Otsu分割方法的缺陷定位與分級

改進(jìn)Otsu分割處理的過程是選取合適的圖像閾值使類間方差最大化，進(jìn)而得到最好的分割圖像效果。其數(shù)學(xué)描述過程：

(7)

式中：

N——像素個數(shù)總和；

M——圖像的平均強(qiáng)度；

L——圖像的灰度級；

Ni——灰度為i的像素點個數(shù)。

將采集到的熱紅外圖像的目標(biāo)區(qū)域與背景區(qū)域出現(xiàn)的概率和兩者均值的數(shù)學(xué)計算：

(8)

(9)

(10)

(11)

式中：

M0、M1——圖像目標(biāo)區(qū)域與背景區(qū)域像素點的灰度均值，取值范圍0～255；

W0、W1——出現(xiàn)的概率，%；

t——確定的最佳閾值，數(shù)值范圍為0～L。

圖像分割類方差可根據(jù)式(12)～式(13)得出。

δ2=(M0-M)2×W0+(M1-M)2×W1，

(12)

t=argmax{δ2(t)}。

(13)

利用信息熵確定閾值的分割準(zhǔn)則時，能夠避免圖像中對比度和亮度等信息對算法的約束，能更好地體現(xiàn)出分割算法的優(yōu)越性。根據(jù)香農(nóng)公式中對熵值的定義，結(jié)合傳統(tǒng)Otsu方式[14]得到的信息熵值為：

(14)

式中：

Q0、Q1、Q2——整體圖像、檢測目標(biāo)、圖像背景的信息熵值。

當(dāng)采用信息熵代替?zhèn)鹘y(tǒng)的Otsu準(zhǔn)則中的灰度均值，即可得到推廣形式的閾值判別函數(shù)。

(15)

式中：

S0、S1、S2——整個圖像、背景與目標(biāo)的特征；

t*——算法優(yōu)化后得出分割閾值。

式(15)為信息熵的計算公式，優(yōu)化后的閾值能清楚地分割出紅外圖像的目標(biāo)區(qū)域和背景區(qū)域。圖像處理過程如圖10所示。

圖10 圖像處理過程

通過OPENCV庫函數(shù)可找到并繪制出不同閾值下缺陷輪廓圖片，如圖11所示。

圖11 原圖及處理后的圖像

4 檢測試驗

選用六軸機(jī)械臂與履帶式小車組成檢測裝置主體，采用SoildWorks 軟件對六軸機(jī)械臂進(jìn)行三維實體建模，完成機(jī)械臂與行走小車的組裝。試驗中為了方便圖像的采集采用溫?zé)崴鳛椤叭毕荨睙嵩床课弧?/p>

4.1 試驗軟硬件設(shè)置

機(jī)械臂選用的是Universal Robots所生產(chǎn)的六軸機(jī)械臂[15]，共有6個自由度，機(jī)械臂工作電壓為24 V DC，可由小車的電瓶供電。小車轉(zhuǎn)向采用電缸控制其工作電壓為24 V DC，最大負(fù)載為1 600 N，運動速度為7～60 cm/s。上位機(jī)檢測控制程序界面設(shè)計如圖12所示。

圖12 檢測參數(shù)設(shè)置界面圖

當(dāng)熱紅外相機(jī)、機(jī)械臂串口、激光測距儀與上位機(jī)成功連接后，上位機(jī)界面會輸出連接成功樣式的字符，此時即可開始試驗檢測。

4.2 圖像檢測數(shù)據(jù)分析

以某處一小型儲藏室檢測結(jié)果為例進(jìn)行分析，分別選取圍護(hù)結(jié)構(gòu)上5處不同位置安放熱源，測量室的內(nèi)部空間為4.7 m×2.6 m×2.2 m，當(dāng)前所測量的墻體尺寸為4.7 m×2.2 m。由于機(jī)械臂的桿長與轉(zhuǎn)角的限制，試驗選用的機(jī)械臂最大升限為3.2 m，故理論采集的墻面尺寸為3.2 m×2.2 m。

根據(jù)行走路徑規(guī)劃和相機(jī)位置，檢測裝置的水平行走步距設(shè)定為50 cm；垂直運動步距為42 cm；熱紅外相機(jī)和圍護(hù)結(jié)構(gòu)的距離為32 cm。為了滿足小車能在固定的地方(如墻角處轉(zhuǎn)彎或小車偏移后需要調(diào)整姿態(tài))進(jìn)行角度調(diào)整，根據(jù)小車的步距和垂直運動步距將被測量的墻體平均劃分為30塊(5×6)區(qū)域并通過相機(jī)對每塊區(qū)域進(jìn)行紅外圖像采集，所計算得出的步數(shù)值對上取整以保證檢測的完整性。為了驗證檢測機(jī)構(gòu)的有效性，分別采取不同大小的閾值對冷庫圍護(hù)結(jié)構(gòu)進(jìn)行檢測，結(jié)果見表2～表4。

表2 Ta(i)設(shè)定為50時的熱缺陷檢測結(jié)果

表3 Ta(i)設(shè)定為70時的熱缺陷檢測結(jié)果

表4 Ta(i)設(shè)定為90時的熱缺陷檢測結(jié)果

試驗中“熱源缺陷”的檢出率為100%，無漏檢情況出現(xiàn)，被檢測數(shù)據(jù)的總體缺陷檢測誤差按式(16)計算：

(16)

式中：

P——總體缺陷檢測誤差，%；

An——第n次閾值設(shè)定后單次檢測墻面后與實際缺陷面積的誤差率，%。

試驗通過參考實時的室內(nèi)環(huán)境，選用不同的圖像閾值大小，實現(xiàn)對圍護(hù)結(jié)構(gòu)的熱紅外檢測。當(dāng)所設(shè)定的閾值為50，70，90時所得到的“熱缺陷”面積與實際的熱源面積的總體缺陷檢測誤差為93.7%。

根據(jù)表2～表4的檢測數(shù)據(jù)，可得出研究所設(shè)計的檢測裝置與圖像處理方法能準(zhǔn)確地檢測出冷庫圍護(hù)結(jié)構(gòu)的熱源缺陷，相比于人工檢測，該機(jī)構(gòu)具有檢測效率快，范圍完整等優(yōu)點。

5 結(jié)論

研究設(shè)計了基于機(jī)械臂與履帶行走小車配合的檢測裝置，使用改進(jìn)Ostu圖像檢測的方法分割缺陷圖像。與傳統(tǒng)的檢測手段相比，該檢測機(jī)構(gòu)能完整且高效地檢測食物儲藏室的圍護(hù)結(jié)構(gòu)是否存在缺陷，通過檢測得出的缺陷面積與實際缺陷面積相差較小。但研究僅對機(jī)械結(jié)構(gòu)設(shè)計和圖像識別算法作了介紹，尚未考慮到障礙物對檢測過程的影響，后期應(yīng)該不斷完善檢測機(jī)構(gòu)的控制與圖像處理部分，以適應(yīng)不同的檢測環(huán)境。