物體位置捕捉及非接觸形態(tài)測(cè)量裝置

許圳淇，陶爭(zhēng)屹，張雨辰，夏鯤

上海理工大學(xué)機(jī)械工程學(xué)院，上海，200091

0 引言

物體的非接觸識(shí)別與測(cè)量是機(jī)器視覺(jué)的一種應(yīng)用。目前大多數(shù)的識(shí)別方法都是基于對(duì)目標(biāo)物體的深度學(xué)習(xí)或多模板匹配，深度學(xué)習(xí)可以良好解決識(shí)別準(zhǔn)確率的問(wèn)題，但需要大量的圖片數(shù)據(jù)[1-2]；模板匹配需要的圖片數(shù)據(jù)較少，但只能測(cè)量形狀與模板相同的物體，局限性較大。在形狀識(shí)別方面，邊緣檢測(cè)與霍夫變換相結(jié)合的方法較為常見(jiàn)[3-4]，但這種方法對(duì)周圍環(huán)境的要求較高，容易受到環(huán)境噪聲的影響。在尺寸測(cè)量方面，目前主要的方法有兩種，一是通過(guò)多目視覺(jué)的立體視差直接計(jì)算物體的尺寸與距離[5]，該方法測(cè)量準(zhǔn)確但成本較高；二是通過(guò)求解已知尺寸物體與待測(cè)物體尺寸像素的相對(duì)值，進(jìn)而得出待測(cè)物體的實(shí)際尺寸[6]。

本文提出了一種能夠完成物體的捕捉和非接觸識(shí)別與測(cè)量的裝置。基于可編程攝像頭模塊OpenMV，該裝置能完成多邊形物體或圓形物體形狀的快速判斷并測(cè)出其尺寸與距離，操作簡(jiǎn)易、成本低，可應(yīng)用于簡(jiǎn)單零件分揀、尺寸初步測(cè)量等工業(yè)場(chǎng)景。本文所提出裝置應(yīng)用了霍夫變換、自適應(yīng)濾波、圖像分割等機(jī)器視覺(jué)算法，同時(shí)采用了位置式PD控制算法實(shí)現(xiàn)對(duì)待測(cè)物體的追蹤，并能夠?qū)y(cè)量誤差控制在1.5%以下[7-9]。

1 非接觸測(cè)量系統(tǒng)方案設(shè)計(jì)

1.1 系統(tǒng)總統(tǒng)方案

本裝置由電源模塊、控制模塊、圖像處理模塊、云臺(tái)系統(tǒng)、裝置固定結(jié)構(gòu)、測(cè)距模塊和激光發(fā)生器組成。其中，控制模塊通過(guò)全雙工串口通信與圖像處理模塊進(jìn)行數(shù)據(jù)交互，通過(guò)單工串口通信接收來(lái)自測(cè)距模塊的信號(hào)，通過(guò)IO口直接控制激光發(fā)生器的打開(kāi)與關(guān)閉。

電源模塊負(fù)責(zé)對(duì)整個(gè)裝置的各模塊進(jìn)行供電；控制模塊接收來(lái)自各模塊的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行處理，同時(shí)對(duì)各模塊發(fā)出功能指令，實(shí)現(xiàn)對(duì)各模塊的控制；圖像處理模塊通過(guò)采集圖像數(shù)據(jù)，對(duì)采集到的圖像進(jìn)行處理，并將處理結(jié)果以字符串形式發(fā)送給控制模塊；云臺(tái)系統(tǒng)包含二維云臺(tái)和舵機(jī)，在控制模塊的控制下能夠?qū)崿F(xiàn)兩個(gè)轉(zhuǎn)動(dòng)自由度的運(yùn)動(dòng)；裝置固定結(jié)構(gòu)連接在云臺(tái)系統(tǒng)上，并能夠固定測(cè)距模塊、圖像處理模塊和激光發(fā)生器，保證他們的同軸度；測(cè)距模塊主要負(fù)責(zé)對(duì)待測(cè)物體距離的獲取，并將取得的距離數(shù)據(jù)以HEX文件形式發(fā)送到控制模塊進(jìn)行處理。

本裝置采用內(nèi)核為ARM公司32位Cortex-M3的STM32F103VET6為主控，該芯片有較多的通信接口和較高的工作頻率，能夠滿足數(shù)據(jù)處理與多模塊通信的需求；采用搭載OV7725攝像頭的可編程攝像頭模塊OpenMV作為圖像處理模塊，操作簡(jiǎn)易且成本低，其內(nèi)置的庫(kù)函數(shù)能幫助開(kāi)發(fā)者提高對(duì)圖像信息的提取和數(shù)據(jù)的采集效率；采用單點(diǎn)測(cè)距激光雷達(dá)作為測(cè)距模塊，相比于傳統(tǒng)的超聲波測(cè)距，測(cè)量1m以外的目標(biāo)時(shí)不僅能排除空氣質(zhì)量的干擾，而且能夠?qū)⒄`差控制在毫米級(jí)，同時(shí)能夠有效提高待測(cè)物體尺寸計(jì)算的準(zhǔn)確度。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

1.2 系統(tǒng)基本流程和功能

本裝置能夠完成物體的位置捕獲和尺寸、距離的測(cè)量，工作流程如圖2所示。本裝置裝有激光發(fā)生器，識(shí)別到待測(cè)物體后，本裝置會(huì)通過(guò)舵機(jī)轉(zhuǎn)動(dòng)控制激光發(fā)生器指示待測(cè)物體的中心。

系統(tǒng)工作時(shí)，首先通過(guò)按鍵選擇系統(tǒng)功能，再根據(jù)不同的功能進(jìn)行目標(biāo)搜索與圖像識(shí)別，然后各模塊對(duì)識(shí)別到的圖像參數(shù)進(jìn)行讀取，通過(guò)串口通信發(fā)送到主控芯片。主控芯片實(shí)時(shí)接收各模塊數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理并控制舵機(jī)轉(zhuǎn)動(dòng)，最終顯示結(jié)果。為更好判別是否完成測(cè)量，以蜂鳴器響起作為測(cè)量完成提示。

2 圖像識(shí)別算法研究

2.1 圖像識(shí)別基本功能介紹

裝置先通過(guò)RGB色彩空間通道[11]對(duì)物體進(jìn)行定位，找到待測(cè)物體所在的位置，接著根據(jù)位置式PD算法，通過(guò)舵機(jī)轉(zhuǎn)動(dòng)，將待測(cè)物體移動(dòng)至攝像頭視野中央。裝置對(duì)物體進(jìn)行二值化圖像分割，并采用霍夫變換對(duì)待測(cè)物體的邊進(jìn)行檢測(cè)并去重，即可得到物體的形狀。

2.2 二值化圖像分割與定位

由于識(shí)別現(xiàn)場(chǎng)工況環(huán)境復(fù)雜，背景因素難以預(yù)知，故選用圖像分割的方式來(lái)減少背景環(huán)境對(duì)圖像產(chǎn)生的影響，從而提高圖像識(shí)別與測(cè)量的準(zhǔn)確率。

在圖像識(shí)別的過(guò)程中，采用迭代閾值法對(duì)圖像進(jìn)行二值化[12-13]。具體方法如下：

（1）設(shè)置OpenMV攝像頭圖像的分辨率為VGA，即640×320，并將圖像灰度化；

（6）調(diào)用find_blobs方法對(duì)二值化圖像進(jìn)行顏色識(shí)別，找到返回值中|w-h|處于區(qū)間[0，10]的最大色塊即可認(rèn)為找到了待測(cè)目標(biāo)，并將色塊中心點(diǎn)的像素坐標(biāo)通過(guò)串口發(fā)送給主控芯片。圖5所示為二值化圖像分割測(cè)試，分割LAB閾值分別為（61，68，2，35，8，45），（43，92，-7，3，-18，29），（60，72，-5，6，-25，14）。

為進(jìn)一步降低圖像噪度，系統(tǒng)采用平均自適應(yīng)閾值濾波的方法對(duì)圖像進(jìn)行濾波[14]。平均自適應(yīng)閾值濾波是基于均值濾波的一種自適應(yīng)濾波法，不僅具有均值濾波速度快的特點(diǎn)，也具有更強(qiáng)的適應(yīng)性和更優(yōu)的濾波性能。

均值濾波的方法是使用盒式濾波器的標(biāo)準(zhǔn)均值模糊濾波，在OpenMV中可以通過(guò)調(diào)用image類中的mean方法，并將其三個(gè)參數(shù)調(diào)節(jié)為threshold=True，offset=5，invert=True來(lái)實(shí)現(xiàn)平均自適應(yīng)閾值濾波。通過(guò)傳遞threshold=True參數(shù)來(lái)啟動(dòng)圖像的自適應(yīng)閾值處理，以達(dá)到在濾波器的輸出上自適應(yīng)地設(shè)置閾值的目的，即根據(jù)環(huán)境像素的亮度，自動(dòng)將像素設(shè)置為1或者0。調(diào)節(jié)offset=5的目的是將最強(qiáng)對(duì)比度設(shè)置為1。設(shè)置invert=True以反轉(zhuǎn)二進(jìn)制圖像的結(jié)果輸出。

2.3 物體識(shí)別與測(cè)量算法的實(shí)現(xiàn)

當(dāng)攝像頭捕獲并追蹤到待測(cè)目標(biāo)后，主控芯片向OpenMV發(fā)送指令，進(jìn)入物體識(shí)別階段，此時(shí)，待測(cè)目標(biāo)處于攝像頭圖像正中央。物體識(shí)別算法主要分為如下幾個(gè)步驟：

（1）鎖定待測(cè)目標(biāo)后，設(shè)置圖像色彩空間為RGB色彩空間，圖像子分辨率大小為224 x 224；

（2）調(diào)用find_line_segments函數(shù)檢測(cè)圖像中的所有線段，并通過(guò)調(diào)節(jié)參數(shù)合并相鄰線段；

（3）遍歷檢測(cè)到的線段，并去除較小的線段。目的是排除物體本身存在的裂紋和其他內(nèi)部結(jié)構(gòu)；

（4）根據(jù)線段數(shù)量判斷物體形狀。如果直線數(shù)量小于3，則認(rèn)為是物體形狀是圓；如果直線數(shù)量為n，且，則認(rèn)為物體為n邊形。

其中，find_line_segments為OpenMV內(nèi)置方法，其原理是通過(guò)霍夫變換對(duì)圖像中的直線進(jìn)行檢測(cè)，返回值是一個(gè)列表，列表中每個(gè)參數(shù)包含一個(gè)元組（x，y，w，h），其中x，y為線段中第一個(gè)點(diǎn)的坐標(biāo)，w，h分別為第二個(gè)點(diǎn)相對(duì)第一個(gè)點(diǎn)的橫向和縱向距離。識(shí)別效果如圖4所示。

3 嵌入式軟件設(shè)計(jì)

3.1 嵌入式系統(tǒng)程序流程

嵌入式軟件設(shè)計(jì)主要分為物體中心位置跟蹤和非接觸測(cè)量?jī)蓚€(gè)部分。其中，非接觸測(cè)量部分包括了物體距離測(cè)量與物體實(shí)際尺寸計(jì)算兩部分。系統(tǒng)程序流程如下：

（1）主控芯片接收數(shù)據(jù)。主控芯片接收來(lái)自O(shè)penMV的多邊形待測(cè)目標(biāo)各頂點(diǎn)的像素坐標(biāo)和邊長(zhǎng)或圓形待測(cè)目標(biāo)圓心的像素坐標(biāo)和半徑，以及檢測(cè)到的邊的數(shù)量。與此同時(shí)，主控芯片接收來(lái)自測(cè)距模塊的距離數(shù)據(jù)。

（2）物體中心點(diǎn)坐標(biāo)的計(jì)算。對(duì)于多邊形待測(cè)目標(biāo)，通過(guò)其頂點(diǎn)坐標(biāo)可以計(jì)算得出多邊形待測(cè)目標(biāo)的幾何中心坐標(biāo)；對(duì)于圓形待測(cè)目標(biāo)，可認(rèn)為接收的圓心坐標(biāo)即為其中心點(diǎn)坐標(biāo)。

（3）物體中心位置的跟蹤。通過(guò)位置式PID算法計(jì)算出舵機(jī)角度偏移量，從而控制攝像頭移動(dòng)，將待測(cè)物體移動(dòng)到視野中央，并使激光發(fā)生器對(duì)準(zhǔn)待測(cè)物體的中心。

（4）物體實(shí)際尺寸的計(jì)算。結(jié)合測(cè)距模塊的距離數(shù)據(jù)，將得到的像素?cái)?shù)據(jù)通過(guò)計(jì)算轉(zhuǎn)換為物體實(shí)際尺寸數(shù)據(jù)，并將其顯示在LCD屏幕中，并以蜂鳴器響起作為測(cè)量完成提示。

3.2 位置式PD實(shí)現(xiàn)物體中心位置跟蹤

利用3D打印得到的部件將激光發(fā)生器固定在攝像頭較近位置，并保證其同軸度，以減小后續(xù)微調(diào)舵機(jī)轉(zhuǎn)動(dòng)時(shí)產(chǎn)生的誤差。現(xiàn)將問(wèn)題轉(zhuǎn)化為如何控制舵機(jī)將被測(cè)圖形中點(diǎn)移到攝像區(qū)域中心。根據(jù)圖5分析攝像機(jī)需要沿坐標(biāo)軸方向進(jìn)行的位移，不難得出以下關(guān)系：

為了快速地將攝像機(jī)中心移動(dòng)到被測(cè)物中心位置，該設(shè)計(jì)采用位置式PD算法[16]。PD控制被廣泛應(yīng)用于在過(guò)程控制中，通過(guò)比較實(shí)際測(cè)定值與給定值可得出偏差，調(diào)節(jié)比例（Proportional）、微分（Differential）參數(shù)使得誤差減小，直至最佳控制狀態(tài)。由于需要定位并指示待測(cè)物體的中心位置，所以本設(shè)計(jì)采用的是位置式PD算法[17]，如式所示。

3.3 測(cè)距原理和實(shí)現(xiàn)

目前市面上5m以內(nèi)的空間距離非接觸式測(cè)量方法主要分為三角測(cè)量法和飛行時(shí)間（TOF，Time of Flight）測(cè)量法[18-19]。其中，三角測(cè)量法有雙目視覺(jué)和結(jié)構(gòu)光兩種測(cè)量方法。雙目視覺(jué)是通過(guò)兩個(gè)攝像頭的位置差和捕獲到圖像的差異來(lái)計(jì)算攝像頭與物體的距離，即利用了立體視差法進(jìn)行距離計(jì)算，但其需要復(fù)雜的匹配算法才能實(shí)現(xiàn)測(cè)距，且測(cè)量范圍有限；結(jié)構(gòu)光測(cè)距法則需要相機(jī)和結(jié)構(gòu)光發(fā)生器配合使用，需要較高的功率和聚焦的光線，在許多工業(yè)場(chǎng)景中測(cè)量的準(zhǔn)確度容易受到環(huán)境的影響較大[20-22]。

飛行時(shí)間測(cè)量法需要由兩個(gè)異步收發(fā)機(jī)完成，利用特定頻率的調(diào)制信號(hào)在兩個(gè)異步收發(fā)機(jī)之間的飛行時(shí)間來(lái)測(cè)量距離。該方法并非直接檢測(cè)光飛行的時(shí)間，而是通過(guò)傳回信號(hào)的相位偏移來(lái)確定光的飛行時(shí)間，從而確定距離。

飛行時(shí)間測(cè)量法具有受光照影響小、實(shí)時(shí)性強(qiáng)、結(jié)構(gòu)緊湊、功耗低等優(yōu)點(diǎn)。所以相比較之下，采用飛行時(shí)間測(cè)量法進(jìn)行測(cè)距能有效解決雙目視覺(jué)的測(cè)量范圍問(wèn)題和結(jié)構(gòu)光的測(cè)量成本問(wèn)題，更適合于非接觸測(cè)量的場(chǎng)合，故采用飛行時(shí)間測(cè)量法進(jìn)行測(cè)距。

3.4 物體實(shí)際尺寸的計(jì)算

非接觸式物體尺寸計(jì)算是本設(shè)計(jì)的重點(diǎn)關(guān)注問(wèn)題，其關(guān)鍵在于對(duì)物體在現(xiàn)實(shí)中實(shí)際尺寸與攝像頭中像素尺寸的比例的求取，如果能把握準(zhǔn)確這個(gè)比例常數(shù)，物體實(shí)際尺寸就可以通過(guò)像素尺寸乘以這個(gè)常數(shù)獲得。該問(wèn)題可以抽象出以下模型進(jìn)行求解，如圖6所示。

其中， 為待測(cè)物體長(zhǎng)度的像素值， 為待測(cè)物體長(zhǎng)度的真實(shí)值， 為參考物體長(zhǎng)度的像素值， 為參考物體長(zhǎng)度的真實(shí)值。 為所成的像與攝像頭之間的距離， 為物體與攝像頭之間的實(shí)際距離。

由幾何關(guān)系可得：

將上式做比整理可得以下關(guān)系：

由于相機(jī)視角固定，由此可得式（3）應(yīng)等于一個(gè)比例常數(shù)，且這個(gè)比例常數(shù)大小僅與距離有關(guān)，且成正比關(guān)系。假設(shè)比例常數(shù)為 ，根據(jù)以上式子，可得求解 的表達(dá)式為

4 測(cè)試方案

4.1 測(cè)試準(zhǔn)備

測(cè)試材料：秒表、卷尺、釣魚(yú)線、圓形及正多邊形KT板。

被測(cè)目標(biāo)放置距離測(cè)量頭1000mm至4000mm之間的區(qū)域內(nèi)，并距離地面高度應(yīng)為1000mm至1500mm。圖7為測(cè)試裝置及其各模塊示意圖。

4.2 測(cè)試方案

依照上文所述布置好測(cè)試環(huán)境，隨機(jī)從幾種待測(cè)KT板中選取一個(gè)用于檢測(cè)，記錄測(cè)得物體的尺寸、形狀、目標(biāo)物體與測(cè)量頭距離、指示中心點(diǎn)與實(shí)際中心點(diǎn)距離、完成全部功能所需時(shí)間。

實(shí)驗(yàn)方法：在距離測(cè)量頭1000mm至4000mm之間等距離取10個(gè)測(cè)量點(diǎn)，在每個(gè)測(cè)量點(diǎn)處，分別對(duì)不同種形狀的待測(cè)目標(biāo)進(jìn)行5次距離相同位置不同的識(shí)別與測(cè)量，以程序初始化和蜂鳴器響起分別作為計(jì)時(shí)的開(kāi)始和結(jié)束，記錄所有測(cè)量結(jié)果，并記錄每個(gè)測(cè)量點(diǎn)處的結(jié)果平均值。最終得出判斷正確率、尺寸平均誤差、目標(biāo)測(cè)量頭距離平均誤差、中心點(diǎn)指示距離平均誤差、完成所需平均時(shí)間5個(gè)指標(biāo)，并記錄。

4.3 測(cè)試結(jié)果

根據(jù)上述實(shí)驗(yàn)方法進(jìn)行實(shí)驗(yàn)，并記錄實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果顯示，系統(tǒng)的識(shí)別正確率為95.67%，實(shí)驗(yàn)測(cè)得該系統(tǒng)的誤差與該系統(tǒng)的測(cè)量用時(shí)如圖8所示。

4.4 結(jié)果分析

由以上測(cè)試結(jié)果可知，在識(shí)別被測(cè)物形狀方面，該裝置能較好地完成任務(wù)，根據(jù)實(shí)驗(yàn)結(jié)果，圖8測(cè)試結(jié)果顯示，中心點(diǎn)距離誤差處于區(qū)間[8，20]內(nèi)，并且隨著距離不斷增加。經(jīng)過(guò)對(duì)硬件的分析，確定其為機(jī)械誤差，即舵機(jī)無(wú)法進(jìn)行十分精密的微調(diào)。經(jīng)過(guò)計(jì)算，得出誤差平均值與測(cè)量用時(shí)平均值如表1所示。綜合分析數(shù)據(jù)，該設(shè)計(jì)滿足實(shí)際需求，誤差在實(shí)際需求允許范圍內(nèi)。

表1 各測(cè)量參數(shù)平均值

從表2相關(guān)性分析種可以看出，距離與測(cè)量用時(shí)的相關(guān)系數(shù)僅為0.29，說(shuō)明測(cè)量用時(shí)與測(cè)量距離沒(méi)有直接的關(guān)系。

表2 測(cè)量參數(shù)與距離的相關(guān)性分析

5 結(jié)語(yǔ)

本文闡述的裝置能夠?qū)崿F(xiàn)物體位置識(shí)別捕捉與尺寸、距離測(cè)量的基本功能，相較于基于機(jī)器學(xué)習(xí)算法的物體識(shí)別成本更低，開(kāi)發(fā)周期更短，且保留了不亞于采用機(jī)器學(xué)習(xí)、模板匹配等圖像處理算法的識(shí)別準(zhǔn)確率。測(cè)試實(shí)驗(yàn)表明，該裝置能夠較為準(zhǔn)確地完成物體形狀的識(shí)別，并能夠?qū)y(cè)量誤差控制在1.5%以下。該裝置可以搭載于小車上進(jìn)行物體的追蹤或者在流水線上協(xié)助分揀工作，可應(yīng)用于工業(yè)自動(dòng)化流水線、商場(chǎng)、家庭等環(huán)境，在生產(chǎn)生活中具有較為廣闊的發(fā)展前景。