基于Kinect傳感器的羊體體尺測量系統(tǒng)*

趙建敏, 趙忠鑫, 李 琦

(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

?

基于Kinect傳感器的羊體體尺測量系統(tǒng)*

趙建敏, 趙忠鑫, 李 琦

(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

在基于機器視覺的羊體體尺測量中，當(dāng)光線、背景等產(chǎn)生干擾時，彩色圖像無法準確提取出羊體輪廓，且羊體站姿的變化也會造成測量誤差。基于VS2010,Windows SDK搭建羊體測量系統(tǒng)，為解決背景干擾的問題，采用Kinect傳感器獲取現(xiàn)場羊體彩色和深度圖像，將彩色與深度圖像相結(jié)合提取羊體輪廓；結(jié)合深度信息建立羊體空間輪廓線擬合平面，并計算其與像平面夾角，進行體位站姿糾偏后得到羊體體尺數(shù)據(jù)。經(jīng)過實驗測試，相對誤差在4.3 %以內(nèi)。

機器視覺;輪廓提取; 特征點; 體尺測量; Kinect傳感器

0 引 言

基于機器視覺的家畜體尺測量改變了接觸式的測量方法，國內(nèi)相關(guān)研究有：劉同海、滕光輝等人利用背景減法和去除噪聲算法得到豬體體尺測點[1]；江杰、周麗娜等人利用背景差分法提取羊體輪廓[2]；劉波、朱興偉等人運用自動閾值分割與形態(tài)學(xué)處理進行輪廓分割[3]。

但上述方法在實測中，當(dāng)家畜與背景顏色相近時，彩色圖像差分結(jié)果殘缺，閾值難以確定，無法單純分割出目標(biāo)家畜。另外，羊體與像平面的夾角無法得知，對測量造成較大誤差。本文在VS2010環(huán)境下基于Kinect傳感器搭建的羊體體尺測量系統(tǒng)。利用彩色、深度圖像的多元信息提取羊體輪廓線；結(jié)合傳感器深度值建立輪廓點三維坐標(biāo)，計算出羊體與像平面夾角，得到更加準確的體尺數(shù)據(jù)。

1 總體方案

本文參照人工羊體體尺測量設(shè)計出基于機器視覺中的測量步驟。通過Kinect傳感器捕捉羊體彩色、深度圖像，分別得到各自的輪廓提取結(jié)果，將二者信息結(jié)合最終得到閉合羊體側(cè)面輪廓線。羊體特征點如圖1,臀部特征點A，耆點B，前后足點C,D。AB長為羊體體長，BD長為體斜長，BC長為體高。

圖1 羊體輪廓與特征點

通過對得到的羊體輪廓線數(shù)字圖像進行分析，得到各特征點，計算出羊體體尺。總體方案如圖2所示。

圖2 體尺測量系統(tǒng)總體結(jié)構(gòu)圖

2 軟件總體方案

軟件結(jié)構(gòu)分驅(qū)動層和應(yīng)用層，如圖3所示。

圖3 軟件結(jié)構(gòu)圖

驅(qū)動層包括KinectSDK,MySQL數(shù)據(jù)庫，應(yīng)用層包括羊體特征點提取、體尺計算、站姿糾偏、羊體體尺檔案等。本系統(tǒng)采用多線程方法設(shè)計應(yīng)用程序，線程1進行攝像頭讀取，視頻流的采集，線程2進行輪廓提取，特征點尋找，體尺計算等子程序。操作系統(tǒng)為線程1、線程2提供不同的時間片，設(shè)置線程2的優(yōu)先級高于線程1。

3 深度與彩色流的獲取

Kinect傳感器是微軟公司在2009年發(fā)布的一種體感傳感器[4]，它可同時采集彩色、深度圖像，流程如4所示。

首先，進行初始化：1)檢查Kinect設(shè)備是否連接到電腦上，以及Kinect設(shè)備的驅(qū)動程序是否安裝成功；2)若設(shè)備狀態(tài)正常，NuiCreateSensorByIndex函數(shù)創(chuàng)建設(shè)備ID。

圖4 彩色與深度流獲取流程圖

其次，分配相應(yīng)緩存空間，設(shè)定圖像的分辨率。通過NuiInitialize(NUI_INITIALIZE_FLAG_USES_COLOR )和NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH)函數(shù)對深度彩色視頻流進行初始化。本系統(tǒng)采用逐幀讀取視頻流的方法，通過CvCapture()結(jié)構(gòu)體來保存圖像捕獲的信息，CvCapture()自動獲取下一幀的位置，每獲取一幀后，利用MapColorCoordinatesToDepth()或MapDepthCoordinatesToColor()對深度與彩色圖像進行配準，之后這些信息立即更新，自動獲取下一幀，周而復(fù)始。在主界面創(chuàng)建靜態(tài)框，利用DrawToHDC()將圖像逐幀畫到靜態(tài)框中，形成彩色、深度流。為實現(xiàn)數(shù)據(jù)保存，采用CvCreateVideoWriter()視頻文件寫入器函數(shù)將數(shù)據(jù)流以一定格式寫入，完成保存。退出時，調(diào)用函數(shù)NuiShutdown()，釋放對Kinect設(shè)備的控制權(quán)。

4 輪廓提取

羊體輪廓提取利用彩色和深度圖像信息相互結(jié)合的辦法。流程圖如圖5所示。

圖5 輪廓提取流程圖

利用CvSaveImage()函數(shù)對現(xiàn)場羊體彩色、深度圖形進行采集，系統(tǒng)自動對采集圖像編號，并存入后臺數(shù)據(jù)庫。通過鼠標(biāo)事件回調(diào)函數(shù)CvSetMouseCallback()，返回單擊事件onClick選取目標(biāo)羊體。此時目標(biāo)羊體處生成一個標(biāo)記點K，彩色圖像以K點為基準，采用局部自適應(yīng)閾值分割法[5]進行閾二值化處理，以某一閾值將像素點灰度一分為二，再用Canny算法對二值化后的圖像進行輪廓提取，深度圖像在去噪后直接進行輪廓提取。

圖6(a),(b)分別為利用彩色、深度提取到的羊體輪廓線。圖6中輪廓線處像素點灰度為255，其余部分灰度為0。在目標(biāo)羊A處標(biāo)記點灰度值初始化為200。定義與一像素點a有公共邊的像素為其鄰位，如b1,b2,b3,b4為a鄰位，如圖7。

圖6 輪廓提取結(jié)果

圖7 a點及其鄰位

若灰度值為200的像素點a鄰位存在灰度值為0的像素點，則稱a為奇異點。定義奇異點的膨脹操作為將鄰位中灰度值為0的位置灰度改變?yōu)?00。程序以標(biāo)記點開始作膨脹運算，直至無奇異點時，羊體A區(qū)域已被灰度值為200的像素點填充，此時取閾值T=200進行二值化，如圖8(a)，再經(jīng)提取輪廓，得到閉合輪廓，如圖8(b)。

圖8 目標(biāo)羊體輪廓圖

5 特征點提取

根據(jù)U弦長曲率[6]法得到背部輪廓線臀部相應(yīng)位置曲率最大點[2]即為臀部特征點。

通過逐行掃描的雙腿識別算法的到前后蹄點的坐標(biāo)[7]。根據(jù)前蹄點像素點位置，設(shè)fy為前足點所在列，因此,耆點也在第fy列。找出輪廓線上所有列數(shù)為fy的點，所在行數(shù)分別為T1,T2,T3,…,Tn。最終根據(jù)限定條件

(1)

坐標(biāo)(x,y)即為耆點坐標(biāo)。

6 站姿糾偏

在實測中，羊體中心平面與測量平臺中心平面可能存在一定的角度θ，如圖9。此時，在二維圖像中測得的體尺數(shù)據(jù)L′為真實體尺L在二維圖像平面上投影長度，因此,需結(jié)合深度信息進行測量。

圖9 羊體站位俯視圖

6.1 建立空間直角坐標(biāo)系

深度圖像幀中，每一個像素點都包含了特定的距離信息，即該特定的(x，y)點坐標(biāo)處離攝像頭平面最近的物體到該平面的距離。

本文深度圖像分辨率為640×480，由羊體二值化輪廓線坐標(biāo)結(jié)合深度圖像中獲得的深度值構(gòu)成羊體空間輪廓線。空間輪廓線上的點類型為DepthImagePoint(X,Y,Z)，其中，(X,Y)為深度圖像像素坐標(biāo)，即輪廓點位置，Z為深度值。本文選用的深度圖像的灰度值為0～255，根據(jù)Kinect相關(guān)信息，深度值分辨率為1.6 cm。

如圖10，在實際測量時，攝像頭與羊體監(jiān)控區(qū)域位置保持相對不變，根據(jù)墻面標(biāo)記點A,B進行攝像頭標(biāo)定，已知A,B相距200 cm，水平相隔469個像素，故可確定dx=dy=0.427 cm。

圖10 Kinect安裝示意圖

6.2 剔除不可信點

考慮到計算量等因素，將空間輪廓線上的隨機采樣點表示到三維直角坐標(biāo)系中。由于Kinect在對羊體邊緣部分的深度測量存在著許多隨機誤差，產(chǎn)生的虛假邊緣的深度信息并不可靠，故將其剔除。求出采樣輪廓點深度值的均值

(2)

圖11 部分空間輪廓點

6.3 擬合平面

在得到較為可信的羊體空間輪廓點之后，采用最小二乘法，對這些點坐標(biāo)進行擬合運算得到其的擬合平面。部分輪廓采樣點坐標(biāo)見表1。

表1 部分輪廓采樣點的坐標(biāo)(cm)

Tab 1 Coordinates of partial contour sampling point (unit: cm)

軸向123456X108.6113.3130.4165.4171.4188.9Y104.190.482.898.6112.2177.1Z164.8171.2171.2169.6164.8160.0

羊體輪廓點擬合平面的一般方程為

-0.000 797 2x+0.000 265 7y-0.005 4z+1=0.

(3)

擬合平面和輪廓點如圖12。得到了羊體站位擬合平面，可將特征點坐標(biāo)映射到擬合平面上，計算得到體尺數(shù)據(jù)。

圖12 空間輪廓點與擬合平面

7 實驗結(jié)果與分析

系統(tǒng)主界面如圖13，隨機選6只羊為樣本，以體長為例，人工與本系統(tǒng)各測5次取均值，以人工方法測量結(jié)果為真值，給出本系統(tǒng)相對誤差，見表2。

圖13 主界面 Fig 13 Main interface

表2 體長測量實驗結(jié)果

8 結(jié) 論

本文在VS2010環(huán)境下，結(jié)合Windows SDK設(shè)計并實現(xiàn)了羊體體尺測量系統(tǒng)，基于Kinect傳感器，采用彩色、深度圖像融合的方法分割得到羊體輪廓線，克服了背景差分、閾值分割在提取家畜輪廓時出現(xiàn)的差分結(jié)果殘缺、閾值選取困難及羊只站姿變化干擾等問題，實測中，相對誤差在4.3 %之內(nèi)，對機器視覺技術(shù)在家畜體尺測量方面的應(yīng)用具有積極意義。

[1] 劉同海,滕光輝,付為森,等.基于機器視覺的豬體體尺測點提取算法與應(yīng)用[J].農(nóng)業(yè)工程學(xué)報,2013,29(2):161-168.

[2] 江 杰,周麗娜,李 剛.基于機器視覺的羊體體尺測量[J].計算機應(yīng)用,2014,34(3):846-850,887.

[3] 劉 波,朱偉興,霍冠英.生豬輪廓紅外與光學(xué)圖像的融合算法[J].農(nóng)業(yè)工程學(xué)報,2013,29(17):113-120.

[4] 趙建敏,許曉偉,賈慧媛.基于Kinect體感傳感器的心理宣泄系統(tǒng)的實現(xiàn)[J].傳感器與微系統(tǒng),2014,33(8):119-122.

[5] 王琰濱,蔣龍泉,馮 瑞.一種低圖像質(zhì)量車輛牌照的字符分割方法[J].計算機應(yīng)用與軟件,2013,30(3):108-110,117.

[6] 郭娟娟,鐘寶江.U弦長曲率:一種離散曲率計算方法[J].模式識別與人工智能,2014,27(8):683-691.

[7] 羅瑞琨,魏有毅,尹華彬,等.基于Kinect的主動式伴舞機器人的研究與設(shè)計[J].機械設(shè)計與制造,2013(6):1-3,7.

趙忠鑫，通訊作者，E—mail：zhao479059413@163.com。

Sheep body size measurement system based on Kinect sensor*

ZHAO Jian-min, ZHAO Zhong-xin, LI Qi

(School of Information Engineering,Inner Mongolia University of Science and Technology,Baotou 014010,China)

In sheep body measurement based on machine vision,the color image can not extract sheep contour precisely because of light and background interference.Sheep’s uncertain standing posture can also cause measurement error.In order to solve the problem of background interference,measurement system is built based on VS2010, Windows SDK,and Kinect sensor as the image acquisition device is used to acquire the sheep body color image and depth image.Sheep body contour is gained by the way of color and depth fusion.Sheep body space contour fitting plane is established based on depth information, and angle between image plane and fitting plane is calculated to solve the problem of standing posture effect.The test results show the relative error is within 4.3 %.

machine vision； contour extraction； feature points； body measurement； Kinect sensor

2015—01—04

內(nèi)蒙古科技大學(xué)創(chuàng)新基金資助項目(2012NCL027)

10.13873/J.1000—9787(2015)09—0100—04

TP 391.4

A

1000—9787(2015)09—0100—04

趙建敏(1982-)，男，內(nèi)蒙古包頭人，碩士，講師，主要從事人機交互、模式識別方向的研究。