物流紙箱三維尺寸測量系統的研究①

肖 鵬 王金龍 周志峰

(上海工程技術大學機械工程學院)

物流紙箱三維尺寸測量系統的研究①

肖 鵬 王金龍 周志峰

(上海工程技術大學機械工程學院)

基于OpenCV視覺函數庫，開發了一個物流紙箱三維尺寸測量系統。首先，利用雙目視覺棋盤格點進行攝像機標定，求出攝像機的內外參數；然后，采用Canny算子對圖像進行邊緣處理，得到合適的邊緣特征；最后，在對極幾何和極線約束的條件下，對強特征點進行插值處理，完成圖像的立體匹配，并計算出世界坐標系下的三維坐標。實驗結果表明：該系統的物流紙箱三維尺寸測量精度可以控制在2mm以下，滿足分類精度要求。

三維尺寸測量系統 物流紙箱 攝像機標定 OpenCV Canny算子

計算機視覺測量理論與技術是一種根據裝置目標圖像獲取實時物理過程參數，從而求解目標相關信息的方法。近年來，傳統的接觸式測量設備因效率低、速度慢，已無法適應現代制造業的發展需要。而雙目視覺測量技術作為一種新型非接觸式測量技術，在工業產品的加工、檢測等領域具有重要的應用意義，在物流箱的分類過程中，可以減少人為測量時間，提高分類速度[1]。在此，筆者采用一種雙目視覺測量方法：首先，利用雙目視覺的棋盤圖像對攝像機進行標定；然后，采用Canny算子測量圖像邊緣，在極線約束的條件下完成圖像的立體匹配，計算出世界坐標系下的三維坐標，最終實現物流紙箱的三維測量和全自動分類。

1 立體視覺測量原理

雙目視覺測量原理是：分別用兩臺攝像機采集同一物體的左右圖像，根據圖像之間的像素匹配關系，計算空間點在兩幅圖像中的視差并獲得該點的三維坐標值[2]，進而得到兩點的距離信息，如圖1所示。需要注意的是，在進行三維測量之前必須對攝像機的模型進行標定，計算出攝像機的內外參數。

攝像機標定主要是為了找出圖像坐標系、空間坐標系和像素坐標系之間的關系，進而獲取相機的內參(焦距、圖像中心、畸變系數)和外參(旋轉、平移矩陣)。筆者采用OpenCV中的張氏標定算法對雙目視覺系統進行攝像機標定，張氏標定法只需要利用相機從多個視角采集固定靶標的數幅圖像，而后通過標定板上各特征點與之在成像平面上的投影點之間的映射關系[3]，利用矩陣運算即可求出相機的內外參數。

圖1 雙目立體視覺中的幾何關系

2 邊緣特征點提取

圖像的邊緣是圖像重要的特征之一，相對于整幅圖像冗雜的信息來講，邊緣用極少的數據量即可反映出更多的圖像信息[4]。OpenCV中常用的邊緣提取算子有羅伯特邊緣檢測算子、Sobel邊緣提取算子、Canny邊緣檢測算子[5]及Laplace邊緣檢測算子等。在此，筆者選用Canny算子，Canny邊緣檢測分為4步：

a. 采用高斯平滑濾波器卷積降噪；

b. 計算梯度幅值和方向；

c. 非極大值抑制，保留一些細線條作為候選邊緣；

d. 滯后閾值若高于高閾值則保留為邊緣像素，低于低閾值則被排除，若介于兩者之間，則保留連接高于高閾值像素的像素。

3 立體匹配與測量

根據選擇的基元，雙目立體匹配算法可以分為3種：基于區域、基于特征和基于相位的立體匹配算法[6]。

筆者運用Canny算子對圖像進行邊緣特征提取，之后在提取的邊緣特征的基礎上，進行特征點(邊緣點、角點及拐點等[7])匹配。特征點匹配通常包括匹配特征點、計算匹配點深度、對稀疏深度進行插值獲取深度圖3方面。OpenCV中采用的是塊匹配立體算法，該算法運用絕對誤差累計方法來尋找左右圖像間的匹配點。塊匹配過程是在整幅圖像中滑動SAD窗口[8]，當圖像校正之后，每一行就是所要尋找的極線。如果檢測紋理較多，可以在右側攝像頭中找出相對應的匹配位置，再通過最小二乘法對場景進行三維點的云計算[9]。

假設某世界坐標系中物點在左右兩個攝像機的圖像坐標系中的投影點的圖像坐標分別為(uL，vL)、(uR，vR)，左右兩個攝像機的投影矩陣分別為ML、MR，則有：

(1)

(2)

由解析幾何可知，三維空間的平面方程為線性方程，因此可以利用最小二乘法求出矩陣X、Y、Z[10,11]。

4 實驗結果分析

在光線合理的情況下，實驗采用左右各11幅圖像(像素點數為2340×1728)對雙目相機進行標定，得到的左、右相機內參數分別為：

則攝像機外參數旋轉矩陣R和平移矩陣T分別為：

標定完成后，利用物流紙箱三維尺寸測量系統通過雙CCD獲取的三維紙箱立體圖像對如圖2所示。

圖2 三維紙箱立體圖像對

對該立體圖像對進行邊緣特征提取，運用Canny算子中的雙閾值優勢，調整最佳的最大閾值和最小閾值，得到實驗結果如圖3所示。

圖3 三維紙箱邊緣化圖像對

運用SAD窗口對左右圖像進行特征匹配，效果如圖4所示。為了便于圖像顯示，所有圖像均經過直方圖均衡化處理。可以看出，圖像整體的匹配準確度較高，選擇能夠代表物體長、寬、高的4個特征點，按基于最小二乘法的點的三維坐標的確定方法求解4個特征點的世界坐標，并與測得的實際值進行比較，結果見表1、2。

圖4 特征匹配效果

表1 4個特征點的世界坐標和像素坐標

表2 測量數據對比 mm

通過雙目視覺立體匹配與測量方法測量物流箱體的三維尺寸，可以減少人為測量時間，實現傳輸帶的自動化，提高物流的傳輸效率。在測量過程中，攝像機系統誤差、光照、對基線的距離控制、物距及光強等因素對實驗結果影響較大，因此這將是今后繼續研究和改進的方向。

5 結束語

筆者以雙目視覺技術、圖像處理與精密測量等技術為基礎，設計了一個物流紙箱三維尺寸測量方案。實驗結果表明，基于OpenCV的立體視覺三維測量系統穩定性較好，在特征點提取準確的情況下，對物體的三維尺寸測量精度可以控制在2mm以下，滿足分類精度要求，可以應用到物流自動分類系統中。但是實驗過程中，三維測量時加入了人為操作，并且只對長方體紙箱進行了測量，因此后續需對其他形狀包裹的測量方法和全自動檢測方法進行更深入的研究。

[1] 羅世民,李茂西.雙目視覺測量中三維坐標的求取方法研究[J].計算機工程與設計,2006,27(19):3622～3624.

[2] 李克國,李大運,陶學恒.一種雙目立體視覺技術中三維坐標點的改進求取算法[J].機電產品開發與創新,2008,21(5):31～32.

[3] 馬頌德,張正友.計算機視覺——計算理論與算法基礎[M].北京:科學出版社,1998.

[4] 霍智勇,朱秀昌.基于區域的立體匹配算法研究[J].南京郵電大學學報(自然科學版),2011,31(3):44～49.

[5] 陳勝勇,劉盛.基于OpenCV的計算機視覺技術實現[M].北京:科學出版社,2008.

[6] 任重,邵軍力.雙目立體視覺的匹配方法研究[J].軍事通信技術,2001,22(2):46～49.

[7] 周東翔,蔡宣平,孫茂印.一種基于特征約束的立體匹配算法[J].中國圖象圖形學報,2001,6(7):653～656.

[8] Marapane S B,Trivedi M M.Multi-Primitive Hierarchical(MPH) Stereo Analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1994,16(3):227～240.

[9] Reich C,Ritter R,Thesing J.White Light Heterodyne Principle for 3D-measurement[J].SPIE Proceedings,1997,3100:236～244.

[10] Richard H,Andrew Z,著,韋穗,楊尚駿,章權兵,等譯.計算機視覺中的多視圖幾何[M].合肥:安徽大學出版社,2002:171～173.

[11] 孟磊,鄒志云,郭宇晴,等.機器視覺在化工過程液位檢測中的應用研究[J].石油化工自動化,2015,51(4):39～43.

ResearchonThreeDimensionalMeasurementSystem
forLogisticsCartons

XIAO Peng, WANG Jin-long, ZHOU Zhi-feng
(CollegeofMechanicalEngineering,ShanghaiUniversityofEngineeringScience)

Having OpenCV visualization toolkit based to develop a three-dimensional measurement system for logistics cartons was implemented, including having binocular vision checkerboard used to calibrate the camera and determine its intrinsic and extrinsic parameters; making use of Canny operator to measure edge of the image so as to obtain a proper edge feature and finally, under the condition of epipolar geometry and line constraint, having character points interpolated to complete stereo matching of the image and calculate three-dimensional coordinate of the world coordinate system. The experimental results show that, the system’s measurement accuracy can be controlled less than 2mm and satisfy the requirements of classification accuracy.

three-dimensional measurement system, logistics carton, camera calibration, OpenCV, Canny operator

肖鵬(1994-)，碩士研究生，從事硬件系統開發設計和機器視覺的研究。

聯系人周志峰(1976-)，副教授，從事衛星北斗導航定位的研究，zhousjtu@126.com。

TH862

A

1000-3932(2017)12-1155-04

2017-07-13，

2017-09-03)