基于雙目視覺原理的微型內(nèi)窺鏡開發(fā)

劉先名，陳泓宇，馬天悅，蘇新建，王中開

（深圳市亞泰光電技術(shù)有限公司，廣東深圳，518000）

基于雙目視覺原理的微型內(nèi)窺鏡開發(fā)

劉先名，陳泓宇，馬天悅，蘇新建，王中開

（深圳市亞泰光電技術(shù)有限公司，廣東深圳，518000）

為拓展傳統(tǒng)內(nèi)窺鏡功能，在雙目立體數(shù)據(jù)測量基礎(chǔ)上，提出了一種便攜式微型三維測量系統(tǒng)。介紹了雙目視覺內(nèi)部結(jié)構(gòu)及測量構(gòu)成，對測量的數(shù)據(jù)進(jìn)行了比較與分析，應(yīng)用手段包括：魚眼畸變校正、雙目標(biāo)定、三維重建等。實(shí)驗(yàn)表明：系統(tǒng)測量結(jié)果存在一定波動，經(jīng)多次測量后取平均值，其非常接近實(shí)際值。雙目立體視覺的測量相對誤差控制在2%以內(nèi)，相比傳統(tǒng)內(nèi)窺鏡具有明顯的性能優(yōu)勢。

微型內(nèi)窺鏡；三維測量；雙目視覺；魚眼校正

引言

在重大裝備科學(xué)實(shí)驗(yàn)及日常無損檢測中，工業(yè)內(nèi)窺鏡具有廣泛應(yīng)用。重大裝備為避免“維修二次損害”，常常需使用無損檢測儀器對設(shè)備內(nèi)部的裂紋、磨損面、顆粒等進(jìn)行觀察，但只能定性判斷，無法進(jìn)一步得到準(zhǔn)確數(shù)據(jù)進(jìn)行定量分析。

三維測量技術(shù)建立在立體圖像基礎(chǔ)上，解決了無法獲得立體圖像、就無法對圖像進(jìn)行三維測量的問題。楊東林等[1]介紹了一種基于雙目立體視覺原理的三維工業(yè)內(nèi)窺鏡系統(tǒng)，但受制于鏡頭尺寸、電子硬件等因素，無法深入管道完成內(nèi)部檢測與測量；李少偉等[2]基于雙目立體攝影測量原理設(shè)計(jì)了一種具有測量功能的工業(yè)內(nèi)窺鏡系統(tǒng)，所顯示的測量長度誤差在0.03 mm范圍內(nèi)，初步實(shí)現(xiàn)了立體測量，但其探頭直徑為40 mm，大大限制了其應(yīng)用范圍與領(lǐng)域。目前美國的韋林公司和日本的奧林巴斯公司（OLYMPUS）生產(chǎn)的三維測量內(nèi)窺鏡的孔徑分別為6.2 mm和3.9 mm的鏡頭規(guī)格。工業(yè)內(nèi)窺鏡正朝著小口徑、高亮度、高清晰度、輕質(zhì)量等方向發(fā)展，而鏡頭尺寸的大小會受到關(guān)鍵檢測設(shè)備的插入孔限制。

本文研發(fā)一款便攜式微型三維測量內(nèi)窺鏡，其微型鏡頭尺寸可極大拓展產(chǎn)品使用范圍，可預(yù)見產(chǎn)品將有較大發(fā)展空間。

1 雙目視覺系統(tǒng)

三維測量功能的實(shí)現(xiàn)，目前已有三相位測量法、陰影測量法、立體測量法、比較測量法等[3]。本次系統(tǒng)設(shè)計(jì)方案采用立體測量法，即插入管前端內(nèi)置兩顆光學(xué)鏡頭（CCD），區(qū)別于單目視覺測量法。該光學(xué)鏡頭可滿足微型孔徑尺寸，但受到像素和視場角的限制，采集圖像會存在清晰度不足、魚眼效果等不利情況，因此系統(tǒng)軟件需要進(jìn)行必要的圖像畸變校正及圖像增強(qiáng)等算法設(shè)計(jì)。

1.1 雙目視覺原理

雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)重要分支，即由不同位置的兩臺攝像機(jī)或者一臺攝像機(jī)經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。

圖1 雙目立體視覺系統(tǒng)

圖1 為雙目立體視覺系統(tǒng)示意圖，分別以下標(biāo)l、r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。空間中一點(diǎn)A(X, Y, Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)分別為al(ul, vl)和ar(ur, vr)。這兩個(gè)像點(diǎn)是空間中同一個(gè)像點(diǎn)A的像，稱為“共軛點(diǎn)”。已知這兩點(diǎn)后，分別作它們與各自相機(jī)的光心Ol和Or的連線，即投影線a1O1和arOr，它們的交點(diǎn)即為空間中的對應(yīng)像點(diǎn)A(X, Y, Z)。以上即是立體視覺的基本原理[4]。

1.2 三維測量系統(tǒng)搭建

本文提供的微型三維測量系統(tǒng)硬件結(jié)構(gòu)主要有x86硬件平臺、圖像采集端、光源、鏡頭支架、插入管組成。選用的待測物為標(biāo)準(zhǔn)量塊，長度規(guī)格為20.00 mm、10.00 mm、5.00 mm。鏡頭的焦距范圍為：5～100 mm。根據(jù)不同的視場范圍選擇合適的測量距離，待測物距離鏡頭支架中心80 mm。

測量流程如圖2所示，根據(jù)待測物的大小確定光學(xué)鏡頭和測量角度后，對三維測量系統(tǒng)進(jìn)行內(nèi)外參數(shù)的標(biāo)定、模組鏡頭內(nèi)外參數(shù)的攝像、圖像同步采集，并循環(huán)讀取采集到的圖像。圖像需要立體校正，并對光學(xué)鏡頭左右圖像進(jìn)行非線性畸變校正、立體校正、剪裁等一系列預(yù)處理，然后提取角點(diǎn)圖像坐標(biāo)，并進(jìn)行雙目標(biāo)定。

在經(jīng)過雙目校正后，在進(jìn)行測量時(shí)就需要對光學(xué)鏡頭左右圖像進(jìn)行操作，最終獲取僅有水平視差的左右圖像，并進(jìn)行立體匹配。

圖2 三維測量系統(tǒng)流程圖

2 三維算法研究

2.1 測量系統(tǒng)標(biāo)定

理想的鏡頭標(biāo)定以透視投影原理和針孔模型為建模基礎(chǔ)，但實(shí)際選用的鏡頭視場角為120°，存在較大畸變。因此本文采用考慮畸變的非線性模型作為攝像機(jī)標(biāo)定的幾何模型，它是基于牛海濤[5]所提出的棋盤格標(biāo)定算法，圖3所示為標(biāo)定板。采用StereoCalibrate函數(shù)對雙目視覺測量系統(tǒng)完成雙目標(biāo)定。標(biāo)定板參數(shù)如下：方格，5 mm；方格陣列，10×7；圖像面積，50×35 mm2；精度，1 μm。

圖3 棋盤格標(biāo)定板

2.2 圖像預(yù)處理

從不同角度進(jìn)行圖像采集。實(shí)際采集的圖像會存在噪聲，并且初始采集的圖像會有比較明顯的魚眼效果，因此在圖像計(jì)算之前先要進(jìn)行預(yù)處理。魚眼校正采用Open CV軟件中fsh eye函數(shù)完成[6]，并計(jì)算新投影點(diǎn)和舊投影點(diǎn)之間的誤差。經(jīng)計(jì)算：角點(diǎn)個(gè)數(shù)為54，左右鏡頭平均誤差分別為0.034 632 6像素和0.035 493 8像素，總體平均誤差小于1，表明魚眼校正效果較好。對比圖4(a)和4(c)、4(b)和4(d)，發(fā)現(xiàn)魚眼效果明顯減輕，這將有利于后續(xù)的雙目標(biāo)定和視差圖獲取。采用Find chess board corners函數(shù)完成標(biāo)定板的角點(diǎn)提取，該角點(diǎn)作為每個(gè)方格的特征點(diǎn)，經(jīng)過排序之后，每個(gè)視圖的特征點(diǎn)將會準(zhǔn)確匹配。

圖4 采集原圖與校正圖

3 實(shí)際測量

為驗(yàn)證本文方法的有效性和精確度，采用標(biāo)準(zhǔn)量塊作為實(shí)驗(yàn)對象。實(shí)驗(yàn)道具包括：三維測量系統(tǒng)一套、標(biāo)準(zhǔn)正多邊形、游標(biāo)卡尺、鏡頭支架、距離尺、光源、光度計(jì)、計(jì)算機(jī)及相應(yīng)圖像處理軟件。將標(biāo)準(zhǔn)量塊平放至實(shí)驗(yàn)平臺上，采用鏡頭支架夾住雙目鏡頭，并用距離尺測量鏡頭到量塊表面的距離，量塊的標(biāo)準(zhǔn)長度將采用游標(biāo)卡尺進(jìn)行測量，采用同一光源對試驗(yàn)臺提供亮度，并用照度計(jì)測量實(shí)驗(yàn)照度。標(biāo)定完畢后，每個(gè)標(biāo)準(zhǔn)量塊進(jìn)行20次重復(fù)實(shí)驗(yàn)，測量系統(tǒng)同步采集圖像，并同步記錄游標(biāo)卡尺、照度計(jì)、距離尺的數(shù)值。計(jì)算標(biāo)準(zhǔn)量塊最遠(yuǎn)兩端的空間距離。表1和圖5分別為標(biāo)準(zhǔn)量塊的統(tǒng)計(jì)分析和實(shí)測結(jié)果。

表1 統(tǒng)計(jì)分析

圖5 每個(gè)標(biāo)準(zhǔn)量塊的20組實(shí)測數(shù)據(jù)

從表1和圖5的數(shù)據(jù)還可以看出，在鏡頭焦距許可范圍內(nèi)，采用三維測量系統(tǒng)對不同的標(biāo)準(zhǔn)量塊進(jìn)行測量，線性度較好，平均相對誤差小于2%，最大的測量偏差小于0.30 mm。但測量結(jié)果存在一定的結(jié)果波動，故對其誤差產(chǎn)生的原因進(jìn)行分析：

（1）角點(diǎn)提取誤差。本文中所用提取函數(shù)的精度只到亞像素級，對后續(xù)計(jì)算有一定影響；

（2）鏡頭封裝誤差。鏡頭封裝不可能達(dá)到理論要求水平，存在一定誤差；

（3）相機(jī)標(biāo)定誤差。相機(jī)在標(biāo)定過程中會涉及魚眼校正等預(yù)處理過程，導(dǎo)致搭建的三維模型的理論矩陣存在變動，影響后續(xù)計(jì)算；

（4）人為因素。操作員每次對標(biāo)準(zhǔn)量塊測量兩端的選擇，對測量結(jié)果有一定影響。

4 結(jié)論

本文基于雙目視覺測量的原理提出了一種微型三維測量系統(tǒng)的研究，介紹了雙目視覺測量的構(gòu)成及內(nèi)部結(jié)構(gòu)，對過程數(shù)據(jù)進(jìn)行了比較與分析，包括魚眼畸變校正、雙目標(biāo)定、三維重建等。實(shí)驗(yàn)結(jié)果表明，測量相對誤差控制在2%以內(nèi)。

相對傳統(tǒng)的內(nèi)窺鏡，本文開發(fā)的系統(tǒng)具有更為顯著的性能優(yōu)點(diǎn)。雖然多次測量的結(jié)果已經(jīng)很接近實(shí)際值，但還是存在一定波動，后續(xù)有待進(jìn)一步改進(jìn)。

[1]楊東林, 盧棟, 馮大偉. 基于圖像處理的三維工業(yè)內(nèi)窺鏡研究[J]. 儀器儀表學(xué)報(bào), 2009, 30(6): 1285-1289.

[2]李少偉, 王晴, 黃桂平. 一種具有雙目立體量測功能工業(yè)內(nèi)窺鏡的設(shè)計(jì)與系統(tǒng)集成[J]. 測繪工程, 2012, 21(1): 67-69.

[3]劉菲. 基于相位測量法的光學(xué)三維形貌測量研究[D]. 山東: 山東師范大學(xué), 2008.

[4]郭俊鋒, 劉鵬, 焦國華, 等. 三維測量工業(yè)內(nèi)窺鏡的雙目光學(xué)系統(tǒng)[J]. 光學(xué)精密工程, 2014, 22(9): 2337-2344.

[5]牛海濤, 趙勛杰. 采用棋盤格模板的攝像機(jī)標(biāo)定新方法[J]. 紅外與激光工程, 2011, 40(1): 133-137.

[6]Bradski G R, Kaehler A. Learning OpenCV [J]. Oreilly Media, 2008.

Exploration on Micro-endoscope based on Binocular Stereovision Principle

LIU Xian-ming, CHEN Hong-yu, MA Tian-yue, SU Xin-jian, WANG Zhong-kai
(Shenzhen Yateks Optoelectronic Technology Co., Ltd., Shenzhen, Guangdong,518000, China)

In order to expand the function of traditional endoscope, a portable micro 3D measurement system is presented based on binocular stereovision measurement. The external and internal structure of binocular stereovision measurement is introduced, and its process data are compared and analyzed, in which the methods include fish-eye distortion correction, binocular calibration and 3D reconstruction. The experiments show that, there are somewhat fluctuations in the systematical measurement results, which can be very close to the actual value after averaging on repeated measurements. The relative error of binocular stereovision measurement is less than 2%, holding obvious advantages of performance compared with the traditional endoscope.

Micro-endoscope; 3D Measurement; Binocular Stereovision; Fish-eye Correction

Q436

A

2095-8412 (2016) 06-1173-04

10.14103/j.issn.2095-8412.2016.06.032

劉先名(1988-)，男，漢族，湖北洪湖人，碩士，中級。研究方向：設(shè)備檢測、故障診斷。

E-mail: liuxianming456@qq.com