基于雙目電荷耦合器件的三維形貌檢測裝置研制

黃文濤， 閆紀(jì)紅， 陳 芳

(哈爾濱工業(yè)大學(xué) a.機(jī)電工程學(xué)院；b. 實(shí)驗(yàn)室管理與教學(xué)條件保障處，哈爾濱 150001)

0 引 言

在傳感技術(shù)的課程實(shí)驗(yàn)教學(xué)中，利用電荷耦合器件(CCD)進(jìn)行視覺測量無論在學(xué)生實(shí)踐能力培養(yǎng)還是工程實(shí)際應(yīng)用中都是重要的內(nèi)容，非接觸式測量可以根據(jù)采用的技術(shù)手段不同分為聲學(xué)測量技術(shù)、光學(xué)測量技術(shù)和電磁學(xué)檢測技術(shù)三大類，其中視覺測量應(yīng)用最為廣泛[1-2]。機(jī)器視覺是使用光學(xué)器件進(jìn)行非接觸感知，自動獲取和解釋一個(gè)真實(shí)場景的圖像，以獲取信息或控制機(jī)器或過程[3-4]。機(jī)器視覺檢測技術(shù)是以現(xiàn)代光學(xué)為基礎(chǔ)，融合電子學(xué)、計(jì)算機(jī)圖像學(xué)、信息處理、計(jì)算機(jī)視覺等科學(xué)技術(shù)為一體的現(xiàn)代檢測技術(shù)，機(jī)器視覺系統(tǒng)可以快速獲取大量信息，而且易于與設(shè)計(jì)信息及加工控制信息集成，基于視覺檢測技術(shù)的儀器設(shè)備能夠?qū)崿F(xiàn)智能化、數(shù)字化、小型化、網(wǎng)絡(luò)化和多功能化，具備在線檢測、實(shí)時(shí)分析、實(shí)時(shí)控制的能力[5-6]。三維重建是利用二維投影恢復(fù)物體三維信息(形狀等)的數(shù)學(xué)過程和計(jì)算機(jī)技術(shù)，它根據(jù)真實(shí)場景的數(shù)據(jù)重建出具有準(zhǔn)確幾何信息和照片真實(shí)感的三維模型，可以滿足數(shù)據(jù)的存檔、測量和分析等更高層次的需求[7-8]。CCD是一種用電荷量表示信號大小的微型圖像傳感器，具有光電轉(zhuǎn)換和信號電荷存儲、轉(zhuǎn)移及讀出的功能，可直接將光學(xué)信號轉(zhuǎn)換為模擬電流信號，電流信號經(jīng)過放大和模數(shù)轉(zhuǎn)換，實(shí)現(xiàn)圖像的獲取、存儲、傳輸、處理和復(fù)現(xiàn)。CCD檢測技術(shù)與圖像處理技術(shù)相結(jié)合，具有檢測精度高、處理速度快、抗干擾能力強(qiáng)、運(yùn)行穩(wěn)定、非接觸測量等優(yōu)點(diǎn)，其測量精度與效率都不受外界影響的干擾，因而在圖像采集、非接觸測量和實(shí)時(shí)監(jiān)控方面得到了廣泛應(yīng)用[9-11]。

本文針對增材制造領(lǐng)域中目標(biāo)物體三維形貌檢測的需求，研制了一套基于雙目CCD視覺感知的非接觸式三維形貌檢測裝置，該裝置通過電動缸搭載CCD相機(jī)，聯(lián)動轉(zhuǎn)臺拍攝被測目標(biāo)，對應(yīng)的圖像處理系統(tǒng)對所拍攝圖像處理后進(jìn)行自動三維重構(gòu)，實(shí)現(xiàn)全自動的視覺檢測、一鍵掃描和自動三維重構(gòu)。解決了非接觸形貌檢測中的實(shí)際問題，彌補(bǔ)了傳統(tǒng)檢測系統(tǒng)需要手動改變被測目標(biāo)工位位置的缺點(diǎn)，解決了傳感技術(shù)課程中利用CCD進(jìn)行非接觸測量缺少相應(yīng)儀器設(shè)備的問題。

1 圖像的三維形貌重建原理

要從二維圖像重建出物體的三維形貌，首先要理清相機(jī)的成像過程，這涉及到視覺系統(tǒng)坐標(biāo)系及其轉(zhuǎn)換關(guān)系。視覺系統(tǒng)的三大坐標(biāo)系包括世界坐標(biāo)系、相機(jī)坐標(biāo)系和圖像坐標(biāo)系[12-13]。

(1) 世界坐標(biāo)系OwXwYwZw。目標(biāo)物體位置的參考系。

(2) 相機(jī)坐標(biāo)系OcXcYcZc。以相機(jī)光心為原點(diǎn)Oc，光軸為Zc軸的坐標(biāo)系。

(3) 圖像坐標(biāo)系xOy/uO′v。以相機(jī)拍攝的二維照片為基準(zhǔn)建立的坐標(biāo)系，用于指定物體在照片中的位置，分為圖像物理坐標(biāo)系xOy和像素坐標(biāo)系uO′v。

轉(zhuǎn)換關(guān)系為：世界坐標(biāo)系通過剛體變換到達(dá)攝像機(jī)坐標(biāo)系；然后攝像機(jī)坐標(biāo)系通過透視投影變換到達(dá)圖像坐標(biāo)系；最后再將成像平面上的數(shù)據(jù)轉(zhuǎn)換到圖像像素坐標(biāo)系[13-14]。

(1) 世界坐標(biāo)與相機(jī)坐標(biāo)之間的變換(剛體變換)。兩坐標(biāo)系位置關(guān)系如圖1所示。

圖1 世界坐標(biāo)系與相機(jī)坐標(biāo)系位置關(guān)系

兩臺相機(jī)在同一時(shí)刻拍攝空間物體的同一特征點(diǎn)P，選擇左相機(jī)坐標(biāo)系為世界坐標(biāo)系，空間點(diǎn)P在世界坐標(biāo)系OwXwYwZw中坐標(biāo)為Pw(xw,yw,zw)，在攝像機(jī)坐標(biāo)系OcXcYcZc中坐標(biāo)為Pc(xc,yc,zc)，世界坐標(biāo)系下的坐標(biāo)通過剛體變換的方式轉(zhuǎn)換到相機(jī)坐標(biāo)下的坐標(biāo)，用矩陣表示為：

(1)

Xc=RXw+T

(2)

式中：Xc代表相機(jī)坐標(biāo)系；Xw代表世界坐標(biāo)系；R3×3代表旋轉(zhuǎn)；T3×1代表平移；R和T與相機(jī)無關(guān)，所以稱這兩個(gè)參數(shù)為相機(jī)的外參數(shù)。轉(zhuǎn)換為齊次坐標(biāo)表示為：

(3)

(4)

(2) 相機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的變換(透視投影)。系統(tǒng)的參考坐標(biāo)系定在左攝像機(jī)，空間任意點(diǎn)P的三維坐標(biāo)為Pw(xw,yw,zw)，對應(yīng)的圖像坐標(biāo)為(xl,yl)，焦距大小是fl；右攝像機(jī)坐標(biāo)系中，點(diǎn)P的坐標(biāo)為Pcr(xcr,ycr,zcr),對應(yīng)的圖像坐標(biāo)值為(xr,yr),焦距大小為fr，由于左右攝像機(jī)完全相同，有f=fl=fr。由于成像過程與內(nèi)參相同，這里坐標(biāo)不區(qū)分左右[15]。

根據(jù)攝像機(jī)的理想透視成像模型(見圖2)，攝像機(jī)坐標(biāo)通過透視投影變換可得：

(5)

轉(zhuǎn)換為齊次坐標(biāo)

(6)

圖2 透視投影成像模型

(3) 圖像物理坐標(biāo)系與圖像像素坐標(biāo)系的變換(離散化)。圖像物理坐標(biāo)系經(jīng)過平移和單位轉(zhuǎn)換變化到圖像像素坐標(biāo)系，兩者位置關(guān)系如圖3所示。表示為：

(7)

式中：dx代表x軸方向一個(gè)像素的寬度；dy代表y軸方向上一個(gè)像素的寬度；dx、dy為攝像機(jī)的內(nèi)參數(shù)；u0和v0稱為圖像平面的主點(diǎn)，也是攝像機(jī)的內(nèi)參數(shù)[16]，相當(dāng)于對x軸和y軸的離散化。運(yùn)用齊次坐標(biāo)，將上式寫成矩陣形式：

(8)

圖3 圖像物理坐標(biāo)系與像素坐標(biāo)系的關(guān)系

(4) 世界坐標(biāo)系與圖像像素坐標(biāo)系之間的整體轉(zhuǎn)換。整體傳換如下所示：

(9)

2 三維形貌檢測裝置總體設(shè)計(jì)

系統(tǒng)總體從硬件與軟件兩方面進(jìn)行設(shè)計(jì)，其中硬件包括圖像采集、機(jī)械機(jī)構(gòu)兩部分，軟件主要由：圖像獲取、圖像特征點(diǎn)提取、立體匹配、相機(jī)標(biāo)定與投影矩陣估計(jì)、三維坐標(biāo)解算構(gòu)成。系統(tǒng)方案如圖4所示。

圖4 三維形貌檢測裝置系統(tǒng)總體方案圖

系統(tǒng)設(shè)置水平和豎直方向兩種CCD視覺測量方法。水平方向通過多圖像序列來進(jìn)行三維重建；豎直方向通過被測物不同高度截面圖像進(jìn)行三維重建。

3 三維形貌檢測裝置硬件設(shè)計(jì)

3.1 圖像采集模塊

圖像采集模塊工作流程如圖5所示。根據(jù)流程，圖像采集模塊所需硬件包括工業(yè)相機(jī)和配套鏡頭。相機(jī)和鏡頭是計(jì)算機(jī)視覺中重要的組成部分，合適的相機(jī)和鏡頭決定了系統(tǒng)的性能[14]。

圖5 圖像采集模塊流程圖

3.2 運(yùn)動模塊

運(yùn)動模塊包括直線導(dǎo)軌、轉(zhuǎn)盤和支架，工件放置在轉(zhuǎn)盤上，相機(jī)通過支架與直線導(dǎo)軌連接，導(dǎo)軌帶動相機(jī)實(shí)現(xiàn)直線運(yùn)動，最后整個(gè)支架支撐硬件設(shè)備。首先根據(jù)使用要求選擇直線導(dǎo)軌的類型，然后根據(jù)產(chǎn)品手冊中的速度和負(fù)載質(zhì)量圖表選擇具體類別，完成最終型號選擇后與該型號參數(shù)表進(jìn)行對比校核。根據(jù)拍攝要求，轉(zhuǎn)盤直徑20 mm，質(zhì)量0.5 kg，支持連續(xù)拍攝和間歇拍攝，間歇拍攝時(shí)間、角度可設(shè)置。由于總體工作量較大，因此選擇電動遙控轉(zhuǎn)盤，兩種拍攝模式，一是轉(zhuǎn)盤連續(xù)旋轉(zhuǎn)，控制相機(jī)一定間隔拍攝；二是控制轉(zhuǎn)盤間歇轉(zhuǎn)動，每停止1次相機(jī)拍攝1次。支架主體由工業(yè)鋁型材拼接完成，支架上固定400 mm×500 mm的鋼板用于承載轉(zhuǎn)臺和水平電動機(jī)，系統(tǒng)整體的硬件裝配如圖6所示。

圖6 總裝示意圖

4 三維形貌檢測裝置軟件設(shè)計(jì)

系統(tǒng)軟件部分構(gòu)成如圖7所示。在C++環(huán)境下開發(fā)一個(gè)對兩臺相機(jī)同時(shí)進(jìn)行圖像信號獲取、處理和顯示的程序GxMultiCam，其具體流程如圖8所示。

圖7 軟件處理平臺模塊構(gòu)成

圖8 GxMultiCam流程

軟件的流程如圖9所示，具體過程為：

(1) 載入采集圖像。載入采集圖像并對其進(jìn)行篩選、去噪、校正等預(yù)處理。

(2) SIFT特征點(diǎn)提取與匹配。因照片可能存在旋轉(zhuǎn)、縮放或亮度變化，此過程利用SIFT算法提取、描述特征，用RANSAC算法過濾掉誤匹配。

(3) SFM稀疏點(diǎn)云重建。在檢測出每張圖片所有的特征點(diǎn)后，需要對對應(yīng)的特征點(diǎn)進(jìn)行匹配，在該匹配過程中，需要完成相機(jī)的標(biāo)定，通過圖像中的二維數(shù)據(jù)點(diǎn)反推出其空間位置，由此將所有的二維特征點(diǎn)反推至三維空間，形成稀疏點(diǎn)云。該過程主要通過SFM(Structure From Motion)技術(shù)實(shí)現(xiàn)。

(4) PMVS稠密點(diǎn)云重建。稠密點(diǎn)云的生成主要由基于面片的三維立體重建算法(Patch-Based Multi-View Stereo Software, PMVS)技術(shù)實(shí)現(xiàn)。形成稠密點(diǎn)云后，被測目標(biāo)的輪廓和特征都有了明顯的改善。

(5) 刪除冗余的錯(cuò)誤點(diǎn)。

(6) 表面重建。根據(jù)稠密點(diǎn)云雖然能夠更加形象地還原出被測目標(biāo)的形貌，但是其仍只是大量孤立的三維空間點(diǎn)的集合，必須要對其進(jìn)行表面重建。表面重建可以使用泊松表面重建算法，也可以使用Delaunay三角化。

圖9 多圖像三維形貌重建軟件流程

在Windows環(huán)境下進(jìn)行軟件設(shè)計(jì)。流程(1)～(3)通過VisualSFM軟件實(shí)現(xiàn)；流程(4)通過加載到VisualSFM中的CMVS/PMVS實(shí)現(xiàn)；流程(5)、(6)在Meshlab中實(shí)現(xiàn)，處理點(diǎn)云，生成三維模型并可360°觀察。

本文基于MC算法進(jìn)行豎直方向圖像三維重建及可視化，首先對圖像進(jìn)行預(yù)處理，通過提取邊緣得到二值化的圖像，并以此作為輸入進(jìn)行三維形貌重建。圖像預(yù)處理程序集成在一個(gè)Matlab GUI中，如圖10所示。在理論分析的基礎(chǔ)上進(jìn)行軟件設(shè)計(jì)(Windows環(huán)境下)，通過Visual Studio2013編寫基于MC算法的程序進(jìn)行三維重建。由一系列二維斷層圖像構(gòu)成的數(shù)據(jù)集形成三維空間采用數(shù)據(jù)集，采用OpenGL對三維空間數(shù)據(jù)集進(jìn)行渲染，以還原出被測目標(biāo)的三維形貌。

圖10 常見圖像處理算法GUI界面

5 實(shí)驗(yàn)測試分析

5.1 實(shí)驗(yàn)過程

在打開設(shè)備前將相機(jī)調(diào)節(jié)光圈到最大，檢查線路是否連接好。啟動RC/RE聯(lián)機(jī)程序，連接導(dǎo)軌，打開相機(jī)控制程序，通過微動調(diào)節(jié)水平方向相機(jī)位置，使被測物體位于圖像中央，調(diào)節(jié)焦距環(huán)直到采集到的圖像清晰且被測物體為止。

豎直方向：首先運(yùn)行MyDIP.m對圖像進(jìn)行預(yù)處理，得到二值化圖像，然后將包含二維斷層圖像的文件夾放在工程Debug(可執(zhí)行文件.exe所在的)路徑下，編譯運(yùn)行程序，在彈出的MFC窗口中單擊M按鈕即可出現(xiàn)三維重建之后的形貌。

水平方向：

第1步運(yùn)行VisualSFM，步驟如圖11所示。

圖11 載入圖像

(1) 載入圖像。VisualSFM無照片數(shù)量限制，照片越多，重建細(xì)節(jié)越豐富，重建過程消耗時(shí)間也越長。

(2) SIFT特征點(diǎn)提取與匹配。由于照片可能存在旋轉(zhuǎn)、縮放或亮度變化，因此需要利用SIFT算法提取、描述其特征，并通過RANSAC算法過濾掉誤匹配，該過程可以利用GPU進(jìn)行加速處理。

(3) 利用SFM進(jìn)行稀疏3D重建。利用SFM方法，通過迭代求解出相機(jī)參數(shù)和三維點(diǎn)的坐標(biāo)，即重建出3D模型的稀疏點(diǎn)云。若有“bad”相機(jī)(位置錯(cuò)誤或朝向錯(cuò)誤)，結(jié)合工具欄上的“3+”按鈕和手型按鈕即可刪除之，使結(jié)果更為準(zhǔn)確。

(4) 稠密點(diǎn)云重建。通過CMVS對照片進(jìn)行聚類，以減少稠密重建數(shù)據(jù)量，利用PMVS從3D模型的稀疏點(diǎn)云開始，在局部光度一致性和全局可見性地約束下，經(jīng)過匹配、擴(kuò)散、過濾生成帶有實(shí)際顏色的稠密點(diǎn)云，如圖12所示。

第2步運(yùn)行Meshlab。

(1) 輸入VisualSFM的生成文件。打開由VisualSFM生成的文件。檢測相機(jī)載入是否正確，由于可視化相機(jī)的尺寸比網(wǎng)格尺寸大得多，所以需調(diào)整相機(jī)的縮放因子(Scale Factor)，直到相機(jī)位置清晰可見，如圖13所示。

圖12 稠密點(diǎn)云重建

圖13 查看相機(jī)

(2) 稠密點(diǎn)云代替稀疏點(diǎn)云。由路徑File -> Import Mesh加載稠密點(diǎn)云；通過VisualSFM生成多個(gè).ply文件時(shí)，需要將其合并成一個(gè)mesh文件。

(3) 網(wǎng)格化。利用泊松表面重建(Poisson Surface Reconstruction)算法由稠密點(diǎn)云生成多邊形網(wǎng)格表面。參數(shù)中的Octree Depth控制網(wǎng)格的細(xì)節(jié)，該值越大生成的細(xì)節(jié)越豐富，占用的內(nèi)存也越大，影響計(jì)算速度，需要進(jìn)行合理地選擇。泊松表面重建算法會生成一個(gè)“不漏水”氣泡，把所有場景對象包裹在其中，形成封閉的模型，如圖14所示。

(4) 修復(fù)流形邊緣。后續(xù)的紋理處理要求網(wǎng)格化的模型必須是流形的，因此需刪除非流形邊(由多面共享的邊)。

(5) 參數(shù)化(Parameterization)、投影紋理。根據(jù)相機(jī)投影關(guān)系創(chuàng)建UV映射，保存整個(gè)project和mesh。可設(shè)置任意分辨率(512的2的2次方倍:512/1 024/2 048/4 096/8 192)的紋理圖，如圖15所示。

圖14 泊松表面重建結(jié)果圖15 紋理投影結(jié)果圖

5.2 結(jié)果及分析

基于多圖像的三維重建系統(tǒng)成像速度快，成像結(jié)果清晰，安裝過程簡單，可在Windows環(huán)境下使用，操

作簡單，但生成的點(diǎn)云雜點(diǎn)較多，需要在Meshlab下手動刪除處理。

6 結(jié) 語

本文針對非接觸式形貌檢測的需求，設(shè)計(jì)了一種基于雙目CCD的三維形貌檢測裝置，在此過程中進(jìn)行了目標(biāo)分析、硬件設(shè)計(jì)、軟件開發(fā)和測試分析，對所要研制的三維形貌檢測裝置進(jìn)行了功能分析，給出了總體方案，初步確定兩種雙目CCD視覺檢測方法：通過多圖像序列來進(jìn)行三維重建和通過被測物不同高度截面圖像進(jìn)行三維重建。在總體方案的基礎(chǔ)上進(jìn)行了硬件設(shè)計(jì)，包括圖像采集、機(jī)械運(yùn)動并對機(jī)械結(jié)構(gòu)進(jìn)行了可靠性分析，在安全范圍內(nèi)，然后完成了裝置硬件的搭建。根據(jù)所要進(jìn)行的三維形貌檢測方法進(jìn)行了理論研究，包括計(jì)算機(jī)視覺理論和相機(jī)模型，闡述了對極幾何、基礎(chǔ)矩陣和本質(zhì)矩陣等立體視覺理論，SIFT特征檢測和SFM算法，簡單介紹了體繪制和面繪制并解釋了MC算法的原理，為后續(xù)的工作做理論準(zhǔn)備。基于多圖像的三維重建方法采用SFM方法，通過被測物不同高度截面圖像進(jìn)行三維重建采用MC算法實(shí)現(xiàn)。在理論分析的基礎(chǔ)上在Windows環(huán)境下進(jìn)行軟件設(shè)計(jì)，多圖像三維重建整合了VisualSFM、PMSV與Meshlab進(jìn)行三維重建，斷層圖像三維重建通過Visual Studio 2013編寫基于MC算法的程序進(jìn)行三維重建。同時(shí)根據(jù)重建需求設(shè)計(jì)了相應(yīng)的圖像采集程序GxMultiCam。介紹了軟件流程操作流程以及軟件實(shí)現(xiàn)，并對圖像處理軟件進(jìn)行了測試以及對其測試結(jié)果進(jìn)行分析。最后在總體三維形貌檢測系統(tǒng)設(shè)計(jì)完成的情況下，進(jìn)行了實(shí)驗(yàn)測試，給出了實(shí)驗(yàn)流程、結(jié)果及分析，實(shí)驗(yàn)證明所設(shè)計(jì)裝置能夠?qū)崿F(xiàn)水平方向三維形貌檢測的任務(wù)，豎直方向由于拍攝圖像數(shù)量限制沒有完成實(shí)際目標(biāo)任務(wù)，在傳感技術(shù)課程實(shí)驗(yàn)教學(xué)的具體應(yīng)用中對培養(yǎng)學(xué)生的創(chuàng)造性思維和工程實(shí)踐能力都發(fā)揮了重要的作用。