基于雙目立體視覺的植物三維重建系統*

殷悅，張慧春，鄭加強

(1.南京林業大學機械電子工程學院，南京市，210037；2.泰州學院船舶與機電工程學院，江蘇泰州，225300)

0 引言

伴隨著農林業信息化技術的迅速發展，應用圖像處理技術的虛擬植物三維模型對作物生長機理研究、產量預測、栽培措施制定、植物對環境的反應研究以及農林機械的設計都有著十分重要的意義[1-2]。其中植物三維重建是近年來全球的研究熱點。

模式植物基因組小、特征明顯、與人類密切相關，其選擇和利用對于開展遺傳分析、基因克隆、功能研究和植保機械研究等都具有重要意義。擬南芥因為其形態簡單、體型較小、生長周期快等優點被列為模式植物之一，經常用于科學研究。

目前按照植物生長三維重建的不同重點，主要分為基于模型的植物三維重建[3]、基于掃描數據集的植物三維重建[4-5]和基于圖像的植物三維重建[6](也稱基于機器視覺技術的植物三維重建)。Quan Long等[7]利用仿射分解的方法，在目標植物周圍采集多幅圖像，恢復物體表面三維信息，實現了樹木和花草的三維建模。周云輝等[8]利用L系統構造了水稻稻穗的仿真模型，模擬出的稻穗模型具有高度相似性和逼真性。王勇健等[9]在高質量點云的基礎上生成葉片網格并進行優化，最后建立了高精度的植物葉片網絡模型。Rose J C等[10]利用基于圖像重建的番茄的三維模型，獲取了番茄的葉面積、主莖長度和體積相關信息。成沁源等[11]通過單目視覺獲得玉米粒圖像，利用圖像處理獲得玉米粒輪廓數據，提出的玉米粒姿態識別算法檢測速度快，時效性好。基于模型的植物三維重建可以直觀逼真地模擬一種動態的形態變化和生長規律，但是迭代過程復雜；基于掃描數據集的植物三維重建可以準確掃描得到植物多角度的三維點云，但是匹配難度大，模型復雜、設備成本昂貴，而且要求目標植物在掃描過程中保持靜止，否則會出現點云拼接精度降低，并且對于較小的植物掃描效果不是很好；基于機器視覺技術的植物三維重建，靈活性強、圖像獲取便捷、像素高、設備成本很低。綜上所述，從圖像中提取出信息進行植物三維重建是最靈活最方便的，目前針對模式植物擬南芥的三維重建較少，且通常沒有特定的裝置來實現目標物到相機之間相對位置的便捷調整，而相機標定過程也與圖像采集過程為完全獨立的兩個步驟，所以本文選擇利用機器視覺技術來進行虛擬植物擬南芥的三維重建，通過特定設計的機器視覺系統對擬南芥進行多方位拍攝圖像來進行三維建模。

1 立體視覺和相機標定系統設計

構建的擬南芥圖像采集雙目立體視覺系統用兩個相機同時對目標植物擬南芥進行圖像采集，通過JAI(Java advanced imaging，爪哇高級成像)control tools軟件將圖像信息從相機傳送到臺式機存儲供后期圖像處理。用Matlab對采集到的圖像進行相機標定得到相機的內外參數，再進行擬南芥圖像的畸變校正、極線校正和圖像分割。用OpenCV對圖像處理過的兩幅圖像進行SURF(Speeded Up Robust Features，加速魯棒特征)特征檢測、SIFT(Scale Invariant Feature Transform，尺度不變特征轉換)特征匹配和RANSAC(Random Sample Consensus，隨機抽樣一致性法)去除誤匹配，得到精確匹配過的兩幅圖像。同時，得到經過匹配的特征點的二維數據，根據相機的內外參數轉換得到擬南芥上特征點的空間三維坐標，并得到點云模型。利用OpenGL對點云進行三角剖分得到點到面的轉換，再進行紋理貼合得到具有紋理信息和幾何信息的擬南芥虛擬生長模型。擬南芥雙目立體視覺系統工作原理如圖1所示。

圖1 擬南芥圖像采集雙目立體視覺系統原理框圖

本文為了實現擬南芥到相機之間相對距離的調節，以及在標定過程中，根據不同的位置要求能夠實現標定板沿著三個坐標軸的移動和繞著三個坐標軸的轉動等六個自由度的運動，將擬南芥圖像采集系統與相機標定系統相結合，如圖2(a)所示為三維臺架示意圖，圖2(b)所示為試驗臺實物。圖2中，擬南芥位置固定，用兩個內部參數相同的相機，在擬南芥同一側正對面間隔約80 mm保持平行并且前后高度一致，鏡頭與豎直方向成60°，可同時采集到較全面的擬南芥兩幅生長圖像。

(a)三維臺架示意圖

2 擬南芥圖像采集的相機標定及圖像預處理

2.1 擬南芥圖像采集相機標定

本文選用張正友標定法[12]進行相機標定，得到本文兩個相機的內外參數，分別如表1和表2所示。

表1 相機內參數

表2 相機2相對相機1的外參數

其中，fx，fy為相機焦距的像素單位表達，u0，v0為相機主點在像素坐標系上的坐標，k1，k2為相機的畸變系數。

根據相機標定中像素坐標到世界坐標的轉換關系式[13]，當得到兩幅擬南芥圖像上的特征點的二維坐標時，根據相機標定的內外參數，可以得到特征點在空間的唯一三維坐標。

2.2 擬南芥圖像校正

由于通過廣角鏡頭拍攝到的圖像一般具有桶形畸變，所以必須進行幾何畸變校正來消除畸變從而獲得一幅無畸變的寬視野圖像[14]。同時為了后期匹配的精度和速度，需要利用相機標定的參數對左右兩幅擬南芥圖像進行極線校正[15]，使得因相機關系導致的左右圖像的點不在同一水平線上這一現象得到校正。本文采集到的兩個相機的擬南芥原始圖以及預處理過后的圖像分別如圖3和圖4所示。

(a)相機1采集的擬南芥原始圖

(a)相機1采集的擬南芥圖像校正圖

經過校正之后，左右兩幅圖像消除了桶形畸變，且兩幅擬南芥圖像上的同一點是在同一水平線上面的，這使得后期的特征點提取匹配在速度和精度上面都得到了一定的提升。

2.3 擬南芥圖像分割

為了能單一地處理植物，減少后期擬南芥圖像特征點提取和匹配的多余工作量和誤匹配，保證后期擬南芥三維信息的精度，本文選擇在RGB(紅、綠、藍)模型上進行彩色擬南芥圖像的分割。根據擬南芥的顏色特點，先提取綠(G)分量，根據不同閾值的比較選擇閾值35進行二值化，再獲取最大連通區域來實現擬南芥與背景的分割。具體過程如圖5所示。

圖5 圖像分割過程圖

3 擬南芥圖像立體匹配

擬南芥圖像立體匹配主要是根據對所選擬南芥圖像特征的計算，建立特征間的對應關系，將從不同擬南芥圖像中檢測到的投影點與擬南芥相應空間點對應起來，計算兩幅擬南芥圖像的二維信息，通過相機參數進而得到擬南芥的三維信息，重建出擬南芥空間三維點。

由于擬南芥本身形態簡單，色彩單一，特征點不容易提取，本文通過在擬南芥上人工添加特征點的方式來增強特征識別，通過試驗分析比較SURF算法[16-18]和SIFT算法[19-21]相互結合的擬南芥特征檢測匹配的效果，又利用基于RANSAC算法[22-23]估計單應矩陣[24-26]方法去除在立體匹配過程中因為旋轉或者光照等原因導致的擬南芥特征誤匹配，根據最終的擬南芥的特征匹配的效果，確定了SURF特征檢測算法和SIFT特征匹配算法的結合方法，完成了擬南芥圖像的特征檢測、匹配和去除誤匹配，如圖6所示。

圖6 擬南芥去除誤匹配效果圖

4 擬南芥三維重建

根據擬南芥圖像的特征匹配的結果，可以得到擬南芥兩幅不同視角下的圖像上經過誤匹配刪除后的特征點的二維坐標，再根據校正后的相機參數，可轉換得到擬南芥的各個特征點在空間的三維坐標，這些三維坐標就代表了擬南芥上被提取出來的特征點在空間上的位置，這些位置的集合體就是擬南芥的空間點云信息。對擬南芥的空間點云進行三角剖分[27-29]后再進行紋理貼合[30]，得到同時具有幾何信息和紋理信息的擬南芥紋理映射三維模型，添加了紋理信息的擬南芥三維模型效果比空間點云構成的三維模型更加逼真，并且可以看到擬南芥本身的顏色信息。

5 基于人機互動的擬南芥三維重建系統設計

本文設計的基于機器視覺技術的模式植物三維重建的人機交互系統的流程圖，如圖7所示。人機交互系統過程圖如圖8所示。

圖7 模式植物三維重建人機交互系統流程圖

圖8 人機交互系統過程圖

為了能對擬南芥以及其他模式植物圖像的三維重建提供三維重建人機交互系統，本文設計將整個擬南芥的三維重建過程集成為一個界面，用戶可以通過點擊界面的按鈕選擇自己想要重建的模式植物的兩幅不同視角的圖像，通過修改后臺程序達到理想的圖像處理效果，每一步驟都以將近一秒的速度進行，整個重建過程持續僅30 s左右，有很好的實時性，并對整個過程演示、直觀解釋、后續拓展研究和其他模式植物的三維重建發揮作用。

6 擬南芥三維重建系統的驗證

本文使用Meshlab點云處理軟件進行參數的提取，因為擬南芥本身體型較小，葉片，莖稈為主要器官，所以本文對同一批在智能人工氣候箱(參數為光照時間16 h，黑暗8 h，光照強度為150 μmol/(m2·s)，溫度為25 ℃，濕度為50%RH。)種植的生長了40天的60盆擬南芥提取同一位置的葉片的葉長、葉寬和莖稈長度，將軟件測量值與人工測量值進行對比。擬南芥葉片長度的軟件測量值為縱坐標，分析出擬南芥葉片長度的軟件測量值與真實值的線性擬合圖(圖9)以及擬南芥葉片長度的軟件測量值與真實值之間的對比關系圖(圖10)。

圖9 擬南芥葉片長度的軟件測量值與真實值的線性擬合圖

圖10 擬南芥葉片長度的軟件測量值與真實值的數據對比圖

從圖9看出，擬合的擬南芥葉片長度的軟件測量值與真實值之間的線性方程為y=0.986x-0.180 3，擬南芥葉片長度的軟件測量值與真實值之間的相關系數R2=0.940 4，說明擬南芥長度的軟件測量值與真實值的數據相關性很高。從圖10可以看出，擬南芥葉片長度的真實值附近的誤差線為真實值的5%的正負誤差線，擬南芥葉片長度的軟件測量值與真實值之間的差距很小，且基本都在誤差線范圍之內。

同樣通過對擬南芥葉片寬度的尺寸對比，擬合的擬南芥葉片寬度的軟件測量值與真實值之間的線性方程為y=1.007 4x-0.513 9，相關系數R2=0.974，擬南芥葉片寬度的軟件測量值與真實值之間的誤差很小，基本都在正負5%的誤差線以內。擬南芥莖稈長度擬合的線性方程為y=0.973 7x+1.538 5，相關系數R2=0.986 2，擬南芥莖稈長度的軟件測量值與真實值之間的誤差很小，基本都在擬南芥莖稈長度真實值的5%誤差線范圍以內。

綜上所述，通過對多盆擬南芥進行建模和參數驗證，本文重建的擬南芥模型穩定性和可靠度都較高，對能提取出特征信息的模式植物擬南芥均可以進行逼真的三維模型的建立。

7 結論

本文研究了基于機器視覺技術的模式植物擬南芥的三維模型，在分析研究現代植物模型建立發展的基礎上，通過雙目視覺圖像采集及相機標定、圖像校正與預處理、檢測和匹配圖像特征點、二維信息到三維信息轉化等，實現模式植物擬南芥三維重建模型，并得到以下主要結論。

1)研制的擬南芥雙目視覺圖像采集系統結合相機標定的三維試驗臺架，可以滿足模式植物的多方位圖像采集、模式植物到相機之間相對位置的調節以及標定板相對相機的位置的固定。

2)相對于本文列出的幾種其他的特征檢測匹配方法，通過SURF特征檢測結合SIFT特征匹配以及RANSAC結合單應性矩陣，得到的擬南芥圖像的特征檢測、匹配和去除誤匹配的效果更好。

3)設計的基于機器視覺技術的模式植物三維重建人機交互系統，整個模式植物擬南芥三維重建過程持續僅30 s左右，滿足實時性要求，同時，通過對多盆擬南芥進行建模和參數驗證，擬南芥葉片長度、寬度和莖稈長度的軟件測量值與真實值之間的相關系數R2分別為0.940 4，0.974，0.986 2，且軟件測量值都在真實值的5%誤差線范圍以內，確定了本文重建的擬南芥模型系統的可靠性。