利用視覺(jué)目標(biāo)遮擋和輪廓信息確定下一最佳觀(guān)測(cè)方位

張世輝韓德偉何 歡（燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004）

②（河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室 秦皇島 066004）

利用視覺(jué)目標(biāo)遮擋和輪廓信息確定下一最佳觀(guān)測(cè)方位

張世輝*①②韓德偉①何 歡①①（燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004）

②（河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室 秦皇島 066004）

下一最佳觀(guān)測(cè)方位的確定是視覺(jué)領(lǐng)域一個(gè)比較困難的問(wèn)題。該文提出一種基于視覺(jué)目標(biāo)深度圖像利用遮擋和輪廓信息確定下一最佳觀(guān)測(cè)方位的方法。該方法首先對(duì)當(dāng)前觀(guān)測(cè)方位下獲取的視覺(jué)目標(biāo)深度圖像進(jìn)行遮擋檢測(cè)。其次根據(jù)深度圖像遮擋檢測(cè)結(jié)果和視覺(jué)目標(biāo)輪廓構(gòu)建未知區(qū)域，并采用類(lèi)三角剖分方式對(duì)各未知區(qū)域進(jìn)行建模。然后根據(jù)建模所得的各小三角形的中點(diǎn)、法向量、面積等信息構(gòu)造目標(biāo)函數(shù)。最后通過(guò)對(duì)目標(biāo)函數(shù)的優(yōu)化求解得到下一最佳觀(guān)測(cè)方位。實(shí)驗(yàn)結(jié)果表明所提方法可行且有效。

深度圖像；遮擋；輪廓；未知區(qū)域；類(lèi)三角剖分；下一最佳觀(guān)測(cè)方位

1 引言

下一最佳觀(guān)測(cè)方位（Next Best View， NBV）的確定是指根據(jù)攝像機(jī)（傳感器）在當(dāng)前觀(guān)測(cè)方位下獲取到的視覺(jué)目標(biāo)信息確定出攝像機(jī)的下一觀(guān)測(cè)方位，使得攝像機(jī)在所求方位下能夠最大量地獲取到當(dāng)前觀(guān)測(cè)方位下未采集到的信息。下一最佳觀(guān)測(cè)方位的確定一直是數(shù)據(jù)采集、3維重建、機(jī)器人導(dǎo)航、自動(dòng)裝配、目標(biāo)識(shí)別等領(lǐng)域重要且困難的研究課題之一，受到學(xué)者們的廣泛關(guān)注［1-4］。

目前，下一最佳觀(guān)測(cè)方位確定算法所基于的圖像信息類(lèi)型主要有兩種：圖像亮度信息［5，6］和圖像深度信息［7-11］。同亮度圖像相比，深度圖像更利于獲得場(chǎng)景的3維信息，因此，現(xiàn)有的下一最佳觀(guān)測(cè)方位確定算法通常都基于深度圖像實(shí)現(xiàn)。文獻(xiàn)［7］采用八叉樹(shù)模型描述視覺(jué)目標(biāo)，并根據(jù)每個(gè)節(jié)點(diǎn)的實(shí)際情況對(duì)其進(jìn)行標(biāo)記，進(jìn)而確定下一最佳觀(guān)測(cè)方位。該方法是求解下一最佳觀(guān)測(cè)方位問(wèn)題方面最早的方法，但該方法由于未考慮遮擋因素，故當(dāng)視覺(jué)目標(biāo)出現(xiàn)遮擋現(xiàn)象時(shí)，無(wú)法保證所得結(jié)果的正確性和有效性。文獻(xiàn)［8］通過(guò)對(duì)視覺(jué)目標(biāo)遮擋區(qū)域進(jìn)行多邊形建模，利用遮擋信息確定下一最佳觀(guān)測(cè)方位，但該方法需要特定的設(shè)備，適用范圍有限。文獻(xiàn)［9］提出一種基于整體觀(guān)測(cè)策略確定下一最佳觀(guān)測(cè)方位的方法，該方法要求對(duì)視覺(jué)目標(biāo)有一定的了解且該方法確定出的攝像機(jī)位置被限定在一個(gè)固定的表面，方法的通用性受到了限制。文獻(xiàn)［10］提出一種基于 B樣條計(jì)算信息熵的視點(diǎn)規(guī)劃方法，該方法將攝像機(jī)獲得模型最大信息熵的方位作為下一最佳觀(guān)測(cè)方位，但該方法沒(méi)有充分利用視覺(jué)目標(biāo)背面的信息，并且計(jì)算出的攝像機(jī)位置同樣被限定在一個(gè)固定的表面。文獻(xiàn)［11］提出了一種基于射線(xiàn)追蹤的下一最佳觀(guān)測(cè)方位確定方法，該方法的思想是從若干候選觀(guān)測(cè)方位中確定出下一最佳觀(guān)測(cè)方位，導(dǎo)致所求結(jié)果被限定在事先確定的候選觀(guān)測(cè)方位中。文獻(xiàn)［12］利用當(dāng)前觀(guān)測(cè)方位下未觀(guān)測(cè)到區(qū)域的置信模型來(lái)估計(jì)每個(gè)可能的觀(guān)測(cè)點(diǎn)的信息增益，提出一種靈活的概率框架來(lái)估計(jì)下一最佳觀(guān)測(cè)方位，但該方法涉及到的可觀(guān)測(cè)性參數(shù)需要人為設(shè)定。

針對(duì)已有方法存在的未考慮遮擋因素、攝像機(jī)位置受限等方面的不足，本文提出一種基于深度圖像利用遮擋和輪廓信息確定下一最佳觀(guān)測(cè)方位的方法。

2 方法概述

2.1相關(guān)概念

當(dāng)攝像機(jī)觀(guān)測(cè)視覺(jué)目標(biāo)時(shí)，視覺(jué)目標(biāo)的一部分表面會(huì)遮擋另外一部分表面。遮擋邊界是當(dāng)前觀(guān)測(cè)方位下視覺(jué)目標(biāo)上遮擋部分與被遮擋部分的分界線(xiàn)，該分界線(xiàn)由遮擋部分的像素點(diǎn)組成，且每個(gè)遮擋邊界點(diǎn)都在各自的八鄰域點(diǎn)內(nèi)對(duì)應(yīng)一個(gè)深度差最大點(diǎn)，這個(gè)深度差最大點(diǎn)稱(chēng)為該遮擋邊界點(diǎn)的下鄰接邊界點(diǎn)，下鄰接邊界點(diǎn)組合形成下鄰接邊界。圖1為深度攝像機(jī)觀(guān)測(cè)視覺(jué)目標(biāo)并獲取視覺(jué)目標(biāo)深度圖像的示意圖。其中，紅色線(xiàn)表示當(dāng)前觀(guān)測(cè)方位下獲取到的視覺(jué)目標(biāo)的輪廓，黃色線(xiàn)表示遮擋邊界，藍(lán)色線(xiàn)表示下鄰接邊界。

分析圖1可知，本文把由遮擋邊界及其對(duì)應(yīng)的下鄰接邊界組成的區(qū)域及當(dāng)前觀(guān)測(cè)方位下獲取到的視覺(jué)目標(biāo)輪廓所圍成的視覺(jué)目標(biāo)的背面區(qū)域統(tǒng)稱(chēng)為未知區(qū)域。對(duì)未知區(qū)域的觀(guān)測(cè)可以得到視覺(jué)目標(biāo)更多的信息。為了獲取視覺(jué)目標(biāo)更多的信息，需要對(duì)視覺(jué)目標(biāo)進(jìn)行下一次觀(guān)測(cè)。在所有下一觀(guān)測(cè)方位中能夠最多地獲取到視覺(jué)目標(biāo)未知信息的觀(guān)測(cè)方位稱(chēng)為下一最佳觀(guān)測(cè)方位。

2.2 總體思想

本文方法總體思想如下。首先，獲取視覺(jué)目標(biāo)的一幅深度圖像，同時(shí)記錄下攝像機(jī)的內(nèi)外參數(shù)；其次，根據(jù)深度圖像中的遮擋和輪廓信息構(gòu)建未知區(qū)域；再次，對(duì)未知區(qū)域進(jìn)行類(lèi)三角剖分建模，并計(jì)算出各小三角形的中點(diǎn)、法向量和面積；然后，基于所有小三角形信息構(gòu)造出以攝像機(jī)位置為自變量，以該觀(guān)測(cè)方位下可以被實(shí)際觀(guān)測(cè)到的小三角形面積為因變量的函數(shù)，將下一最佳觀(guān)測(cè)方位求解問(wèn)題轉(zhuǎn)化為函數(shù)優(yōu)化問(wèn)題；最后，通過(guò)優(yōu)化算法求解目標(biāo)函數(shù)確定出下一最佳觀(guān)測(cè)方位。

圖1 攝像機(jī)觀(guān)測(cè)并獲取視覺(jué)目標(biāo)深度圖像示意圖

3 下一最佳觀(guān)測(cè)方位確定方法

3.1 構(gòu)建未知區(qū)域并計(jì)算各未知區(qū)域的中點(diǎn)

首先利用文獻(xiàn)［13］中的遮擋邊界檢測(cè)方法檢測(cè)出深度圖像中的遮擋邊界，然后把每條遮擋邊界與其對(duì)應(yīng)的下鄰接邊界組成一個(gè)未知區(qū)域。此外，通過(guò)分析深度圖像中的像素點(diǎn)可知，八鄰域點(diǎn)內(nèi)有且不全為背景點(diǎn)或數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)為輪廓點(diǎn)，根據(jù)輪廓點(diǎn)的這個(gè)特征提取出視覺(jué)目標(biāo)的輪廓。

本文定義未知區(qū)域的中點(diǎn)為圍成該區(qū)域的所有像素點(diǎn)的3維中心點(diǎn)，即未知區(qū)域中點(diǎn)的計(jì)算公式為

3.2 未知區(qū)域建模

為了實(shí)現(xiàn)對(duì)遮擋邊界產(chǎn)生的未知區(qū)域的建模，還需確定出未知區(qū)域?qū)?yīng)的遮擋邊界的端點(diǎn)。通過(guò)分析深度圖像中遮擋邊界點(diǎn)之間的位置關(guān)系可知，如果遮擋邊界點(diǎn)P'的八鄰域內(nèi)只有一個(gè)遮擋邊界點(diǎn)或只有兩個(gè)相鄰的遮擋邊界點(diǎn)，那么遮擋邊界點(diǎn)P'一定為該遮擋邊界的端點(diǎn)。除以上兩種情況外遮擋邊界點(diǎn)P'均不為端點(diǎn)。判斷遮擋邊界點(diǎn)P'的八鄰域內(nèi)的兩個(gè)遮擋邊界點(diǎn)是否相鄰的公式為

圖2展示了某一未知區(qū)域按上述方法建模后的效果。其中，黃色點(diǎn)代表遮擋邊界上的遮擋邊界點(diǎn)，藍(lán)色點(diǎn)代表與之對(duì)應(yīng)的下鄰接邊界點(diǎn)，綠色點(diǎn)代表該區(qū)域的中點(diǎn)。

3.3 計(jì)算小三角形的中點(diǎn)、法向量和面積

未知區(qū)域建模后為了求解下一最佳觀(guān)測(cè)方位，需要確定各小三角形的中點(diǎn)、法向量和面積。小三角形的中點(diǎn)為構(gòu)成小三角形的3個(gè)頂點(diǎn)的3維中心點(diǎn)，計(jì)算公式為

下面以圖3所示的某一未知區(qū)域中的一個(gè)小三角形ABC為例說(shuō)明小三角形法向量的計(jì)算方法。

圖3中A， B為相鄰的遮擋邊界點(diǎn)或下鄰接邊界點(diǎn)，C為該未知區(qū)域的中點(diǎn)，T為小三角形的中點(diǎn)。構(gòu)成小三角形的3個(gè)頂點(diǎn)的3維坐標(biāo)兩兩相減可以得到6個(gè)共面的向量。根據(jù)向量叉乘的定義可以推出，上述6個(gè)向量中任意兩個(gè)不共線(xiàn)向量的叉積即為小三角形的法向量。為了保證計(jì)算出的小三角形實(shí)際可觀(guān)測(cè)面積的有效性，本文選取指向視覺(jué)目標(biāo)外部的法向量作為小三角形的法向量。下面以6個(gè)向量中點(diǎn)A到點(diǎn)B的向量a和點(diǎn)A到點(diǎn)C的向量c為例詳細(xì)介紹小三角形法向量的計(jì)算方式。

為了得到指向視覺(jué)目標(biāo)外部的法向量就要確定兩個(gè)向量的叉乘順序，即 a ×c還是 c ×a。下面以為例給出其計(jì)算公式：

式中，i， j， k分別為直角坐標(biāo)系下與坐標(biāo)軸相對(duì)應(yīng)的3個(gè)單位向量分別為向量a和c的坐標(biāo)表示。通過(guò)分析遮擋邊界和下鄰接邊界的性質(zhì)可知：由位置關(guān)系不同的遮擋邊界與其下鄰接邊界所圍成的未知區(qū)域內(nèi)的小三角形的法向量計(jì)算方式是不同的，但同一個(gè)區(qū)域內(nèi)的小三角形的法向量的計(jì)算方式是相同的。確定兩個(gè)向量的叉乘順序的方法描述如下：

圖2 未知區(qū)域建模示意圖

圖3 小三角形的中點(diǎn)及其法向量示意圖

由圖4可以看出，為了保證所求得的小三角形法向量指向視覺(jué)目標(biāo)的外部，圖4（a）， 4（b）， 4（c）， 4（d）4種情形下對(duì)應(yīng)的小三角形法向量的計(jì)算方式應(yīng)為點(diǎn)A'到點(diǎn)B'的向量叉乘上點(diǎn)A'到點(diǎn)C'的向量，對(duì)應(yīng)為 a ×c。圖4（e）， 4（f）， 4（g）， 4（h）4種情形下對(duì)應(yīng)的小三角形法向量的計(jì)算方式應(yīng)為點(diǎn)A'到點(diǎn) C'的向量叉乘上點(diǎn)A'到點(diǎn)B'的向量，對(duì)應(yīng)為 c ×a。因此判斷某一未知區(qū)域內(nèi)小三角形法向量的計(jì)算方式問(wèn)題就可轉(zhuǎn)換成判斷該未知區(qū)域?qū)儆趫D4中哪種情形的問(wèn)題。

然后，出于在一條遮擋邊界的兩個(gè)端點(diǎn)橫坐標(biāo)相等時(shí)斜率k依然有意義以及簡(jiǎn)化計(jì)算的考慮，根據(jù)上述分析把斜率k的計(jì)算方式改進(jìn)為

式中，e為一個(gè)大于 0的小數(shù)。考慮到極端情況，也就是當(dāng)一條遮擋邊界只有兩個(gè)像素點(diǎn)組成時(shí)，如果e大于或等于 0.5就有可能造成遮擋邊界與其下鄰接邊界的位置關(guān)系的誤判，因此本文限定0 ＜ e＜ 0.5。這樣就可以把情形圖4（a）， 4（c）， 4（e），4（g）分別歸并到情形圖4（b）， 4（d）， 4（f）， 4（h）。點(diǎn)與直線(xiàn)位置關(guān)系的確定公式為

最后，通過(guò)判斷某一未知區(qū)域計(jì)算出的k和D的值來(lái)確定該未知區(qū)域內(nèi)的小三角形法向量的計(jì)算方式。也就是說(shuō)，當(dāng) k＜ 0且 D＞ 0時(shí)，即情形圖4（b），對(duì)應(yīng)的法向量的計(jì)算方式為 a ×c；當(dāng) k＞ 0且D＜ 0時(shí)，即情形圖 4（d），對(duì)應(yīng)的法向量的計(jì)算方式為 a ×c；當(dāng) k＜ 0且 D＜ 0時(shí)，即情形圖4（f），對(duì)應(yīng)的法向量的計(jì)算方式為 c ×a；當(dāng) k＞ 0且 D＞0時(shí)，即情形圖 4（h），對(duì)應(yīng)的法向量的計(jì)算方式為c ×a。考慮到輪廓點(diǎn)所圍成的未知區(qū)域只有一種情形且比較簡(jiǎn)單，又由于輪廓所代表的未知區(qū)域?yàn)橐曈X(jué)目標(biāo)的背面，為了得到指向視覺(jué)目標(biāo)外部的法向量，計(jì)算該區(qū)域內(nèi)的小三角形的法向量時(shí)兩個(gè)向量的叉乘順序應(yīng)為 a ×c。

圖4 遮擋邊界與其下鄰接邊界的位置關(guān)系示意圖

得到小三角形的法向量后就可以求出小三角形的面積。第i個(gè)小三角形的面積 si的計(jì)算公式為

3.4 下一最佳觀(guān)測(cè)方位問(wèn)題轉(zhuǎn)化

由此可見(jiàn)只要計(jì)算出攝像機(jī)位置即可完成對(duì)下一最佳觀(guān)測(cè)方位問(wèn)題的求解。基于上述分析，求解下一最佳觀(guān)測(cè)方位下攝像機(jī)位置的公式為

式中，w為所有小三角形的個(gè)數(shù)，u為常數(shù)，u值越大函數(shù)越精確，但考慮到時(shí)空開(kāi)銷(xiāo)，經(jīng)多組實(shí)驗(yàn)對(duì)比，本文選取 u= 300。 si為第i個(gè)小三角形的面積。 mi為第i個(gè)小三角形的法向量與向量夾角的余弦值。是一個(gè)激活函數(shù)：當(dāng) mi為正時(shí)，約等于1，即小三角形能被攝像機(jī)觀(guān)測(cè)到時(shí)小三角形參與計(jì)算，此時(shí) mi與面積 si的乘積表示小三角形實(shí)際被攝像機(jī)觀(guān)測(cè)到的面積；當(dāng) mi為負(fù)時(shí)，約等于0，表示小三角形不能被攝像機(jī)觀(guān)測(cè)到，此時(shí)小三角形不參與計(jì)算。L為當(dāng)前觀(guān)測(cè)方位下攝像機(jī)的觀(guān)測(cè)距離。

經(jīng)上述處理后，下一最佳觀(guān)測(cè)方位求解問(wèn)題就轉(zhuǎn)化為式（9）的函數(shù)優(yōu)化問(wèn)題，通過(guò)對(duì)函數(shù)的優(yōu)化求解即可得出下一最佳觀(guān)測(cè)方位。

3.5 下一最佳觀(guān)測(cè)方位函數(shù)優(yōu)化求解

根據(jù)3.4節(jié)的描述可知，式（9）的最優(yōu)解即為下一最佳觀(guān)測(cè)方位下攝像機(jī)的位置。由于物體的全局幾何信息是未知的，所以本文要解決的是一個(gè)非凸問(wèn)題，即式（9）是一個(gè)非凸函數(shù)。本文采用一種當(dāng)前公認(rèn)的處理中小規(guī)模非線(xiàn)性規(guī)劃問(wèn)題的最好算法中的序列二次規(guī)劃［14］算法對(duì)式（9）進(jìn)行求解。

本文方法根據(jù)攝像機(jī)在當(dāng)前觀(guān)測(cè)方位下獲取到的視覺(jué)目標(biāo)的輪廓及遮擋情況的不同利用式（10）計(jì)算得出初始迭代位置。通過(guò)分析小三角形的位置、大小和法向量定義初始迭代位置為

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)方案和數(shù)據(jù)集

為了驗(yàn)證所提方法的可行性和有效性，本文做了3組實(shí)驗(yàn)：（1）所提方法各階段結(jié)果的可視化實(shí)驗(yàn)；（2）不同方法計(jì)算攝像機(jī)觀(guān)測(cè)點(diǎn)時(shí)對(duì)最終結(jié)果影響的對(duì)比實(shí)驗(yàn)；（3）不同下一最佳觀(guān)測(cè)方位確定方法之間的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)硬件環(huán)境為 Intel（R）Core（TM）2 Duo CPU E7500、內(nèi)存2.0 G。算法采用C++編程實(shí)現(xiàn)。實(shí)驗(yàn)分為仿真實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)，仿真實(shí)驗(yàn)所用 Bunny， Duck， Dragon， Mole和Rocker 3維模型來(lái)自深度圖像領(lǐng)域較著名的Stuttgart Range Image Database［15］，真實(shí)實(shí)驗(yàn)所用Bonsai， Box和Kettle是現(xiàn)實(shí)生活中的3個(gè)實(shí)物。仿真實(shí)驗(yàn)中，通過(guò)OpenGL模擬攝像機(jī)觀(guān)測(cè)3維模型并獲取其深度圖像，設(shè)置投影矩陣的參數(shù)為（60，1，200，600），攝像機(jī)觀(guān)測(cè)距離為 300 mm。真實(shí)實(shí)驗(yàn)中，用Kinect相機(jī)采集深度圖像，設(shè)定攝像機(jī)觀(guān)測(cè)距離為1.2 m，其余設(shè)置與仿真實(shí)驗(yàn)一致。

4.2 實(shí)驗(yàn)結(jié)果及分析

圖5 本文方法各階段結(jié)果的可視化圖

4.2.1 所提方法的可視化實(shí)驗(yàn)為了更加形象地說(shuō)明本文方法的求解過(guò)程，圖5給出了本文方法各階段結(jié)果的可視化圖。

由圖5展示的實(shí)驗(yàn)結(jié)果可以看出，對(duì)于遮擋情況不太顯著的Duck和Kettle而言，由于其輪廓所圍成的未知區(qū)域內(nèi)小三角形的面積在建模所得總的小三角形的面積中所占比重較大，故所求下一最佳觀(guān)測(cè)方位更加偏向于直接觀(guān)測(cè)視覺(jué)目標(biāo)的背面；對(duì)于遮擋情況相對(duì)顯著的 Bunny， Dragon， Mole，Rocker， Bonsai和Box而言，由于其由遮擋邊界及下鄰接邊界建模所得三角形的面積在建模所得總的小三角形的面積中也占有較大比重，故這6個(gè)視覺(jué)目標(biāo)所求下一最佳觀(guān)測(cè)方位兼顧遮擋和輪廓信息。由此可見(jiàn)，基于視覺(jué)目標(biāo)遮擋及輪廓進(jìn)行建模，并利用建模所得三角形信息進(jìn)行下一最佳觀(guān)測(cè)方位的求解方案是可行的，且無(wú)論是數(shù)據(jù)集中的模型還是現(xiàn)實(shí)生活中的實(shí)物，本文方法所求下一最佳觀(guān)測(cè)方位都與人類(lèi)視覺(jué)的觀(guān)測(cè)習(xí)慣相符。

4.2.2 不同觀(guān)測(cè)點(diǎn)計(jì)算方法對(duì)下一最佳觀(guān)測(cè)方位影響的對(duì)比實(shí)驗(yàn)

攝像機(jī)觀(guān)測(cè)點(diǎn)的選取將對(duì)最終計(jì)算出的下一最佳觀(guān)測(cè)方位下獲取的信息產(chǎn)生較大的影響。為了驗(yàn)證本文攝像機(jī)觀(guān)測(cè)點(diǎn)計(jì)算方法的有效性。我們對(duì)基于兩種不同的觀(guān)測(cè)點(diǎn)計(jì)算方法的實(shí)驗(yàn)結(jié)果進(jìn)行了比較。第1種為本文3.4節(jié)所提的攝像機(jī)觀(guān)測(cè)點(diǎn)計(jì)算方法，在此不再贅述。第2種攝像機(jī)觀(guān)測(cè)點(diǎn)的計(jì)算方法為

式（11）表明該計(jì)算方法下攝像機(jī)觀(guān)測(cè)點(diǎn)為以各小三角形面積為權(quán)重的小三角形中點(diǎn)坐標(biāo)的平均值。

表1給出了攝像機(jī)在兩種不同觀(guān)測(cè)點(diǎn)計(jì)算方法所求解出的下一最佳觀(guān)測(cè)方位下獲取的視覺(jué)目標(biāo)表面點(diǎn)的量化結(jié)果。其中 Nn代表攝像機(jī)在下一最佳觀(guān)測(cè)方位下獲取到的視覺(jué)目標(biāo)表面點(diǎn)的個(gè)數(shù)， No代表被重復(fù)觀(guān)測(cè)到的視覺(jué)目標(biāo)表面點(diǎn)的個(gè)數(shù)， Nnew表示實(shí)際新增點(diǎn)的個(gè)數(shù)。由表1中可以看出，采用本文所提第1種觀(guān)測(cè)點(diǎn)計(jì)算方法時(shí)的結(jié)果明顯優(yōu)于采用第2種觀(guān)測(cè)點(diǎn)計(jì)算方法時(shí)的結(jié)果。

4.2.3 不同下一最佳觀(guān)測(cè)方位方法間的對(duì)比實(shí)驗(yàn)

為了更好地評(píng)估本文方法的效果，我們將本文方法與同樣基于深度圖像且考慮了遮擋信息的文獻(xiàn)［9］，文獻(xiàn)［10］中的方法做了對(duì)比實(shí)驗(yàn)。圖6給出了部分具有代表性的視覺(jué)目標(biāo)在不同下一最佳觀(guān)測(cè)方位求解方法下對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果。

由圖6可以看出，文獻(xiàn)［9］方法計(jì)算出的下一最佳觀(guān)測(cè)方位側(cè)重觀(guān)測(cè)當(dāng)前觀(guān)測(cè)方位下視覺(jué)目標(biāo)的背面。文獻(xiàn)［10］方法計(jì)算出的下一最佳觀(guān)測(cè)方位側(cè)重觀(guān)測(cè)當(dāng)前觀(guān)測(cè)方位下信息增益較大點(diǎn)的相鄰未知區(qū)域。本文方法通過(guò)充分利用遮擋、輪廓的信息，計(jì)算出了一個(gè)更加合理的下一觀(guān)測(cè)方位。

為了進(jìn)一步衡量不同方法的性能，我們對(duì)不同方法的結(jié)果進(jìn)行了量化評(píng)估。表2給出了不同方法所求下一最佳觀(guān)測(cè)方位下的 Nn，No，Nnew，重合率和新增率 Rnew。

表2 不同方法在所求下一最佳觀(guān)測(cè)方位下實(shí)驗(yàn)結(jié)果的量化評(píng)估

分析表2可知，就文獻(xiàn)［9］方法而言，因?yàn)槠渲饕^(guān)測(cè)當(dāng)前觀(guān)測(cè)方位下視覺(jué)目標(biāo)的背面，因此在其所求得的下一最佳觀(guān)測(cè)方位下獲得的表面點(diǎn)重合率較低，新增點(diǎn)個(gè)數(shù)與當(dāng)前觀(guān)測(cè)方位下獲取到的圖像中視覺(jué)目標(biāo)輪廓的大小有直接關(guān)系。例如 Bunny，Duck和Mole，因?yàn)樵诋?dāng)前觀(guān)測(cè)方位下獲取的視覺(jué)目標(biāo)的輪廓相對(duì)較大，所以其獲得的新增點(diǎn)數(shù)較多；而對(duì)于Dragon和Rocker，因?yàn)樵诋?dāng)前觀(guān)測(cè)方位下獲取的視覺(jué)目標(biāo)的輪廓相對(duì)較小，所以其獲得的新增點(diǎn)數(shù)較少。由此可見(jiàn)，文獻(xiàn)［9］方法具有較大的局限性。就文獻(xiàn)［10］方法而言，其根據(jù)已觀(guān)測(cè)點(diǎn)中信息增益較大點(diǎn)及其法向量計(jì)算下一最佳觀(guān)測(cè)方位。該方法求得的最佳觀(guān)測(cè)這些已觀(guān)測(cè)信息增益較大點(diǎn)的觀(guān)測(cè)方位即為下一最佳觀(guān)測(cè)方位，這就導(dǎo)致了該方法求得的下一最佳觀(guān)測(cè)方位與當(dāng)前觀(guān)測(cè)方位之間的角度相差不大，因此在該所求觀(guān)測(cè)方位下獲取到的表面點(diǎn)與當(dāng)前觀(guān)測(cè)方位下獲取到的表面點(diǎn)重合率較高，新增點(diǎn)個(gè)數(shù)相對(duì)較少。對(duì)于某些特殊的視覺(jué)目標(biāo)例如 Dragon而言，因?yàn)槠浔砻姹容^復(fù)雜，所以重合率相對(duì)較低。而對(duì)于其他視覺(jué)目標(biāo)而言，其重合率都較高。本文方法通過(guò)建立綜合考慮視覺(jué)目標(biāo)遮擋及輪廓信息的求解模型，采用優(yōu)化算法對(duì)模型求解獲得下一最佳觀(guān)測(cè)方位。由表2的量化評(píng)估結(jié)果可以看出，在最能反映方法效果的新增點(diǎn)個(gè)數(shù)指標(biāo)上，本文方法結(jié)果明顯優(yōu)于文獻(xiàn)［9］和文獻(xiàn)［10］方法的結(jié)果，更好地達(dá)到了下一最佳觀(guān)測(cè)方位問(wèn)題的求解要求。

綜合圖6和表2的結(jié)果可知，在相同的實(shí)驗(yàn)條件（如觀(guān)測(cè)距離）下，本文方法較其他方法獲得的下一最佳觀(guān)測(cè)方位更為合理。

5 結(jié)束語(yǔ)

本文提出一種基于深度圖像利用遮擋和輪廓信息求解下一最佳觀(guān)測(cè)方位的方法。該方法無(wú)需限定攝像機(jī)的觀(guān)測(cè)位置，具有較好的通用性。所提方法的貢獻(xiàn)在于：（1）提出一種綜合考慮遮擋和物體輪廓信息的視覺(jué)目標(biāo)未知區(qū)域建模方法，使得計(jì)算出的下一最佳觀(guān)測(cè)方位更加合理，克服了只利用遮擋或視覺(jué)目標(biāo)背面信息求解下一最佳觀(guān)測(cè)方位方法的局限性；（2）根據(jù)建模所得小三角形的中點(diǎn)、法向量和面積等信息構(gòu)造了目標(biāo)函數(shù)，使下一最佳觀(guān)測(cè)方位確定問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題；（3）給出一種根據(jù)當(dāng)前觀(guān)測(cè)方位下所獲得的視覺(jué)目標(biāo)信息確定優(yōu)化函數(shù)初始迭代位置的計(jì)算方法，該計(jì)算方法對(duì)視覺(jué)目標(biāo)具有自適應(yīng)性，有助于獲得較好的下一最佳觀(guān)測(cè)方位求解結(jié)果。

圖6 不同方法在所求下一最佳觀(guān)測(cè)方位下的視覺(jué)目標(biāo)深度圖像

［1］ Bottino A and Laurentini A. What is next an interactive next best view approach［J］. Pattern Recognition， 2006， 39（1）: 126-132.

［2］ Pintilie G D and Stuerzlinger W. An evaluation of interactive and automated next best view methods in 3D scanning［J］. Computer-Aided Design and Applications， 2013， 10（2）: 279-291.

［3］ 曾明勇， 吳澤民， 田暢， 等. 基于外觀(guān)統(tǒng)計(jì)特征融合的人體目標(biāo)再識(shí)別［J］. 電子與信息學(xué)報(bào)， 2014， 36（8）: 1844-1851. Zeng Ming-yong， Wu Ze-min， Tian Chang， et al.. Fusing appearance statistical features for person re-identification［J］. Journal of Electronics & Information Technology， 2014， 36（8）: 1844-1851.

［4］ 李烈辰， 李道京. 基于壓縮感知的連續(xù)場(chǎng)景稀疏陣列 SAR三維成像［J］. 電子與信息學(xué)報(bào)， 2014， 36（9）: 2166-2172. Li Lie-Chen and Li Dao-jing. Sparse array SAR 3D imaging for continuous scene based on compressed sensing［J］. Journal of Electronics & Information Technology， 2014， 36（9）: 2166-2172.

［5］ Trummer M， Munkelt C， and Denzler J. Online next-best-view planning for accuracy optimization using an extended E-criterion［C］. Proceedings of the 20th International Conference on Pattern Recognition， Istanbul，Turkey， 2010: 1642-1645.

［6］ Haner S and Heyden A. Covariance propagation and next best view planning for 3D reconstruction［C］. Proceedings of the 12th European Conference on Computer Vision， Florence，Italy， 2012: 545-556.

［7］ Connolly C. The determination of next best views［C］. Proceedings of the IEEE International Conference on Robotics and Automation， Missouri， USA， 1985: 432-435.

［8］ Maver J and Bajcsy R. Occlusion as a guide for planning the next view［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1993， 15（5）: 417-432.

［9］ Banta J E， Wong L M， Dumont C， et al.. A next-best-view system for autonomous 3-D object reconstruction［J］. IEEE Transactions on Systems， Man， and Cybernetics， Part A: Systems and Humans， 2000， 30（5）: 589-598.

［10］ Li Y F and Liu Z G. Information entropy-based viewpoint planning for 3-D object reconstruction［J］. IEEE Transactions on Robotics， 2005， 21（3）: 324-337.

［11］ Vasquez-Gomez J I， Sucar L E， and Murrieta-Cid R. Hierarchical ray tracing for fast volumetric next-best-view planning［C］. Proceedings of the International Conference on Computer and Robot Vision， Regina， SK， Canada， 2013: 181-187.

［12］ Potthast C and Sukhatme G. A probabilistic framework for next best view estimation in a cluttered environment［J］. Journal of Visual Communication and Image Representation，2014， 25（1）: 148-164.

［13］ 張世輝， 劉建新， 孔令富. 基于深度圖像利用隨機(jī)森林實(shí)現(xiàn)遮擋檢測(cè)［J］. 光學(xué)學(xué)報(bào)， 2014， 34（9）: 0915003: 1-12. Zhang Shi-hui， Liu Jian-xin， and Kong Ling-fu. Using random forest for occlusion detection based on depth image［J］. Acta Optica Sinica， 2014， 34（9）: 0915003: 1-12.

［14］ Curtis F and Overton M. A sequential quadratic programming algorithm for nonconvex， nonsmooth constrained optimization［J］. SIAM Journal on Optimization，2012， 22（2）: 474-500.

［15］ Hetzel G， Leibe B， Levi P， et al.. 3D object recognition from range images using local feature histograms［C］. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， Piscataway， USA， 2001: II394-II399.

張世輝： 男，1973 年生，博士，教授，博士生導(dǎo)師，研究方向?yàn)橐曈X(jué)信息處理、模式識(shí)別.

韓德偉： 男，1989 年生，碩士生，研究方向?yàn)檎趽鯔z測(cè)與規(guī)避.

何 歡： 男，1989 年生，碩士生，研究方向?yàn)橛?jì)算機(jī)視覺(jué).

Determining Next Best View Using Occlusion and Contour Information of Visual Object

Zhang Shi-hui①②Han De-wei①He Huan①
①（School of Information Science and Engineering， Yanshan University， Qinhuangdao 066004， China）②（The Key Laboratory for Computer Virtual Technology and System Integration of Hebei Province，Qinhuangdao 066004， China）

Determining camera’s next best view is a difficult issue in visual field. A next best view approach based on depth image of visual object is proposed by using occlusion and contour information in this paper. Firstly， the occlusion detection is accomplished for the depth image of visual object in current view. Secondly， the unknown regions are constructed according to the occlusion detection result of the depth image and the contour of the visual object， and then the unknown regions are modeled with triangulation-like. Thirdly， the midpoint， normal vector and area of each small triangle and other information are utilized to establish the objective function. Finally， the next best view is obtained by optimizing objective function. Experimental results demonstrate that the approach is feasible and effective.

Depth image； Occlusion； Contour； Unknown regions； Triangulation-like； Next best view

s: The National Natural Science Foundation of China （61379065）； The Natural Science Foundation of Hebei Province （F2014203119）

TP391

A

1009-5896（2015）12-2921-08

10.11999/JEIT150190

2015-02-02；改回日期：2015-08-19；網(wǎng)絡(luò)出版：2015-11-01

*通信作者：張世輝 sshhzz@ysu.edu.cn

國(guó)家自然科學(xué)基金（61379065）和河北省自然科學(xué)基金（F2014203119）