基于光照復(fù)用的變光照采集系統(tǒng)設(shè)計(jì)與控制

(杭州電子科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)研究所，浙江 杭州310018)

0 引 言

變光照采集通過捕獲對象在不同光照方向的表面反射屬性、運(yùn)動(dòng)軌跡等信息，來建立全方位的準(zhǔn)確表述模型。早期變光照采集系統(tǒng)主要用于小范圍，并且通常只用于靜態(tài)對象[1]。為了實(shí)現(xiàn)對動(dòng)態(tài)對象的采集，初期采用了昂貴的高速攝像機(jī)[2]，后期采用攝像機(jī)陣列代替高速攝像機(jī)[3]。之后，為了對動(dòng)態(tài)目標(biāo)進(jìn)行變光照采集，文獻(xiàn)[4]提出了一種動(dòng)態(tài)變光照采集方法，但工作光源數(shù)較少，且只能完成單一目標(biāo)的變光照采集。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)變光照采集系統(tǒng)，與目前已有系統(tǒng)相比較，系統(tǒng)光源分布更密集，變光照采集范圍更大，可實(shí)現(xiàn)多個(gè)運(yùn)動(dòng)目標(biāo)的密集光照采集。針對采集范圍擴(kuò)大會(huì)導(dǎo)致單一光源成像時(shí)曝光不足、圖像噪聲增大等問題，采用一種基于哈達(dá)瑪編碼的光照復(fù)用模式，實(shí)現(xiàn)對光照復(fù)用的采集，并通過解復(fù)用(Multiplexed Illumination De-multiplexed)得到采集對象的光照估計(jì)結(jié)果。實(shí)驗(yàn)表明通過解復(fù)用的方法可以獲得更好的圖像質(zhì)量。

1 變光照采集系統(tǒng)硬件設(shè)計(jì)

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)穹窿式鋼結(jié)構(gòu)支架的變光照采集系統(tǒng)，整個(gè)結(jié)構(gòu)高7 m，直徑10 m。變光照采集系統(tǒng)結(jié)構(gòu)圖如圖1所示，整個(gè)球體外圍由便于摳像操作的藍(lán)色幕布圍成，內(nèi)部由20個(gè)200萬像素的環(huán)形像機(jī)陣列與2 000個(gè)均勻分布的LED 動(dòng)態(tài)光場(Dynamic light field)組成。2 000個(gè)LED 中每10個(gè)作為一組光源，共200組光源。如圖1(b)所示，每個(gè)顏色代表一組光源。

圖1 變光照采集系統(tǒng)結(jié)構(gòu)圖

2 基于光照復(fù)用的變光照采集

由于單光源下成像存在曝光不足、圖像噪聲增大等問題，本文采用了一種基于光照復(fù)用的采集方法。光照復(fù)用時(shí)采用哈達(dá)瑪矩陣進(jìn)行復(fù)用控制[5]。

2.1 哈達(dá)瑪矩陣

哈達(dá)瑪矩陣為(2n-1)×(2n-1)矩陣，每個(gè)元素只能取-1 或1。在光照復(fù)用中所定義的哈達(dá)瑪矩陣中使用0 代替元素-1。這樣，哈達(dá)瑪矩陣每行代表一個(gè)時(shí)刻的光照模式，每個(gè)時(shí)刻有 (n+1)/2個(gè)取1，(n-1)/2個(gè)取0，1表示控制光源亮，0表示控制光源滅。對哈達(dá)瑪矩陣光照復(fù)用的圖像解碼得到單光源的圖像。光照復(fù)用圖像的解碼可通過哈達(dá)瑪矩陣的逆矩陣T =S-1對圖像中各像素值進(jìn)行解碼而得到。哈達(dá)瑪矩陣的逆T為:

2.2 信噪比分析

為了消除光照對信噪比結(jié)果的影響，對信噪比求解采用零均值化處理。設(shè)i (x，y)為單光源下采集得到圖像序列在 (x，y) 處的向量，復(fù)用時(shí)解復(fù)用的估計(jì)值為i^ (x，y) 。

對于圖像信號，由于單光源和復(fù)用光源的全局亮度不一樣，采用零均值化處理時(shí)，需減去全局亮度(即均值)，所以得到:

對于噪聲，求解采用均方根(Root Mean Square，RMS)[6]，又零均值化處理時(shí)MSE表現(xiàn)為RMS2，所以對噪聲的求解轉(zhuǎn)化為對MSE的求解。假設(shè)獨(dú)立加性噪聲η的均值為零，實(shí)驗(yàn)的方差為σ2。輸出噪聲向量是W-1η，對于每個(gè)像素 (x，y)，的協(xié)方差矩陣每個(gè)像素點(diǎn)的均方差

在單一光源采集時(shí)，W=Ⅰ，這里I為單位矩陣，有MSEsingle=σ2。

綜上所述，可得信噪比的變形如下:

3 實(shí) 驗(yàn)

3.1 模擬場景實(shí)驗(yàn)

為了驗(yàn)證光照復(fù)用解復(fù)用的可行性，利用3DMAX 對物體和光照進(jìn)行模擬，如圖2所示。模擬實(shí)驗(yàn)繪制了3種具有代表性形狀的物體，并選取了3個(gè)光源。在光源1和2 亮，3 滅的情況下，渲染得到圖像a;在光源1和3 亮，2 滅的情況下，渲染得到圖像b;在光源2和3 亮，1 滅的情況下，渲染得到圖像c。

圖2 模擬環(huán)境光照復(fù)用圖

圖3為模擬場景下單一光源和解復(fù)用圖像得到的單一光源的對比圖。圖3中，第1 行為單一光源圖像，第2 行為解圖2中復(fù)用圖像得到的單一光源圖像。

圖3 單一光源和解復(fù)用結(jié)果對比圖

模擬環(huán)境中，由于不存在像機(jī)引入噪聲的影響[7]，解復(fù)用和單一光源圖像的每個(gè)像素點(diǎn)差值理論應(yīng)該為零，即兩種圖像是完全相同的。為了驗(yàn)證光源復(fù)用解復(fù)用的可行性，本文對比了各個(gè)光源圖像的像素差值，3種光源對應(yīng)圖像像素點(diǎn)差值的均值如表1所示。設(shè)i (x，y)為單光源下采集得到圖像組在(x，y)處的向量為解光照復(fù)用條件下得到圖像序列在 (x，y)處的向量，則均值μ(像素點(diǎn)平均差異)為:

式中，N為圖像像素點(diǎn)總數(shù)。

圖像像素對比表如表1所示。從表1中可以看出，每個(gè)像素點(diǎn)的差異幾乎可以忽略，說明模擬實(shí)驗(yàn)中解復(fù)用出來的圖像和單光源的圖像相同，即可以用解復(fù)用方法得到想要的單光源圖像。

表1 圖像像素對比表

3.2 真實(shí)場景實(shí)驗(yàn)

基于以上原理和實(shí)驗(yàn)，選取15組光源進(jìn)行實(shí)際場景的光照復(fù)用解復(fù)用實(shí)驗(yàn)。首先，采集得到15 張光照復(fù)用圖像。采集完成后，對采集到的15 張光照復(fù)用圖像解復(fù)用，并與實(shí)際單光源采集得到的圖像進(jìn)行對比。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 光照解復(fù)用實(shí)驗(yàn)結(jié)果圖

圖4中(a)為光照復(fù)用所拍攝的圖像，(b)為解復(fù)用得到的單光源圖像，(c)為實(shí)際單一光源下采集的圖像。由上述實(shí)驗(yàn)結(jié)果可以看出，傳統(tǒng)單光源采集得到的圖像灰度值很低，而針對這種情況下，利用光照復(fù)用采集并解復(fù)用得到的單光源圖像具有更好的亮度。

根據(jù)零均值圖像信噪比計(jì)算公式(3)，分別計(jì)算解復(fù)用得到的單光源圖像和單一光源下采集的圖像的信噪比，結(jié)果如表2所示。

表2 噪聲的期望和方差對比表

綜上所述，光照復(fù)用解復(fù)用得到的單光源圖像比實(shí)際單一光源圖像的信噪比高。

4 結(jié)束語

本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)變光照動(dòng)態(tài)多視角采集系統(tǒng)，實(shí)驗(yàn)結(jié)果表明光照復(fù)用和解復(fù)用可以獲得更好的采集圖像質(zhì)量。然而有些地方還有待改進(jìn)。首先，控制像機(jī)和LED 燈需要進(jìn)行更精確的同步控制。其次，在數(shù)據(jù)采集過程中，產(chǎn)生的數(shù)據(jù)量比較大，處理時(shí)間比較長，所以在實(shí)時(shí)性方面還有待提高。

[1]Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques.ACM Press/Addison-Wesley Publishing Co.，2000:145-156.

[2]Wenger A，Gardner A，Tchou C，et al.Performance relighting and reflectance transformation with time-multiplexed illumination[C]//ACM Transactions on Graphics (TOG).ACM，2005，24(3):756-764.

[3]Einarsson P，Chabert C F，Jones A，et al.Relighting Human Locomotion with Flowed Reflectance Fields[C]//Rendering techniques，2006:183-194.

[4]曲震.變光照動(dòng)態(tài)多視角采集系統(tǒng)的設(shè)計(jì)[D].北京:清華大學(xué)，2008:28-28.

[5]Schechner Y Y，Nayar S K，Belhumeur P N.Multiplexing for optimal lighting[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2007，29(8):1 339-1 354.

[6]Schechner Y Y，Nayar S K，Belhumeur P N.A theory of multiplexed illumination[C]//Computer Vision，2003.Proceedings.Ninth IEEE International Conference on.IEEE，2003:808-815.

[7]Ratner N，Schechner Y Y.Illumination multiplexing within fundamental limits[C]//Computer Vision and Pattern Recognition，2007.CVPR'07.IEEE Conference on.IEEE，2007:1-8.