光場重聚焦成像的散焦機理及聚焦評價函數*

劉賓 潘毅華 閆文敏

1) (中北大學信息與通信工程學院,太原 030051)

2) (瞬態沖擊技術重點實驗室,北京 102202)

光場成像技術可以通過場景的光場信息實現場景全聚焦圖像合成和背景目標的去遮擋重聚焦等應用,其中如何有效評價圖像中的聚焦區域是進行上述應用的前提.但是,傳統成像系統離焦物體的點擴散特性與光場重聚焦圖像中離焦特性存在本質差異,因此基于離焦物點擴散特性的評價標準無法適用光場重聚焦圖像的聚焦度評價.針對上述問題,本文從光場成像重聚焦的原理出發,分析離焦目標圖像的虛化特征,設計光場重聚焦圖像的聚焦度評價函數,在此基礎上研究了聚焦區域的精細化分割方法.光場重聚焦實驗和去前景遮擋重聚焦實驗表明了本文方法在光場重聚焦圖像聚焦度評價中的有效性.

1 引 言

目前,光場成像中前景目標的標記通常基于場景深度分布信息,但是利用場景光場數據對深度分布進行估計需要繁瑣的計算過程,并且當場景復雜時深度分布的計算存在較大誤差,影響重建質量[4].另一方面,人們考慮利用聚焦和散焦區域的圖像的清晰度紋理銳度特征對離焦區域進行判決[5-10].但是現有空域和頻域的清晰度評價函數均以傳統成像系統散焦模型為基礎,即散焦函數建模時遵循彌散斑擴散規律[11-15].然而光場重聚焦成像過程中離焦目標的虛化是由多視角圖像錯位疊加而成,過程中場景的紋理和邊緣信息在一定程度上得到保留,宏觀上表現為模糊的區域,其中仍然包含大量的高頻信息[16,17].而傳統成像模型基于彌散斑擴散機理的建模規律與數字重聚焦過程存在較大差異,因此現有評價方式不能夠很好地適用.

鑒于此,本文從光場重聚焦計算成像的基本原理出發,分析離焦物體虛化的本質,提出適用于計算重聚焦的聚焦度判別方法,并將本文算法應用到復雜場景的去遮擋聚焦重建中,結果表明本文算法能夠有效標記和分離虛化偽影信息,保證場景中局部被遮擋目標的高質量聚焦重建.

2 光場表征及光場重聚焦原理

光場是對空間光輻射方向和強度信息的參數化表示,它反映了光輻射強度的分布位置與傳播方向的映射關系.根據 光場渲染理論,其被簡化為四維光場函數 L(u,v,s,t) ,其中u,v和s,t分別表示輻射光線與空間兩平面交點坐標,從而可以通過空間兩點來描述輻射場中的任意一條光線[18,19],如圖1所示.

圖1 光場的雙平面表示方法示意圖Fig.1.Schematic diagram of biplane representation of light field.

若將傳統成像系統的光瞳平面和探測器平面對應到雙平面模型中兩個相互平行的平面,可以認為探測器平面上的任一點s,t的探測數值是經過光瞳平面的不同方向光輻射的積分.可見傳統成像系統無法對光輻射的方向和位置進行區分,但是如果將相機按照一定的規律進行移動形成虛擬相機陣列,從多個視角對同一場景進行成像,便可以有效獲取場景輻射的光場信息.

以視點的一維運動構成的 1×N 虛擬相機陣列為例進行詳細分析,相機在移動過程中光軸相互平行,且均垂直于視點組成的空間平面,移動步進表示為B.

如圖2所示,場景中物點M距相機陣列距離為z,Re為參考視點,f為相機焦距,對于視點n和Re來說,其光心與M的連線與成像平面相交,交點為M在成像平面上的投影點,分別距圖像左端的距離為 Sn與 Sr,根據三角幾何關系：

總之，在高中物理教學中進行合理的問題設計可以啟發學生的智慧，鍛煉學生的思維，讓學生更好的認識物理規律，掌握物理知識本質，并能培養學生的科學態度與責任，運用物理知識更好的為人類服務的意識.

其中,Sr-Sn為M點在n與 Re視點對應圖像中的視差,表示為 Δd ,則可得

重聚焦過程中,為保證重建圖像對應特定深度目標的清晰度,需要消除各視點對應圖像中目標物的視差.假設M點為重聚焦所在物面,則各視點對應圖像的去視差結果表示為

其中 ΔBn表示視點n與參考視點間的距離,τ=f/z 為調焦系數,In,z表示為相機n對焦至深度z下的圖像,s表示所有物點在原始圖像的位置,s′表示經變換的物點所在的新位置.

可以通過調整 τ 值的大小對焦至不同深度z對應的目標.將去視差后的多視點圖像進行求和平均,得到對焦至M點所在物面的重聚焦圖像.

將(4)式進行二維擴展可以獲得二維虛擬相機陣列各視點對應圖像的去視差結果,表示為

圖2 多視點合成孔徑成像系統示意圖Fig.2.Schematic diagram of a multiview synthetic aperture imaging system.

3 重聚焦圖像離焦目標特征及聚焦評價函數

由第2節分析可知,光場重聚焦過程是通過調節調焦系數實現場景中指定深度物面的重建過程.過程中多視點獲取的圖像序列按照(5)式進行線性平移獲取去視差圖像序列,所謂的去視差是針對特定深度聚焦面目標而言,而離焦面目標經過平移變換后仍然存在一定視差.最終將經過去視差的圖像序列進行疊加平均,聚焦面目標得到增強而非聚焦面目標均會產生虛化.

但是該過程表現的虛化與傳統成像系統的離焦過程存在較大差異,傳統成像系統中偏離聚焦平面的物點表現為一定尺寸的彌散斑,場景中離焦目標物點所成的像彼此重疊從而導致圖像變得模糊.而數字聚焦過程中偏離聚焦平面的目標在任意視點的圖像中若表現為清晰的邊緣或紋理時,由于視差的存在導致疊加后的圖像對應區域的結構紋理或邊緣信息仍然有突出的表現.

圖3 重聚焦至場景不同深度時離焦目標的虛化特征 (a) 重聚焦至前景(花為聚焦目標物); (b) 重聚焦至后景(畫報為聚焦目標物)Fig.3.The blurring characteristics of defocused target when refocusing to different depth of the scene：(a) Refocus to the foreground (flower is the focus object; (b) refocus to the background (pictorial is the focus object).

如圖3所示,重聚焦到不同物面時,離焦目標區域邊緣和紋理結構信息仍然保留.離焦面區域在宏觀方面表現為虛化,但是從細節方面可以看出：原始場景中的目標邊緣或紋理信息仍然被較好地保留.并且場景中前景目標虛化造成的模糊疊加在聚焦物面上,形成虛化偽影.因此采用傳統成像系統的聚焦評價函數無法有效適用.

鑒于上述問題,本文從光場重聚焦的原理出發,分析重聚焦計算造成離焦目標虛化的特征.可以看出：離焦面上的物點在多視圖像序列對應位置處的像素值由于視差的存在表現出較大差異,而聚焦面上的物點由于視差完全消除而表現出較好的一致性.因此,本文以指定聚焦因子情況下重聚焦圖像像素值與多視點去視差后圖像序列對應位置處的像素值的差異程度作為聚焦度評價的依據,構造評價函數為

(6)式為重聚焦圖像在 (s,t) 位置處的聚焦度評價函數,其中 Sz(s,t) 為重聚焦圖像,In,z(s,t) 為各視點按照聚焦因子去視差后的圖像,N表示視點數量.可以看出函數 C(s,t) 越小,聚焦效果越好.根據這一規則,設置合適閾值對重聚焦圖像進行遍歷,確定像素的聚焦度并進行分類.

4 聚焦區域的精細化分割

遍歷重聚焦圖像對像素聚焦程度進行判別并標記,初步判定可將其劃分為聚焦、離焦和不確定三種類型.但是,基于上述分類結果無法實現聚焦區域和非聚焦區域的分割和提取.因此,本文采用的自然圖像分割算法[20,21]對初始分類圖像進行精細化處理,以實現最終聚焦區域提取.該方法以顏色的局部平滑性假設為前提,將圖像表示為前景F和背景B的組合.假設圖像像素為前景的概率 α ,圖像可以表示為

其中i表示像素坐標,則

其中,wjj是以j為中心的窗口,ε 為正則項.計算獲得關于 α 的二次代價函數

其中L為一個拉普拉斯摳圖矩陣,表達式為

δ為克羅內克符號函數,μk和 σk為k所在窗口的像素大小均值及方差,通過求解獲取全局最優的 α 值.按照上述圖像分割方法,將初始標記的圖像作為輸入,便可得到精細化分割的結果.

5 實驗與結果分析

本文實驗選用Stanford大學相機陣列拍攝的室內場景數據集,場景由盆栽、CD盒、儲物瓶和海報組成,盆栽作為場景的前景目標,CD和海報在多視點均被前景目標部分遮擋.數據集由105個視點圖像組成,視點排列為5行21列,單視點圖像分辨率為515×650.

實驗一針對前景盆栽目標進行重聚焦重建,分別采用傳統聚焦度判別算法和本文算法對重建圖像聚焦區域進行標記.并以標記圖像為基礎輸入信息,對其進行精細化處理,實現前景目標的分割.

圖4 (a)和圖4 (b)中白色區域表示聚焦區域,黑色區域為離焦區域,保持原色的區域為不確定區域.可以看出,采用傳統像素級聚焦度判別算法時,由于重聚焦過程離焦物體的邊緣和紋理信息對聚焦度判別形成干擾,聚焦度評價誤判嚴重,如場景中CD盒邊緣、畫報邊緣和儲物瓶印刷圖案等區域均出現誤判，如圖4 (a)示.以此結果為基礎輸入精細化處理過程,造成聚焦和離焦目標無法有效區分,精細化處理過程中無法實現前景目標的分割，如圖4 (c)所示.采用本文方法能夠有效克服背景目標邊緣和紋理信息等造成的誤判問題,聚焦度判決誤差小，如圖4 (d)所示.雖然部分前景目標被歸屬為不確定區域,但是可以通過精細化處理后得到較好的擴充,最終實現前景目標的分割.

實驗二利用本文提出的重聚焦判決方法,首先獲取場景的前景目標并進行標記,進而調整聚焦因子將重聚焦平面向后景推移,并且對前景射線進行篩選剔除,進而實現后景目標的去遮擋聚焦重建.

場景中盆栽為前景目標,其對后景CD盒造成一定的遮擋,圖5(a)為參考視點圖像,圖5(b)為沒有布設盆栽的場景參考視點圖像.利用多視點采集場景的光場信息進行重聚焦成像,調整聚焦因子使系統重聚焦至CD盒所在物面,如圖5(c)所示,重聚焦圖像中前景目標雖然在一定程度上得到虛化,但是仍然會疊加到聚焦目標上,形成虛化偽影,嚴重影響圖像重建的質量.如圖5(d)若采用本文方法對場景前景目標進行標記和提取,并在重建過程中剔除目標輻射光線的影響,則重聚焦結果可以有效消除前景的虛化偽影,提升重聚焦質量.

圖像結果的質量評價可以采用峰值信噪比(peak signal to noise ratio,PSNR)和平均結構相似度(mean structural similarity index measure,MSSIM)對實驗結果進行定量評價,其中PSNR值越高,表明重建結果與原圖更為接近,MSSIM范圍為0-1,其值越接近1,表明重建圖像與原始圖像更為接近.可以看出經過本文方法去遮擋重建后的質量相比直接重聚焦重建圖像在信噪比和結構相似度方面均有很大改善.

6 結 論

針對光場重聚焦圖像散焦區域的特征進行分析,在與傳統成像模型離焦模型對比的基礎上,從光場重聚焦的原理出發,提出重建圖像聚焦度判決函數,并進一步研究了重聚焦圖像聚焦區域的精細化分割算法.

理論分析和實驗結果表明,本文將重建圖像聚焦度判決回歸到去視差圖像序列的像素值偏差的評價方法是有效的.相對于傳統的聚焦度判決方法,本文方法可以有效地克服場景目標邊緣和紋理信息在離焦區域的影響,對光場重聚焦圖像的聚焦度判決具有更好的適應性.同時利用本文方法對場景中前景目標進行標記和篩選,在場景后景目標重聚焦過程可以有效克服前景虛化疊加在聚焦物上的偽影,提升了重建質量.并且本文方法無需復雜的計算過程,具有較高的效率.