稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)

盧清秀，任成森，葉文權(quán)

(廣東工業(yè)大學(xué)華立學(xué)院，廣東 廣州 511325)

稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)

盧清秀，任成森，葉文權(quán)

(廣東工業(yè)大學(xué)華立學(xué)院，廣東 廣州 511325)

在圖像采集和三維重建中，需要進(jìn)行圖像分辨率無(wú)關(guān)處理，降低光照和環(huán)境因素給分辨率帶來(lái)的影響，因此提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)。首先對(duì)采集的夜間圖像進(jìn)行小波降噪處理，對(duì)夜間圖像的陰影區(qū)域和亮度區(qū)域進(jìn)行曲線分割。在夜間光照的多重色差條件下，用標(biāo)準(zhǔn)化稀疏先驗(yàn)的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，采用圖像像素均勻遍歷方法進(jìn)行圖像子塊連續(xù)遍歷，實(shí)現(xiàn)夜間采集圖像的陰影偏差補(bǔ)償，實(shí)現(xiàn)夜間圖像采集的分辨率無(wú)關(guān)處理，解決圖像分辨率帶來(lái)的圖像重構(gòu)問(wèn)題。仿真結(jié)果表明，采用該方法進(jìn)行夜間圖像采集分辨率無(wú)關(guān)處理，有效提高了圖像的成像質(zhì)量和可分辨度，峰值信噪比和計(jì)算開(kāi)銷的參量指標(biāo)優(yōu)于傳統(tǒng)方法。

稀疏表達(dá)；夜間圖像；圖像采集；分辨率；三維重建

0 引 言

隨著圖形識(shí)別技術(shù)、數(shù)據(jù)庫(kù)匹配技術(shù)的快速發(fā)展，可以通過(guò)圖像掃描和三維重建方法構(gòu)建圖像數(shù)據(jù)庫(kù)，把現(xiàn)實(shí)中的物體進(jìn)行虛擬化，從而使實(shí)體在虛擬空間進(jìn)一步操作。在圖像識(shí)別和三維重建系統(tǒng)設(shè)計(jì)中，利用實(shí)時(shí)視頻采集及控制，目標(biāo)檢測(cè)與追蹤等技術(shù)進(jìn)行目標(biāo)物體的整體數(shù)據(jù)重建，完成目標(biāo)物體的信息采集[1]。在三維圖像數(shù)據(jù)庫(kù)建模中，通常需要對(duì)夜間圖像進(jìn)行采集和處理，夜間圖像的采集中受到采集設(shè)備、氣候、光照以及色差等因素的影響，導(dǎo)致夜間采集的圖像可能出現(xiàn)亮度不夠、噪點(diǎn)過(guò)多和鬼影等現(xiàn)象[2]。因此在夜間圖像采集和三維重建中，需要進(jìn)行圖像分辨率無(wú)關(guān)處理，降低夜間圖像采集中照片分辨率、拍攝距離、對(duì)焦準(zhǔn)確性、燈光系統(tǒng)等因素帶來(lái)的影響。

在受夜間圖像采集的環(huán)境干擾和曝光不足等因素的影響下，圖像細(xì)節(jié)展現(xiàn)和美化效果不好，分辨率不高。對(duì)夜間圖像采集的分辨率無(wú)關(guān)處理包括了圖像的降噪、圖像增強(qiáng)和圖像的色差均衡及補(bǔ)償?shù)取鹘y(tǒng)方法主要有基于小波降噪的分辨率無(wú)關(guān)處理方法、多重色差核補(bǔ)償方法、稀疏正則化分解方法和循環(huán)跟蹤像素點(diǎn)跟蹤融合方法等[3-4]。上述方法通過(guò)對(duì)夜間采集圖像進(jìn)行降噪處理后，結(jié)合相關(guān)特征提取和信息融合方法，實(shí)現(xiàn)圖像的細(xì)節(jié)增強(qiáng)及白平衡均衡處理，降低分辨率對(duì)圖像采集的影響，實(shí)現(xiàn)分辨率無(wú)關(guān)處理，取得了一定的效果。其中，文獻(xiàn)[5]提出一種基于白平衡偏差補(bǔ)償和平滑美化的夜間多重光照下采集圖像的分辨率無(wú)關(guān)處理方法，采用圖像盲去卷積算法進(jìn)行圖像平滑，對(duì)夜間采集的色差圖像自動(dòng)劃分目標(biāo)空間，通過(guò)形態(tài)學(xué)分割方法實(shí)現(xiàn)色差圖像陰影區(qū)域和亮度區(qū)域的準(zhǔn)確劃分，提高了圖像成像質(zhì)量和美化能力。但是該方法在進(jìn)行色差均衡最佳位置搜索時(shí)，容易陷入局部最優(yōu)，導(dǎo)致圖像成像中出現(xiàn)過(guò)度曝光或亮度不足的問(wèn)題；文獻(xiàn)[6]提出一種基于稀疏表達(dá)殘差均衡的自然場(chǎng)景圖像的分辨率無(wú)關(guān)處理技術(shù)，并實(shí)現(xiàn)對(duì)自然場(chǎng)景中運(yùn)動(dòng)目標(biāo)的有效檢測(cè)和三維重建；文獻(xiàn)[7]采用陰影概率模型構(gòu)建自然場(chǎng)景運(yùn)動(dòng)圖像的模糊色差核，在修正S-V模型中進(jìn)行模糊核敏感特征的稀疏表達(dá)，采用TV正則化方法對(duì)圖像進(jìn)行盲去卷積處理，降低光照和環(huán)境因素對(duì)分辨率帶來(lái)的影響[8]，提高了對(duì)運(yùn)動(dòng)目標(biāo)的成像質(zhì)量，以及對(duì)運(yùn)動(dòng)目標(biāo)圖像的檢測(cè)和重建性能。但是該方法的計(jì)算開(kāi)銷較大，且在環(huán)境干擾較強(qiáng)的情況下成像質(zhì)量不好。

針對(duì)上述問(wèn)題，文中提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)，并對(duì)其進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1 夜間圖像采集及降噪預(yù)處理

1.1夜間圖像的采集與像素特征表達(dá)

為了實(shí)現(xiàn)對(duì)夜間圖像的三維重建與圖像分辨率無(wú)關(guān)處理，降低照片分辨率、拍攝距離、對(duì)焦準(zhǔn)確性、自然光照及燈光系統(tǒng)給夜間圖像采集和三維重建帶來(lái)的成像質(zhì)量方面的影響，需要進(jìn)行圖像的分辨率無(wú)關(guān)化處理。首先需要進(jìn)行原始圖像采集和像素特征稀疏表達(dá)描述[9-11]。夜間圖像的采集采用數(shù)碼成像設(shè)備NikonD7200，采用自動(dòng)對(duì)焦鏡頭，設(shè)定的感光度ISO為100，光圈F14，在夜間色光背景下，夜間采集的圖像在4×4網(wǎng)格區(qū)域內(nèi)進(jìn)行像素特征表達(dá)，分塊結(jié)構(gòu)模型如圖1所示。

圖1 圖像的4×4子區(qū)域網(wǎng)格結(jié)構(gòu)模型

圖像的視覺(jué)顯著性取決于獲取的圖像信息及分辨率等因素，計(jì)算每個(gè)像素的顏色子空間，得到的圖像結(jié)構(gòu)相似度為：

(1)

通過(guò)前簾同步和后簾同步處理，在特征尺度d(x)的約束下，得到夜間圖像采集的多重色差核系數(shù)c(X,Y)和邊緣細(xì)節(jié)特征s(X,Y)，求得兩者之間的差異性特征變量，得到夜間圖像采集的單點(diǎn)對(duì)焦角點(diǎn)：

(2)

基于多重色差核矩陣分解，設(shè)采集到的圖像輸出數(shù)學(xué)模型為g={g(i),i∈Ω}，在圖像采集過(guò)程中，采用電子穩(wěn)像方法進(jìn)行防抖動(dòng)處理，假設(shè)圖像的生成序列為：

c1={i|i∈S},c2={{i,i'}|i'∈Ni,i∈S},

C=c1∪c2

(3)

其中，i=1,2,…,T，表示像素序列的長(zhǎng)度。

用圖1所示的3*3的網(wǎng)格分割核函數(shù)進(jìn)行子塊連續(xù)遍歷處理，得到整幅采集的夜間圖像的尺度信息為U0(zQ)、U1(zQ)。利用鄰域內(nèi)像素點(diǎn)的子帶信息，在稀疏化特征表示約束條件下，采用全局顯著圖融合方法進(jìn)行圖像像素特征表達(dá)，得到夜間圖像的采集像素特征表達(dá)式為：

g=k?f+n

(4)

其中，?為卷積算子；g為圖像表面點(diǎn)均勻分布的采樣點(diǎn)；f為一組清晰的訓(xùn)練圖像；k為模糊核，又稱點(diǎn)擴(kuò)散函數(shù)(Point Spread Function，PSF)[12]；n為離散采樣約束系數(shù)。

根據(jù)上述對(duì)夜間圖像的采集結(jié)果和像素特征表達(dá)輸出，為圖像采集的分辨率無(wú)關(guān)處理提供了準(zhǔn)確的輸入數(shù)據(jù)。

1.2圖像降噪預(yù)處理

在圖像的采集過(guò)程中，受到環(huán)境和光照以及采集手段等因素的干擾，導(dǎo)致圖像出現(xiàn)噪聲，需要進(jìn)行圖像降噪處理。圖像降噪同時(shí)也是分辨率無(wú)關(guān)處理的重要一步，文中采用小波降噪方法進(jìn)行圖像降噪，采用LWT母小波作為基函數(shù)，母小波表達(dá)式為：

(5)

(6)

其中，Ts為三維非線性空間映射周期；Tp為圖像采樣周期；Tc為碼片周期；cj為像素點(diǎn)的加權(quán)平均位置；Np為小波分解，且Tp=NpTc；ai為二值圖像的結(jié)構(gòu)相似度；ε為圖像灰度像素偏移常量。

基于復(fù)小波復(fù)變換模型，構(gòu)建小波降噪濾波器的傳遞函數(shù)為：

(7)

其中，H為小波降噪的幅度增益；M為簇的數(shù)目；K(m)為小波降噪處分解尺度上的多徑數(shù)目；αmk為第n簇內(nèi)夜間圖像的色差對(duì)比度；Tm為第m簇到達(dá)時(shí)間；τmk為自適應(yīng)濾波的時(shí)延。

假設(shè)圖像具有單尺度特性，輸入圖像s(t)經(jīng)過(guò)小波降噪的多徑信道后，接收端輸出的圖像像素特征表達(dá)為：

(8)

其中，wmk為小波函數(shù)族ψa,b通過(guò)ψ(t)層仿射變換的幅度增益H和加權(quán)系數(shù)αmk；v(t)為加性高斯白噪聲。

在夜間多元色光背景下，通過(guò)如下小波變換實(shí)現(xiàn)圖像降噪：

(9)

(10)

其中，η為離散采樣點(diǎn)的經(jīng)度角；φ為緯度角；R為模板匹配的半徑；D為旋轉(zhuǎn)坐標(biāo)系的直徑。

運(yùn)用上述降噪處理來(lái)調(diào)整圖像的邊緣亮度和灰度，提高夜間采集圖像的成像質(zhì)量。

2 夜間圖像采集分辨無(wú)關(guān)處理算法的改進(jìn)實(shí)現(xiàn)

在上述夜間圖像采集及降噪預(yù)處理的基礎(chǔ)上，文中提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)，在夜間光照的多重色差條件下，用標(biāo)準(zhǔn)化稀疏先驗(yàn)的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，進(jìn)行圖像成像和三維重建優(yōu)化。

2.1基于稀疏先驗(yàn)正則化表達(dá)的圖像均衡鎖光

在模板的像素坐標(biāo)內(nèi)，接收到的待處理的夜間圖像降噪的輸出像素序列x(t)在接收端進(jìn)行超像素特征分解和灰度信息疊加，信息融合后的輸出特征p(t)經(jīng)時(shí)延和加權(quán)后，在仿射不變模型進(jìn)行高頻分解和模板匹配[13-15]，得到在當(dāng)前幀的觀測(cè)區(qū)域內(nèi)的稀疏先驗(yàn)正則化函數(shù)為：

(11)

當(dāng)NS=1時(shí)，由參數(shù)t決定模板的像素坐標(biāo)，接收的圖像邊緣輪廓特征值可表示為：

(12)

由于夜間圖像采集受到不同光照顏色的影響，導(dǎo)致圖形的紋理信息簇是稀疏的，對(duì)上述進(jìn)行標(biāo)準(zhǔn)化稀疏表示，用篩選出來(lái)的子塊替換前景，得到輸出圖像為：

(13)

其中，qj為概率權(quán)重；aj為最稀疏表示系數(shù)；cj為一個(gè)加權(quán)乘積系數(shù)。

將前i個(gè)樣本得到的稀疏表示矩陣和每個(gè)像素為中心采樣的子塊分別記為W(i)和D(i)，加入第i+1個(gè)訓(xùn)練樣本，得到稀疏先驗(yàn)正則化迭代函數(shù)為D(i+1)，即

(14)

(15)

(16)

在修正的模板匹配模型中，基于稀疏先驗(yàn)正則化表達(dá)方法，得到圖像均衡鎖光的迭代函數(shù)為：

(17)

根據(jù)加權(quán)遞歸最小二乘學(xué)習(xí)方法，得到圖像均衡鎖光后的分辨率稀疏先驗(yàn)約束函數(shù)為：

D(i+1)=B(i+1)C(i+1)=

(18)

通過(guò)上述方法進(jìn)行圖像均衡鎖光，為實(shí)現(xiàn)圖像采集的分辨率無(wú)關(guān)處理提供了配準(zhǔn)度更好的像素特征輸入。

2.2圖像采集分辨率無(wú)關(guān)處理實(shí)現(xiàn)步驟

(19)

(20)

利用夜間圖像的結(jié)構(gòu)和稀疏表示模型，實(shí)現(xiàn)夜間圖像采集的分辨率無(wú)關(guān)處理，解決圖像分辨率帶來(lái)的圖像重構(gòu)問(wèn)題，算法實(shí)現(xiàn)的主要步驟為：

(1)設(shè)定最大訓(xùn)練步長(zhǎng)和迭代步數(shù)，初始化D(1)和C(1)；

(2)根據(jù)圖像采集集合降噪輸出的結(jié)果，在訓(xùn)練集中選擇像素樣本進(jìn)行圖像正則化處理，輸出xi+1；

(3)依據(jù)第i次迭代，得到模糊核矩陣D(i)以及圖像像素特征的稀疏表示矩陣W(i)；

(4)計(jì)算圖像的先驗(yàn)知識(shí)zi+1=xi+1-D(i)W(i)；

(9)若i小于設(shè)定的迭代次數(shù)，i=i+1，則轉(zhuǎn)步驟(2)；

(10)若i大于設(shè)定的迭代次數(shù)，加權(quán)遞歸最小二乘學(xué)習(xí)結(jié)束，D=D(i+1)，W=W(i+1)；

3 仿真實(shí)驗(yàn)與結(jié)果分析

為了測(cè)試文中方法在實(shí)現(xiàn)夜間圖像采集優(yōu)化處理方面的性能，對(duì)其進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)建立在Matlab仿真工具基礎(chǔ)上，實(shí)驗(yàn)硬件設(shè)備使用Inter core i5-2 400 3.10 GHz處理器，圖像采集的初始分辨率為1 280×1 024，采集的重復(fù)周期Ts=2 ns，曝光持續(xù)時(shí)間Tm=14 s，時(shí)間位移值dPPM=0.5 ns，噪聲選擇均值為0、方差為0.01的高斯噪聲。實(shí)驗(yàn)分別對(duì)建筑樓和橋梁進(jìn)行圖像采集，得到采集的原始圖像如圖2所示。

圖2 原始圖像

由圖2可知，在圖像采集中由于光線不好和成像設(shè)備的條件限制，導(dǎo)致圖像采集的分辨率不高，成像質(zhì)量不好，無(wú)法滿足系統(tǒng)設(shè)計(jì)需求，因此需要進(jìn)行分辨率無(wú)關(guān)化處理，提高圖像成像質(zhì)量。

采用文中方法對(duì)夜間采集圖像進(jìn)行小波降噪處理，進(jìn)而對(duì)陰影區(qū)域和亮度區(qū)域進(jìn)行曲線分割，用標(biāo)準(zhǔn)化稀疏先驗(yàn)的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，得到圖像的稀疏表達(dá)結(jié)果如圖3所示。

圖3 圖像稀疏表達(dá)結(jié)果

以上述系數(shù)表達(dá)信號(hào)為訓(xùn)練信號(hào)，進(jìn)行圖像均衡鎖光處理，實(shí)現(xiàn)陰影偏差補(bǔ)償和分辨率無(wú)關(guān)化處理。為了對(duì)比性能，圖4和圖5分別給出傳統(tǒng)方法和文中方法的處理結(jié)果。

圖4 傳統(tǒng)方法進(jìn)行圖像采集分辨率無(wú)關(guān)處理的結(jié)果

圖5 文中方法進(jìn)行圖像采集分辨率無(wú)關(guān)處理的結(jié)果

從圖4和圖5的對(duì)比得知，采用文中方法進(jìn)行夜間圖像采集后期處理，實(shí)現(xiàn)了圖像的分辨率無(wú)關(guān)化處理，提高了圖像的成像表達(dá)能力，圖像采集的感官效果更好，可視性增強(qiáng)，具有明顯的改善。

為了定量刻畫(huà)圖像處理的性能，表1列出了不同方法進(jìn)行圖像處理的峰值信噪比和時(shí)間開(kāi)銷等參量的對(duì)比結(jié)果(采用1 000次實(shí)驗(yàn)取平均)。

表1 不同方法的性能定量對(duì)比

從表1可知，利用文中方法進(jìn)行夜間圖像采集，峰值信噪比較高，說(shuō)明輸出圖像的成像質(zhì)量更好，且計(jì)算開(kāi)銷較低，說(shuō)明實(shí)時(shí)性較好。

4 結(jié)束語(yǔ)

為了降低光照和環(huán)境因素對(duì)分辨率帶來(lái)的影響，提高圖像的三維重建能力，提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無(wú)關(guān)處理技術(shù)。實(shí)驗(yàn)結(jié)果表明，該方法提高了圖像的成像質(zhì)量和可分辨度，感官效果更好，可視性增強(qiáng)，峰值信噪比和計(jì)算開(kāi)銷的參量指標(biāo)更優(yōu)，展示了較好的應(yīng)用價(jià)值。

[1] 趙 蓉,顧國(guó)華,楊 蔚.基于偏振成像的可見(jiàn)光圖像增強(qiáng)[J].激光技術(shù),2016,40(2):227-231.

[2] 于 濤,胡炳樑,高曉惠,等.高光譜干涉圖像動(dòng)態(tài)追蹤補(bǔ)償方法研究[J].光子學(xué)報(bào),2016,45(7):0710003.

[3] 竇慧晶,王千龍,張 雪.基于小波閾值去噪和共軛模糊函數(shù)的時(shí)頻差聯(lián)合估計(jì)算法[J].電子與信息學(xué)報(bào),2016,38(5):1123-1128.

[4] 張 偉,張 合,張祥金.小型大瞬時(shí)視場(chǎng)光學(xué)探測(cè)系統(tǒng)優(yōu)化設(shè)計(jì)[J].紅外與激光工程,2016,45(5):518002.

[5] 蔣建國(guó),金玉龍,齊美彬,等.基于稀疏表達(dá)殘差的自然場(chǎng)景運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電子學(xué)報(bào),2015,43(9):1738-1744.

[6] 周毅敏,李光耀.多重光照色差下圖像平滑美化處理算法[J].計(jì)算機(jī)科學(xué),2016,43(10):287-291.

[7] 宋 濤,李 鷗,劉廣怡.基于空時(shí)多線索融合的超像素運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].電子與信息學(xué)報(bào),2016,38(6):1503-1511.

[8] Evangelio R H,Patzold M,Keller I,et al.Adaptively splitted GMM with feedback improvement for the task of background subtraction[J].IEEE Transactions on Information Forensics and Security,2014,9(5):863-874.

[9] Barnich O,Van D M.ViBe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

[10] Liu Zhi,Zhang Xiang,Luo Shuhua,et al.Superpixel-based spatiotemporal saliency detection[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(9):1522-1540.

[11] Bae S H,Yoon K J.Robust online multiobject tracking with data association and track management[J].IEEE Transactions on Image Processing,2014,23(7):2820-2833.

[12] Jiang X,Harishan K,Thamarasa R,et al.Integrated track initialization and maintenance in heavy clutter using probabilistic data association[J].Signal Processing,2014,94:241-250.

[13] 卞 樂(lè),霍冠英,李慶武.基于Curvelet變換和多目標(biāo)粒子群的混合熵MRI圖像多閾值分割[J].計(jì)算機(jī)應(yīng)用,2016,36(11):3188-3195.

[14] 李積英,黨建武,王陽(yáng)萍.融合量子克隆進(jìn)化與二維Tsallis熵的醫(yī)學(xué)圖像分割算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(3):465-471.

[15] Ortiz A,Gorriz J M,Ramirez J,et al.Improving MR brain image segmentation using self-organising maps and entropy-gradient clustering[J].Information Sciences,2014,262(3):117-136.

AnIndependentProcessingTechnologyofNightImageAcquisitionResolutionBasedonSparseRepresentation

LU Qing-xiu，REN Cheng-sen，YE Wen-quan

(Huali College Guangdong University of Technology,Guangzhou 511325,China)

In the image acquisition and 3D reconstruction,independent image resolution processing is needed to reduce the influence of illumination and environmental factors to the resolution.Therefore,an independent processing technology of night image acquisition resolution is proposed based on the sparse expression.First the acquisition of night image is in wavelet denoising,conducting the curve segmentation of the shadow region and brightness region for night image.In the conditions of multiple color at night,the expression method of regularization of standardized sparse prior is used for the image equalization lock light processing,and image pixel traversal method for continuous uniform traversal of image blocks,realizing the shadow deviation compensation for acquisition image at night and independent resolution processing of that,solving the problem of image reconstruction caused by the resolution.The simulation results show that it can improve the imaging quality and resolution and the its peak signal-to-noise ratio and computing cost parameters are better than the traditional method.

sparse representation;night image;image acquisition;resolution;3D reconstruction

TP391

A

1673-629X(2017)10-0011-05

2016-11-25

2017-03-03 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-07-19

2016年廣東省大學(xué)生科技創(chuàng)新培育項(xiàng)目(pdjh2016b0934);2012廣東省質(zhì)量工程項(xiàng)目“獨(dú)立學(xué)院電子信息創(chuàng)新人才培養(yǎng)實(shí)驗(yàn)區(qū)”(粵教高函[2012]204號(hào))

盧清秀(1979-)，女，碩士，講師，研究方向?yàn)橛?jì)算機(jī)控制算法、人工智能。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170719.1112.080.html

10.3969/j.issn.1673-629X.2017.10.003