基于神經網絡的攝影圖像無參考去偽影仿真

秦 琛,孫 晨

(1. 江西科技學院,江西 南昌 330098;2. 長春師范大學,吉林 長春130031)

1 引言

近年來,攝像設備技術已不斷提高,像素數已經提升至千萬級以上,分辨率也同時得到較大程度的優化[1]。但是實際使用過程中,受到光電轉換與光敏元件性能的影響,使用攝像機或者照相機所獲取的圖像常常出現噪聲或者偽影干擾,同時也會出現圖像傳感器動態范圍較低的情況。盡管硬件系統是干擾攝像機圖像效果的因素之一,但是圖像存儲與拍攝環境也會嚴重影響圖像質量,造成圖像中存在偽影的情況[2-4]。受到某些因素影響,使用攝像機拍攝時不可避免地會出現拍攝圖像過飽和或者偽影區域等情況,影響拍攝場景中的高亮區域與低亮區域,難以獲取圖像細節信息。以拍攝經驗來看,日常拍攝過程中常常遇到這種情況,例如在陽光過于強烈的室外環境或者燈光直射的拍攝環境中都容易出現偽影現象。為解決這種情況,已經有學者提出使用自動曝光的方式去除圖像中的偽影[5],但是這種方法并不能改變整個圖像的亮度問題,甚至會造成圖像中的細節丟失,降低圖像質量。有學者針對去偽影提出基于哈希算法的去偽影方法[6],通過圖像匹配達到去偽影目的,但是對于復雜運動場景卻無法實現去偽影效果;還有學者提出以殘差學習作為基礎的去偽影方法[7],具有較高的去除效果,但是該方法只能針對醫療領域使用,在其它領域應用較少。

近年來,神經網絡在機器視覺研究應用廣泛。深度學習網絡能夠構建模型,通過學習和訓練,完成視覺效果分類,并通過神經網絡結構改變獲得優化訓練數據。已經有眾多研究者把深度學習網絡用在圖像超分辨率重建方面,通過神經網絡重新構建圖像重建模型,實現去除圖像中偽影的目的。在目前的圖像重建相關研究中,最常見的是使用圖像插值技術[8]完成圖像修復,該技術經過反復驗證并沒有獲得較好的圖像修復效果;還有學者使用普通學習方法[9]實現圖像修復,但是該方法只適用于單幅圖像修復。這類方法主要針對的都是相同圖像中的內部相似性,實現過程中需要利用大量樣本數據,常常會由于有效數據不全而導致建模困難的情況出現。深度學習網絡[10-11]已經在眾多領域應用廣泛,例如人臉識別領域、目標分類等領域都已經取得可觀成效,在解決視覺問題時體現出明顯優勢。以卷積成精網絡(CNN)作為基礎的圖像超分辨率算法能夠實現圖像處理,并直接訓練多維數據,還能降低訓練參數,降低算法復雜性,提升圖像去偽影效果。

本文以CNN為基礎,結合仿真平臺實現攝影圖像無參考去偽影,以期獲得良好圖像處理效果。

2 基于神經網絡的攝影圖像無參考去偽影方法

2.1 圖像超分辨率重建模型

本文研究中引入密集殘差網絡結構以此獲得較多圖像高頻特征,提升圖像超分辨率精度。網絡結構見圖1。

圖1 網絡結構

圖1中的黑色層是密集殘差網絡單元。圖1中包括反卷積上采樣、特征映射等層,輸入是低分辨率的攝像圖像,低級特征由首個卷積層提取,特征非線性映射由密集殘差學習實現,其后通過反卷積上采樣實現低維特征向高維特征轉換,實現目標大小重建,上采樣后的圖像特征使用密集殘差網絡開展學習,輸出重建后圖像。以下為圖像重建的詳細過程[12]。

2.1.1 非線性特征映射

在本文研究中,CNN的輸入項為分辨率較低的攝像圖像,使用第一個卷積層卷積該圖像,得到的特征圖有64個通道。本文研究中在CNN中應用密集殘差網絡結構防止高頻信息丟失。為使CNN能夠完成學習同時還能最大程度保留攝像圖像的特征該密集殘差網絡連接方式為多路徑密集連接,利用特征中的有效信息將高質量的圖像重新構建出來[13]。原始攝影圖像由Yi描述,同時Yi也是CNN的輸入項,F(Yi)表示低級特征,經首個卷積層提取,在密集殘差學習單元中輸入F(Yi)。F(Yi)經學習后獲得殘差圖像f1(Yi)。f1(Yi)與自身單元的輸入疊加組成下一個殘差學習單元的輸入δ[F(Yi)+f1(Yi)]。第二個單元學習上一個單元的輸出,獲得殘差圖像f2(Yi),重復以上步驟獲得R=δ[δ[F(Yi)+f1(Yi)]+f2(Yi)]。第二個殘差單元輸出與輸出圖像特征相連接,連接方式為跳層連接法,由此獲得首個密集殘差學習單元輸出

F1(Yi)=R+F1(Yi)

(1)

前一個密集殘差學習單元的輸出是后一個單元的輸入,密集殘差學習式(1),得出后一個密集殘差學習單元的輸出

F1(Yi)=R+F2(Yi)

(2)

運用以上方法持續向后推導,獲得第n個密集殘差學習單元輸出

F1(Yi)=R+Fn(Yi)

(3)

為獲得整體輸出特征連接輸入圖像特征和最后一個殘差單元,二者的連接方法是跳層連接法,式(4)為輸出特征Gn(Yi)

Gn(Yi)=R+Fn-1(Yi)+Fn(Yi)]]

(4)

2.1.2 反卷積和上采樣

為使重建后圖像更加清晰,需要上采樣上文提取的低維特征。本文通過反卷積層實現上采樣。

假設存在某個卷積層,以下為具體表示過程:

使用k*k和i*i分別表示卷積核大小與在輸入的圖像大小;p與s分別表示零填充數與步長。p′=k-p-1表示零填充數,步長s′與反卷積核k′大小表示為1和k,反卷積層輸出大小o′如下

o′=s(i′-1)+k-2p

(5)

在網絡中實現反卷積上采樣,結合特征映射與超分辨率圖像重建一起完成優化學習,以此獲得端到端的自主學習重建網絡,在一定程度上提升重建圖像的精度。

2.1.3 圖像重建

聚合反卷積提取的圖像特征快,輸出圖獲取使用疊加求平均方法,使用一個提前設定好的濾波器實現平均步驟,式(6)表示基于CNN的圖像超分辨率重建模型重建層輸出結果

F(Yi)=W·Fn(Yi)+B

(6)

式中,W與W分別表示濾波器和偏差。

2.2 基于多通道去偽影CNN超分辨率圖像重建

使用密集殘差模塊處理經反卷積層上采樣后的圖像,導入多通道輸入以此獲得更加復雜的圖像高維特征信息,提升圖像重建細節信息。將有64個通道的殘差輸出作為卷積核的輸入,輸入到1×1大小的卷積層中,降低特征維數至16。去偽影CNN圖像超分辨率重建的模型結構見圖2。

圖2 去偽影CNN圖像超分辨率重建模型結構

1)多通道圖像輸入結構

針對原始低分辨率攝像圖像使用4個不同強度值對其銳化,這四個值分別為0.5、0.9、1.3、1.7,設置過程使用強度值參數和MATLAB仿真平臺中的內建函數實現。

經過銳化后的圖像可以提升圖像的紋理信息,但是原始圖像中的偽影問題并沒有得到良好處理,同時還造成銳化后的圖像中存在較多噪聲點集,導致圖像中出現大面積噪聲塊,嚴重影響圖像超分辨率重建的效果。

2)構建去偽影結構

由于上文銳化后原始圖像噪聲過多且偽影干擾嚴重,利用基于CNN的圖像超分辨率重建模型開展圖像特征提取和映射時會獲得嚴重模糊的特征圖。為解決這一問題,在基于CNN的圖像超分辨率重建模型中導入去偽影層(位于CNN第二層),由此得到一個新的模型結構:去偽影CNN超分辨率重構模型。這個去偽影層能夠把CNN中第一層中包含噪聲和偽影的特征映射到更清潔的特征空間之中,也就是在該特征映射步驟中實現圖像去噪。

在多通道去偽影CNN超分辨率重構模型結構中,原網絡各層仍然保持不變,只是添加一個去偽影層,該模型的結構使用式(7)表示

(7)

式中,Wi與Y(n)分別表示第i層濾波器與多通道輸入圖像;Fi與Bi分別表示輸出的特征向量與第i層偏移。后添加的去偽影層使用(W2,B2)表示。

3 實驗設計與結果分析

選取100幅低分辨率攝像圖像在MATLAB仿真平臺中開展實驗,其中90幅為訓練集,10幅為測試集,為防止在模型訓練過程中出現過度擬合,使用數據增強技術對訓練集圖像開展數據擴充,確保每幅圖像都能得到19倍擴充。開展訓練前,先裁剪原始低分辨率攝像圖像,步長設定為12。有關去偽影CNN超分辨率重構模型參數選擇:通道數量按照通道順序分別選擇10、64、32、16、1;濾波器大小分別為9、7、5。

為實現去偽影效果對比,同時使用基于哈希算法的去偽影方法與基于殘差學習的去偽影方法同時對實驗對象開展去偽影處理,獲得攝像圖像去偽影效果,兩個對比方法分別為文獻[6]方法與文獻[7]方法。

其中一幅低分辨率圖像為例,分別使用三種方法對圖像進行去噪處理后圖像清晰情況對比見圖3。

圖3 去噪效果對比

從圖3中能夠看出,兩種傳統方法只能消除圖像中的一部分噪聲,處理圖像后還會存在大量毛刺和高斯噪聲干擾,導致圖像光滑度不高,圖像效果不清晰。使用本文方法能夠將攝像圖像中的噪聲全部去除,保證后續去偽影處理時能夠具有良好的圖像效果。分析本文方法去噪效果較好的原因,主要是由于本文方法使用非線性特征映射結合反卷積上采樣,圖像重建過程中又使用性能良好的濾波器,提升模型的去噪效果。

使用三種方法分別對圖3中各方法去噪后的圖像開展去偽影操作,去偽影的效果見圖4。

圖4 去偽影效果對比

從圖4中能夠看出,兩種對比方法雖然也能實現去偽影,但是偽影去除效果并不好,存在光暈干擾和不應該屬于圖像中的影像,主要是由于這兩種對比方法在去噪處理階段沒有取得良好的效果,而且這兩種對比方法專業針對性較強,對于攝像圖像的去偽影效果不佳。本文方法使用多通道去偽影CNN超分辨率重建,在傳統CNN的基礎上添加去偽影層,獲得更加良好的去偽影效果。

使用三種方法分別完成攝像圖像偽影去除后,需要評價圖像質量,評價指標為結構相似度(SSIM)與峰值信噪比(PSNR),這兩個評價指標的計算式見式(8)和式(9)

(8)

(9)

式中,Y與分別表示低分辨率圖像與去偽影后圖像;μY與μ分別表示低分辨率圖像與去偽影圖像的平均灰度值;σY與σ分別表示低分辨率圖像與去偽影圖像方差;σY代表低分辨率圖像與去偽影后圖像的協方差,C1與C2則均代表常數。這兩個評價指標的值越高說明圖像去偽影質量越好。

在實驗過程中,分別將圖3(a)放大2倍、3倍、4倍、5倍后再分別使用三種方法對圖像開展去偽影處理,處理完成后,使用式(8)與式(9)計算圖像的PSNR與SSIM值,結果見表1。

表1 圖像不同倍數下PSNR與SSIM值對比

從表1中能夠看出,在圖片倍數放大的情況下,兩種對比方法的PSNR與SSIM值逐漸降低,這說明,隨著圖像細節逐漸擴大,兩種對比方法去除圖像偽影后并沒有獲得良好的圖像效果,圖像可能存在不清晰的情況,但是本文方法在不同圖像倍數這下,PSNR與SSIM值保持升高狀態,這說明圖像細節越多去偽影效果越好,這種情況的主要原因是本文方法強大的特征映射功能,而且使用多通道去偽影能夠提升圖像的紋理信息,因此本文對圖像去偽影處理后評價值更高。

4 結論

本文主要研究基于神經網絡的攝影圖像無參考去偽影方法,并在仿真平臺上開展仿真,以驗證方法性能。盡管本文方法已經足夠充分,但是受到篇幅限制仍然有許多內容無法呈現,在今后的研究中可以深入展開:

1)攝像圖像屬于動態圖像,圖像中出現偽影限制圖像使用,雖然本文提出的方法已經能夠基本解決這種偽影的影響,但是動態圖像中干擾因素較多,在今后的研究中還需要進一步深化研究解決方法。

2)網絡性能需要進一步優化,未來研究需要避免網絡陷入局部最優,盡快實現收斂,同時還需要降低方法計算復雜度,降低CNN層數。