考慮高低頻特征的視覺離焦圖像暗邊緣局部復(fù)原算法

中圖分類號(hào)：TN911.73-34；TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-373X（2025）16-0123-05

Visual defocusing image dark edge local restoration algorithm for considering highand lowfrequencyfeatures

LIU Xiao

（XinyangNormal University，Xinyang464Ooo， China）

Abstract：Thedarkedgesofvisualdefocusingimagesareblurred，resulting inthelossofdetailinformation，whichis manifestedinthereductionofhighandlowfrequencycomponentsintheimage tovaryingdegrees.Therefore，avisual defocusingimagesdarkedgeslocalrestorationalgorithmconsideringhighandlowfrequencyfeaturesisstudiedtorestorethe edgedetailsofsuchimages.Adefocusingimagemodelisconstructed，andtheehancementprocessingofthevisualdefocusing imageinthemodelisconductedbymeansof thepalalgorithm，soastoobtaintheenhancedgraydefocusingimage.Thenonsubsampledcontour wave transform （NSCT）algorithm isusedtodecomposetheenhanceddefocusing image with multi-scaleand multi-direction，soastoextractthehighandlowfrequencyfeaturesinformationsuchascompleteedgeandstructureoftheimage. ByimplementingNSCTinversetransformationonsuchhighandlowfrequencyfeatureinformation，thehighandlowfrequency edgeimagesareobtained，andthelowfrequencyedgeimagesarecompensatedintothehigh frequencyedgeimage，soastobtain thefinalreconstructededgerestorationimage.Theresultsshowthatthealgorithmcanachievelocalrestorationofthedarkedge ofdifferentscaledefocusingimages.Afterrestoration，theedgedetailsareclearandcomplete，thestructuralinformationis recovered well，the brightnessandcontrast are improved obviously，andtheoverall restoration performance is stable.

Keywords：highandlow frequency feature;visual defocusing image;dark edge;local restoration;imageenhancement; grayscale image;NSCTalgorithm

0 引言

在圖像實(shí)際拍攝過程中，由于拍攝設(shè)備的質(zhì)量問題、調(diào)焦不準(zhǔn)、手部抖動(dòng)等各種原因，圖像往往會(huì)產(chǎn)生視覺離焦模糊現(xiàn)象，特別是圖像的邊緣部分會(huì)因亮度較低產(chǎn)生暗邊緣，導(dǎo)致圖像細(xì)節(jié)丟失，這會(huì)嚴(yán)重影響圖像的后續(xù)應(yīng)用3。暗邊緣局部復(fù)原對(duì)于提高此類圖像整體質(zhì)量、恢復(fù)圖像的視覺效果具有重要意義[4-5]。

目前，已有部分中外學(xué)者針對(duì)此領(lǐng)域展開了相關(guān)研究。例如，文獻(xiàn)[6]研究的離焦圖像重建算法通過改進(jìn)去噪自編碼器提取離焦圖像特征，融合后輸人生成對(duì)抗網(wǎng)絡(luò)內(nèi)，獲得重建圖像。但該方法在復(fù)原離焦圖像時(shí)，無法完全恢復(fù)圖像中的細(xì)節(jié)信息。文獻(xiàn)[7]提出的圖像重建算法運(yùn)用構(gòu)建的圖像退化模型預(yù)處理原始退化圖像，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取處理后圖像特征并獲得其重建圖像。CNN主要依賴于局部感受野和卷積核實(shí)現(xiàn)圖像特征提取，在處理需提取廣泛區(qū)域特征的離焦圖像時(shí)，可能導(dǎo)致部分細(xì)節(jié)信息丟失，復(fù)原圖像不準(zhǔn)確。文獻(xiàn)[8]研究的圖像復(fù)原算法結(jié)合空間域卷積設(shè)計(jì)實(shí)時(shí)圖像復(fù)原算法，將該算法映射到FPGA上，獲得復(fù)原圖像。盡管FPGA具有高速并行處理能力，但離焦圖像復(fù)原需要高精度的計(jì)算及精細(xì)的圖像處理技術(shù)，才能恢復(fù)圖像中的細(xì)節(jié)和紋理，F(xiàn)PGA在這方面存在一定的局限性。文獻(xiàn)[9]研究的離焦模糊圖像復(fù)原算法運(yùn)用點(diǎn)擴(kuò)散函數(shù)設(shè)計(jì)最小二乘算法，通過該算法獲得原始離焦圖像的復(fù)原圖像，對(duì)此類復(fù)原圖像進(jìn)行去振鈴處理后，得到最終的復(fù)原圖像。該算法在復(fù)原時(shí)，利用點(diǎn)擴(kuò)散函數(shù)估計(jì)關(guān)鍵環(huán)節(jié)，但因離焦模糊圖像具有空間變化特點(diǎn)，點(diǎn)擴(kuò)散函數(shù)的空間分布不一致，難以準(zhǔn)確估計(jì)，導(dǎo)致不同圖像的復(fù)原效果不一致。

高低頻特征在圖像處理中的應(yīng)用逐漸受到重視，高頻特征主要反映圖像的邊緣與紋理等細(xì)節(jié)信息，低頻特征主要反映圖像的整體結(jié)構(gòu)和灰度信息[]。通過將二者相結(jié)合，可以全面提取圖像中的有用信息，提高模糊圖像的恢復(fù)精度和效果。非下采樣輪廓波變換（NSCT）算法屬于一類多分辨率分析工具，尤其適用于圖像處理領(lǐng)域[11-12]。該算法是對(duì)基于小波變換的擴(kuò)展，在保持高頻細(xì)節(jié)的同時(shí)，提高圖像的多尺度表示能力。在圖像處理過程中，其結(jié)合了多方向和多尺度分析，通過保持圖像所有高低頻信息，獲得圖像的完整細(xì)節(jié)信息特征[13]。因此，本文以NSCT算法為核心，通過提取視覺離焦圖像的高低頻特征，實(shí)現(xiàn)圖像暗邊緣的局部復(fù)原重建，保障復(fù)原圖像的信息完整性及整體質(zhì)量。

1視覺離焦圖像暗邊緣局部復(fù)原算法

1.1視覺離焦圖像數(shù)學(xué)模型

從幾何光學(xué)的角度分析，光學(xué)成像設(shè)備生成的待成像物體點(diǎn)光源成像近似于脈沖函數(shù)8的點(diǎn)，當(dāng)待成像物體、成像表面以及光學(xué)成像設(shè)備的透鏡三者之間的距離不符合高斯成像原理時(shí)，待成像物體的點(diǎn)光源便會(huì)生成圓形彌散斑，此類成像斑點(diǎn)的直徑若比像元的最低尺寸大，便構(gòu)成了離焦模糊像點(diǎn)。此類像點(diǎn)的視覺離焦圖像A的數(shù)學(xué)模型可表示成：

A=c+B??

式中： c 表示視覺離焦圖像A中的噪聲部分； ? 表示視覺離焦模糊核； B 表示視覺離焦圖像A的原始清晰圖像。

1.2視覺離焦圖像增強(qiáng)

由于視覺離焦圖像 A 的邊緣部分亮度較低，邊緣細(xì)節(jié)信息容易出現(xiàn)缺失，無法完整地獲取到此類圖像邊緣的高低頻特征信息，以致于最終獲得的復(fù)原圖像存在一定偏差。故為解決此問題，需對(duì)視覺離焦圖像實(shí)施增強(qiáng)處理，以增強(qiáng)此類圖像邊緣的細(xì)節(jié)信息，保障最終復(fù)原圖像的完整性與精度。基于 Pal 算法的視覺離焦圖像A增強(qiáng)處理過程如下。

1）設(shè)視覺離焦圖像 A 的模糊點(diǎn)集矩陣為：

式中： q_nm 表示視覺離焦圖像 A 內(nèi) （n，m） 像點(diǎn)位置的像素灰度級(jí) a_nm 具備視覺離焦模糊特征的程度，且 0?q_nm?1 其中， n=1，2，…，N，m=1，2，…，M

2）建立圖像像點(diǎn)的視覺離焦模糊特征，映射視覺離焦圖像 A 的像素灰度級(jí)值 a_nm 為隸屬度。設(shè) a_max 表示視覺離焦圖像A的最高灰度級(jí)，則該圖像像點(diǎn)的視覺離焦模糊特征 q_nm 可表示為：

式中： α₁ 與 α₂ 分別表示倒數(shù)型與指數(shù)型模糊因子。

3）通過變換視覺離焦圖像 A 像點(diǎn)的視覺離焦模糊特征 q_nm ，增強(qiáng)視覺離焦圖像 A 內(nèi)相鄰像點(diǎn)的對(duì)比度。視覺離焦圖像 A 像點(diǎn)視覺離焦模糊特征 q_nm 的變換公式為：

式中： s 表示變換系數(shù)。通過 s 持續(xù)實(shí)施變換，可將高于0.5的視覺離焦圖像 A 像點(diǎn)視覺離焦模糊特征 q_nm 值增加，低于0.5的視覺離焦圖像A像點(diǎn)視覺離焦模糊特征q_nm 值減少。此變換結(jié)果可降低視覺離焦圖像 A 模糊點(diǎn)集A的視覺離焦模糊性，增強(qiáng)視覺離焦圖像A的對(duì)比度。當(dāng)此種變換到達(dá)極限時(shí)，會(huì)將初始視覺離焦圖像A轉(zhuǎn)換為2灰度級(jí)，也就是二值圖像。

4）對(duì)視覺離焦圖像的模糊點(diǎn)集 A 進(jìn)行逆變換增 強(qiáng)，得到處理后的視覺離焦圖像A'。

1.3視覺離焦圖像暗邊緣局部復(fù)原

為實(shí)現(xiàn)視覺離焦圖像的暗邊緣局部復(fù)原，在此結(jié)合非下采樣輪廓波變換（NSCT）算法，以第1.2節(jié)中增強(qiáng)后的視覺離焦圖像 A^′ 為輸入，通過提取該圖像的紋理、邊緣等高頻特征以及灰度、結(jié)構(gòu)等低頻特征，并將該圖像的灰度、結(jié)構(gòu)等低頻特征融人到所提取的高頻邊緣特征內(nèi)，得到該圖像的邊緣復(fù)原重構(gòu)圖像，實(shí)現(xiàn)視覺離焦圖像暗邊緣的局部復(fù)原。具體復(fù)原過程如下。

1）通過NSCT算法多尺度、多方向分解增強(qiáng)后得到視覺離焦圖像 A^′ ，該圖像的NSCT系數(shù)矩陣集 P_ij 為：

式中： p⁺ 表示NSCT正變換； i=1，2，…，l 與 j=1，2，…，k 分別表示視覺離焦圖像 A^′ 分解中的尺度與方向。

2）通過自適應(yīng)閾值獲得視覺離焦圖像 A^′ 的高頻特征圖像 G₁，G₁ 的獲取過程如下。

① 設(shè)定分解后得到的視覺離焦圖像 A^′ 的低頻系數(shù)為0，依據(jù)自適應(yīng)閾值將該圖像的NSCT系數(shù)矩陣集 P_ij 內(nèi)的第2～1尺度層中的較低系數(shù)去除掉，得到該圖像隨機(jī)分解方向的第2～尺度層系數(shù)為：

式中 σ 表示視覺離焦圖像 A^′ 的系數(shù)均值。

② 設(shè) D₁（P） 表示步驟 ① 所得到的視覺離焦圖像 A^′ 的高頻系數(shù)矩陣集，對(duì)該矩陣集進(jìn)行NSCT反變換可獲 得該圖像的高頻特征圖像 G₁

式中 p^- 表示NSCT反變換。

3）所獲得的高頻特征圖像 G₁ 可呈現(xiàn)視覺離焦圖像A^′ 的邊緣信息，在圖像 A^′ 的邊緣位置具有較高的取值。因此，通過自適應(yīng)閾值處理高頻特征圖像 G₁ ，能夠獲取圖像 A^′ 的原始高頻邊緣圖像 E₁ ，即：

式中 χ 表示自適應(yīng)閾值，且 其中： γ 表示取值大于1的乘子系數(shù)； 表示高頻特征圖像 G₁ 的平均值

4）對(duì)圖像 A^′ 實(shí)施NSCT反變換，獲取視覺離焦圖像A^′ 的低頻特征圖像 G₂ ，經(jīng)自適應(yīng)閾值處理圖像 G₂ 后得到視覺離焦圖像 A^′ 的低頻邊緣圖像 E₂ ；通過向原始高頻邊緣圖像 E₁ 內(nèi)補(bǔ)償該低頻邊緣圖像 E₂ ，可有效修正補(bǔ)償原始高頻邊緣圖像 E₁ 所缺失的結(jié)構(gòu)與灰度等低頻特征信息；最終得到視覺離焦圖像 A^′ 的完整邊緣復(fù)原重構(gòu)圖像 E ，完成視覺離焦圖像的暗邊緣局部復(fù)原。

2實(shí)驗(yàn)結(jié)果分析

所選取的實(shí)驗(yàn)對(duì)象為實(shí)際拍攝的視覺離焦圖像，通過本文算法對(duì)此類實(shí)驗(yàn)圖像的暗邊緣實(shí)施局部復(fù)原，檢驗(yàn)復(fù)原效果。實(shí)驗(yàn)中所選用的對(duì)比算法依次為生成對(duì)抗網(wǎng)絡(luò)的圖像重建算法（文獻(xiàn)[6算法）深度學(xué)習(xí)網(wǎng)絡(luò)的圖像重建算法（文獻(xiàn)[7]算法）FPGA的圖像復(fù)原算法（文獻(xiàn)[8]算法）、最小二乘的圖像復(fù)原算法（文獻(xiàn)[9]算法），所選取的實(shí)驗(yàn)圖像暗邊緣局部復(fù)原質(zhì)量的客觀評(píng)價(jià)指標(biāo)分別為顏色對(duì)比度保持率（CCPR）灰度差分乘積（SMD2）及梯度結(jié)構(gòu)相似度（NRSS）。各個(gè)客觀評(píng)價(jià)指標(biāo)的運(yùn)算公式為：

式中： F 表示梯度信息量最多的圖像塊數(shù)量；SSIM（E_f，A_f） 表示復(fù)原圖像與原始圖像的結(jié)構(gòu)相似度; r 與 s 均表示圖像的像素索引； 表示圖像內(nèi)像素點(diǎn) n，m 之間歐氏距離閾值； ξ 表示原始圖像內(nèi)不小于閾值 的像素點(diǎn)對(duì)集； θ_n-θ_?m 表示復(fù)原圖像的像素梯度值； |ξ| 表示像素點(diǎn)對(duì)集 ξ 內(nèi)的像素點(diǎn)對(duì)數(shù)量。

所拍攝的部分實(shí)驗(yàn)原始視覺離焦圖像如圖1所示。

圖1原始視覺離焦圖像

通過本文算法對(duì)此類實(shí)驗(yàn)原始視覺離焦圖像的暗邊緣實(shí)施局部復(fù)原，復(fù)原過程中本文算法增強(qiáng)處理后的圖像效果如圖2所示。

圖2本文算法增強(qiáng)處理圖像效果

由圖2可看出，經(jīng)本文算法對(duì)實(shí)驗(yàn)原始視覺離焦圖像實(shí)施增強(qiáng)處理，增強(qiáng)處理后的圖像轉(zhuǎn)化為二值化灰度圖像，圖像的模糊程度降低，其整體亮度與清晰度均有所提升，圖像內(nèi)的邊緣細(xì)節(jié)信息與原始圖像相比更明顯。

為更加客觀地評(píng)價(jià)本文算法的圖像復(fù)原效果，選取10幅具有不同尺度的原始視覺離焦圖像，運(yùn)用式（9）對(duì)本文算法及各對(duì)比算法所得復(fù)原圖像的各項(xiàng)客觀評(píng)價(jià)指標(biāo)進(jìn)行運(yùn)算。運(yùn)算后各算法復(fù)原圖像的SMD2評(píng)價(jià)指標(biāo)值如表1所示。

各算法復(fù)原圖像的CCPR與NRSS指標(biāo)值如圖3所示。分析表1與圖3可得出，與4個(gè)對(duì)比算法相比，本文算法復(fù)原后的各幅復(fù)原圖像的SMD2、CCPR、NRSS指標(biāo)值均更高，并且各指標(biāo)值較為平穩(wěn)，說明本文算法的復(fù)原性能穩(wěn)定，復(fù)原圖像的對(duì)比度更高，邊緣細(xì)節(jié)信息更完整，結(jié)構(gòu)信息的恢復(fù)程度更高，各復(fù)原圖像的整體質(zhì)量更高。

3結(jié)論

本文針對(duì)視覺離焦圖像暗邊緣局部復(fù)原算法展開研究。所研究算法主要運(yùn)用了NSCT算法，結(jié)合該算法的多尺度和多方向分析能力，將視覺離焦圖像分解為不同尺度的成分，有效捕捉該類圖像中的完整細(xì)節(jié)信息，特別是邊緣和紋理部分；同時(shí)，該算法的多方向性分析性能使得其能夠捕捉到此類圖像中各個(gè)方向的邊緣信息，保證最終的復(fù)原效果。

表1各算法復(fù)原圖像的SMD2指標(biāo)值

圖3各算法復(fù)原圖像的CCPR與NRSS指標(biāo)值

經(jīng)實(shí)驗(yàn)證明，該算法的復(fù)原圖像在對(duì)比度、邊緣細(xì)節(jié)信息以及結(jié)構(gòu)信息等方面復(fù)原效果均更優(yōu)，能夠提升離焦圖像的視覺聚焦效果，獲得更高質(zhì)量的復(fù)原圖像。

參考文獻(xiàn)

[1]陳榮軍，鄭志君，趙慧民，等.一種基于模糊成像機(jī)理的QR碼圖像快速盲復(fù)原方法[J].光子學(xué)報(bào)，2021，50（7）：99-107.

[2]龐忠祥，劉勰，劉桂華，等.并行多特征提取網(wǎng)絡(luò)的紅外圖像增強(qiáng)方法[J].紅外與激光工程，2022，51（8）：297-305.

[3]李云鵬，葛寶臻，田慶國，等.基于立體像對(duì)數(shù)據(jù)集的非對(duì)稱離焦數(shù)據(jù)集構(gòu)建[J].光學(xué)學(xué)報(bào)，2022，42（14）：138-146.

[4]陳瑩，林京君.基于優(yōu)化導(dǎo)向?yàn)V波的模糊圖像特征提取仿真[J].計(jì)算機(jī)仿真，2022，39（1）：158-161.

[5]賀姍，素珍，王彥博，等.基于特征融合的多波段圖像描述生成方法[J].計(jì)算機(jī)工程，2024，50（6）：236-244.

[6]斯捷，肖雄，李涇，等.基于生成對(duì)抗網(wǎng)絡(luò)的多幅離焦圖像超分辨率重建算法[J].計(jì)算機(jī)工程，2021，47（9）：266-273.

[7]YANGXW，ZHANGDH，WANGZM，etal.Super-resolutionreconstruction of terahertz images based on a deep-learningnetwork with a residual channel attention mechanism[J].Appliedoptics，2022，61（12）：3363-3370.

[8]李亞偉，張弘，伍凌帆，等.基于FPGA的實(shí)時(shí)大氣湍流圖像復(fù)原算法及實(shí)現(xiàn)[J].應(yīng)用光學(xué)，2021，42（6）：1017-1024.

[9]萬里勇，汪浩，羅文兵.HSV空間的明度對(duì)數(shù)斜率變換的低照?qǐng)D像增強(qiáng)[J].傳感技術(shù)學(xué)報(bào)，2024，37（7）：1202-1209

[10]盧昂，儲(chǔ)珺，冷璐.基于高低頻特征增強(qiáng)的圖像去霧[J].計(jì)算機(jī)工程，2023，49（8）：174-181.

[11]劉光宇，劉彪，胡嘉鑫，等.基于中性集合與雙邊濾波的NSCT域聲吶圖像去噪[J].湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，50（12）：19-27.

[12]藍(lán)善營，陸安山.基于NSCT的水下圖像清晰化算法[J].微電子學(xué)與計(jì)算機(jī)，2021，38（3）：56-60.

[13]丁貴鵬，陶鋼，李英超，等.基于非下采樣輪廓波變換與引導(dǎo)濾波器的紅外及可見光圖像融合[J].兵工學(xué)報(bào)，2021，42（9）：1911-1922.