基于圖像邊緣保持的反距離加權(quán)插值算法

圣文順， 薛龍花 ， 戴 坤， 徐劉晶

(南京工業(yè)大學(xué)浦江學(xué)院， 南京 211200)

研究表明，人們?cè)谌粘Ｉ钪蝎@取的大量信息有一半以上來源于圖像。與語音和文字相比，圖像所呈現(xiàn)的信息更加直觀清晰，具有更廣泛的實(shí)用價(jià)值，更容易被人們所理解和接受。隨著圖像數(shù)據(jù)使用量的飛速增長(zhǎng)，圖像增強(qiáng)技術(shù)逐漸成為圖像處理領(lǐng)域的研究熱點(diǎn)，被廣泛應(yīng)用于衛(wèi)星遙感、地質(zhì)勘查、軍事雷達(dá)以及人們?nèi)粘z影等。針對(duì)不同領(lǐng)域的應(yīng)用，常見的圖像增強(qiáng)算法主要有最近鄰域插值法、雙線性插值算法、雙三次插值算法等[1]。

上述方法皆為線性方法，實(shí)際上都是采用函數(shù)的低通濾波器是對(duì)圖像做一定的增強(qiáng)和降噪處理，在實(shí)現(xiàn)過程中無法避免會(huì)抑制圖像的高頻部分，經(jīng)過縮放處理后圖像的高頻部分分量會(huì)受到一定程度的影響。此類方法在圖像細(xì)節(jié)的處理方面效果欠佳，往往會(huì)導(dǎo)致插值后的圖像邊緣在一定程度上模糊，所得圖像質(zhì)量不高，一般更適用于光滑圖像或是對(duì)圖像輪廓要求不是非常嚴(yán)格的圖像增強(qiáng)。例如使用頻率較多的雙線性插值算法，由于算法簡(jiǎn)單直觀且計(jì)算量小常被用作設(shè)計(jì)其他高級(jí)插值算法的基礎(chǔ)，但算法的平滑作用會(huì)使圖像的細(xì)節(jié)退化，所得圖像不夠清晰。雙線性插值法在顏色通道間的相關(guān)性方面尚未涉及，因此在插值過程中容易導(dǎo)致圖片顏色失真率較高，從而造成圖像增強(qiáng)效果不佳。線性算法對(duì)于圖像邊緣細(xì)節(jié)處理也不到位，導(dǎo)致圖像的邊緣細(xì)節(jié)處在放大后較為模糊，圖像邊緣往往存在于圖像的對(duì)象邊界位置，是圖像強(qiáng)度變化較大的區(qū)域。圖像邊緣檢測(cè)的準(zhǔn)確性依賴于邊緣位置的準(zhǔn)確判斷與選定。圖像的邊緣信息是影響圖像質(zhì)量的重要因素，同時(shí)邊緣信息也是語義分割、特征識(shí)別、目標(biāo)跟蹤等處理圖像問題的關(guān)鍵，圖像邊緣質(zhì)量的好壞直接影響主圖的視覺效果。

隨著人們對(duì)圖像增強(qiáng)插值算法研究的不斷深入，近幾年出現(xiàn)了幾種比較有代表性的圖像插值算法。尉成勇等[2]將二值化圖像邊緣方向判定方法和雙三次邊緣插值相結(jié)合進(jìn)行圖像增強(qiáng)處理，取得了較好的圖像重建效果，但其邊緣方向判定存在一定的不確定性，對(duì)插值結(jié)果影響較大。胡曉燕[3]使用于梯度正則化邊緣增強(qiáng)策略和基于隨機(jī)森林邊緣增強(qiáng)策略進(jìn)行了圖像超分辨率重建研究，能夠恢復(fù)出更清晰圖像的紋理和邊緣信息，但其主要使用雙三次插值方法進(jìn)行實(shí)現(xiàn)，處理效率有待提升。Khan等[4]提出了一種名為基于方向梯度的邊緣插值算法(directional gradient-based edge interpolation，DGEI)，將輸入圖像事先分割為邊緣區(qū)域和內(nèi)部區(qū)域，對(duì)邊緣區(qū)域使用DGEI算法進(jìn)行精細(xì)處理，對(duì)圖像內(nèi)部區(qū)域采用簡(jiǎn)單的線性插值進(jìn)行處理以降低程序的整體復(fù)雜度。與傳統(tǒng)算法相比，該算法取得了較好的效果，具有一定的參考價(jià)值，但算法對(duì)圖像邊緣區(qū)域和內(nèi)部區(qū)域的處理策略不一致，導(dǎo)致目標(biāo)圖像增強(qiáng)效果有較大的跳躍性。

由于圖像采集與傳輸?shù)冗^程中產(chǎn)生的噪聲、圖像中對(duì)象自身的無效紋理等因素都會(huì)影響圖像邊緣檢測(cè)的準(zhǔn)確性，為了消除干擾項(xiàng)帶來的邊緣檢測(cè)誤差，提出了一種基于邊緣保持的反距離加權(quán)插值算法，首先將圖像分為內(nèi)部區(qū)域和邊緣區(qū)域兩部分，將邊緣區(qū)域采用平滑濾波進(jìn)行圖像邊緣細(xì)節(jié)加強(qiáng)預(yù)處理，有效抑制圖像的邊緣噪聲，對(duì)于圖像的邊緣保持起到了高效的增強(qiáng)作用；再采用反距離加權(quán)插值算法對(duì)圖像的內(nèi)部區(qū)域以及邊緣區(qū)域統(tǒng)一進(jìn)行圖像增強(qiáng)以提高運(yùn)算速率和清晰度，從而使圖像整體增強(qiáng)效果更加明顯，提高插值圖像的視覺效果。

1 研究思路

針對(duì)采用一般插值算法對(duì)圖像進(jìn)行增強(qiáng)處理后邊緣會(huì)變得模糊的問題，首先用傳統(tǒng)的線性插值法對(duì)圖像邊緣進(jìn)行放大，擴(kuò)大圖像邊緣像素點(diǎn)，再利用Canny算子對(duì)圖像進(jìn)行邊緣檢測(cè)[5]，確定圖像邊緣的領(lǐng)域內(nèi)其他像素點(diǎn)的優(yōu)化方向，最后對(duì)需要增強(qiáng)的內(nèi)部區(qū)域像素點(diǎn)進(jìn)行反距離加權(quán)插值[6]，優(yōu)化其灰度梯度，從而提高圖像整體的清晰度。研究思路如圖1所示。

圖1 研究思路流程圖Fig.1 Flow chart of research ideas

2 算法描述

2.1 放大圖像邊緣點(diǎn)

首先采用線性插值法[7]將圖像邊緣放大到一定的倍數(shù)，再利用Canny算子對(duì)放大后的圖像邊緣進(jìn)行初步檢測(cè)，分析圖像每個(gè)邊緣點(diǎn)的3×3領(lǐng)域內(nèi)像素點(diǎn)的分布位置[8]。在每個(gè)邊緣點(diǎn)3×3領(lǐng)域內(nèi)，都存在另外兩個(gè)邊緣點(diǎn)與中心點(diǎn)構(gòu)成一條邊緣線。邊緣線可分為4種類型，共16種情況，圖2為邊緣線放大后的4種典例。

圖2 邊緣線放大后的4種典型例子Fig.2 Four typical examples of enlarged edge line

2.2 確定像素點(diǎn)的優(yōu)化方向

當(dāng)每個(gè)邊緣點(diǎn)3×3領(lǐng)域內(nèi)像素點(diǎn)的分布位置確定后，觀察圖像邊緣像素與相鄰像素的灰度值連續(xù)性以及邊緣線垂線的梯度變化情況，找出梯度突變最強(qiáng)處，以確定像素點(diǎn)的優(yōu)化方向。以圖3為例，找出優(yōu)化方向后，對(duì)該方向像素點(diǎn)進(jìn)行優(yōu)化，如像素點(diǎn)(a+1,b+1)優(yōu)化后的值為[(a+1,b+1)+(a,b)]/2，其中a、b為隨機(jī)選中的一個(gè)像素點(diǎn)(a,b)的橫縱坐標(biāo)值(圖3)，由該點(diǎn)向不同方向均可進(jìn)行優(yōu)化掃描探測(cè)，以確定最終優(yōu)化方向。其他像素點(diǎn)的優(yōu)化也依此方法處理。

圖3 像素點(diǎn)優(yōu)化方向的確定Fig.3 Determination of optimization direction of pixels

2.3 反距離加權(quán)插值法調(diào)節(jié)清晰度

圖4 IDW I-AHE算法Fig.4 IDW I-AHE algorithm

運(yùn)用反距離加權(quán)的插值算法[9]，用被處理像素點(diǎn)的四鄰圖像塊變換函數(shù)來進(jìn)行插值。如圖4所示，虛線間的交點(diǎn)即為子塊中心點(diǎn)，也就是采樣點(diǎn)；每個(gè)采樣點(diǎn)都對(duì)應(yīng)著該子塊里的均衡變換函數(shù)[10]，而圖像其他像素點(diǎn)變換函數(shù)是通過插值得到。為提高算法的適應(yīng)性，引入權(quán)值下降指數(shù)α以及平滑參數(shù)β。其中，α為觀測(cè)點(diǎn)因離預(yù)測(cè)點(diǎn)的距離變遠(yuǎn)而受其影響衰減的指數(shù)速率；β為調(diào)整插值產(chǎn)生的平滑效應(yīng)[11-12]。初始的反距離加權(quán)平均中，一個(gè)觀測(cè)點(diǎn)和相應(yīng)的內(nèi)插點(diǎn)重合時(shí)，即dn=0，且權(quán)值為無窮大，則當(dāng)前插值點(diǎn)應(yīng)被賦予該點(diǎn)實(shí)際測(cè)量值。這種情況下，插值的結(jié)果可能會(huì)出現(xiàn)塊效應(yīng)[13]。為了避免塊效應(yīng)的不良影響，應(yīng)設(shè)置“最小內(nèi)插距離”[14]，并使其成為一類近似插值。此時(shí)，觀測(cè)點(diǎn)離預(yù)測(cè)點(diǎn)的距離為

(1)

對(duì)圖4中某像素點(diǎn)(x,y)，引入函數(shù)dn(x,y)表示其與周圍第n個(gè)采樣點(diǎn)的距離，即與圖像塊的中心點(diǎn)的距離，其中n=1,2,3,4，則可得反距離加權(quán)插值的權(quán)值為

(2)

設(shè)周圍4個(gè)采樣點(diǎn)所對(duì)應(yīng)的圖像塊映射函數(shù)為Tk(·)，則點(diǎn)(x,y)最終得到的映射值為

(3)

式(3)中：I(x,y)為原圖在該點(diǎn)的灰度值；Wk(x,y)為第k個(gè)采樣點(diǎn)關(guān)于其所在的矩形區(qū)域中所有像素點(diǎn)的權(quán)值，k為點(diǎn)的序號(hào)(k=1,2,3,4)，x和y為第k個(gè)采樣點(diǎn)的橫縱坐標(biāo)。

對(duì)圖像中的所有像素點(diǎn)依次執(zhí)行此步驟，即可得到增強(qiáng)的圖像。

2.4 IDW插值計(jì)算

由圖4可得，4個(gè)采樣點(diǎn)確定的矩形區(qū)域與圖像劃分的子塊大小一樣，假設(shè)該區(qū)域大小為m×n。首先，分別計(jì)算每個(gè)像素點(diǎn)的4個(gè)采樣點(diǎn)及其對(duì)應(yīng)的反距離加權(quán)權(quán)值。其次，用4個(gè)矩陣來表示這些權(quán)值，用Wk(k=1,2,3,4)表示第k個(gè)采樣點(diǎn)關(guān)于該矩形區(qū)域所對(duì)應(yīng)的所有像素點(diǎn)的權(quán)值，將其周圍9塊的均衡變換函數(shù)用Tk(k=1,2,3,…)表示。最后運(yùn)用反距離加權(quán)插值對(duì)它們進(jìn)行變換，可得區(qū)域增強(qiáng)后的結(jié)果為

(4)

式(4)中：該區(qū)域的灰度值矩陣用Im×n表示。

由圖4可知，每個(gè)圖像塊的大小相等，4個(gè)權(quán)值Wk(k=1,2,3,4)是完全一樣的，因此只需計(jì)算一次，大大提高了計(jì)算的速度。綜上所述，反距離加權(quán)插值算法步驟如下。

步驟1選取一張圖像作為增強(qiáng)對(duì)象，將該圖像劃分成連續(xù)且大小相等的子區(qū)域，設(shè)每個(gè)小區(qū)域的大小為m×n。

步驟2通過計(jì)算得出每個(gè)小區(qū)域的灰度直方圖并對(duì)直方圖進(jìn)行直方圖均衡化，由此可得灰度變換映射函數(shù)Tk(·)(k=1,2,3,4,…)。

步驟3對(duì)反距離加權(quán)權(quán)值下降指數(shù)α和圓滑參數(shù)β進(jìn)行賦值，并依據(jù)式(2)來計(jì)算Wn(n=1,2,3,4,…)。

步驟4按照式(1)對(duì)圖像中由4個(gè)采樣點(diǎn)確定的子區(qū)域重復(fù)完成步驟3。

2.5 IDW插值算法的參數(shù)選取

根據(jù)反距離加權(quán)(inverse distance weighted，IDW)算法設(shè)定不同的參數(shù)會(huì)產(chǎn)生不同的圖像增強(qiáng)效果，因此通過修改IDW算法的某些參數(shù)，可以調(diào)整合適的增強(qiáng)程度。該操作中具體參數(shù)選取與圖像增強(qiáng)程度關(guān)系如下。

(1)圖像劃分子區(qū)域數(shù)m×n直接影響了每個(gè)像素的等價(jià)相關(guān)區(qū)域，從而間接影響了該像素點(diǎn)經(jīng)過變換后的周圍4個(gè)采樣點(diǎn)所在區(qū)域的并集，因此，均衡效果由等價(jià)相關(guān)區(qū)域的大小決定。等價(jià)相關(guān)區(qū)域越小，圖像細(xì)節(jié)增強(qiáng)效果越好，但計(jì)算相對(duì)復(fù)雜。等價(jià)相關(guān)區(qū)域越大，圖像整體看上去輪廓清晰，但是圖像細(xì)節(jié)放大后顯得較模糊。由此可得，圖像劃分子區(qū)域數(shù)越少，算法局部細(xì)節(jié)增強(qiáng)效果降低但插值速率明顯提高。當(dāng)劃分子區(qū)域越細(xì)越小時(shí)，容易導(dǎo)致局部敏感度增大，影響算法實(shí)現(xiàn)速率。正常像素一般劃分成4×4塊或者6×6塊，即可使像素點(diǎn)的等價(jià)相關(guān)區(qū)域達(dá)到原圖大小的1/16～1/36。

(2)權(quán)值下降指數(shù)α也是影響圖像增強(qiáng)效果的參數(shù)之一，α越大，距離增大，權(quán)值下降速度越快，圖像細(xì)節(jié)信息增強(qiáng)效果就越好。經(jīng)過大量實(shí)驗(yàn)證明，α取3或4得到的增強(qiáng)效果適中。

(3)平滑指數(shù)β直接影響著插值的平滑效果。根據(jù)式(1)可知，當(dāng)β較大時(shí)，Wk(x,y)≈1/4,k=1,2,…,4，圖像中每個(gè)像素點(diǎn)的灰度變換函數(shù)為其周圍采樣點(diǎn)的變換函數(shù)的平均，因此，圖像的增強(qiáng)效果會(huì)更加明顯。從而得出根據(jù)dk(x,y)設(shè)置β的大小，進(jìn)而為圖像塊的大小選擇合適的數(shù)值顯得尤為重要，β的值可隨圖像塊的增大適度變大。根據(jù)大量實(shí)驗(yàn)可得，當(dāng)圖像塊大小為50×50時(shí)，β值取5能夠取得較精準(zhǔn)的增強(qiáng)效果。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集

為驗(yàn)證算法的穩(wěn)定性與優(yōu)越性，選取美國加州伯克利大學(xué)圖像分割數(shù)據(jù)集(Berkeley segmentation data set，BSDS500)[15]進(jìn)行主觀對(duì)比和定量分析。該數(shù)據(jù)集由Computer Vision Group提供，含有200張訓(xùn)練圖像、100張驗(yàn)證圖像和200張測(cè)試圖像，主要用作圖像分割和輪廓檢測(cè)，是邊界檢測(cè)領(lǐng)域普遍被用來評(píng)估算法檢測(cè)準(zhǔn)確率的數(shù)據(jù)集。

3.2 實(shí)驗(yàn)環(huán)境

基于Microsoft Windows 10操作系統(tǒng)構(gòu)建實(shí)驗(yàn)環(huán)境，硬件配置為Intel I7-8700 3.2 GHz CPU、16 GB內(nèi)存，在MATLAB 2016軟件中進(jìn)行基于邊緣保持的圖像增強(qiáng)處理實(shí)驗(yàn)。

3.3 評(píng)價(jià)指標(biāo)

與傳統(tǒng)的全局直方圖均衡(HE)和雙線性插值直方圖均衡(AHE)進(jìn)行對(duì)比[16-17]，主觀評(píng)價(jià)主要基于人眼的視覺感知和圖像對(duì)應(yīng)的直方圖來評(píng)估圖像質(zhì)量；客觀評(píng)價(jià)采用峰值信噪比(peak signal-to-noise ratio， PSNR)[18]、結(jié)構(gòu)相似度(structural similarity index，SSIM)[19]、圖像熵[20]與基于圖像能量譜的圖像質(zhì)量測(cè)量度(image quality measure，IQM)[21]定量評(píng)估圖像的增強(qiáng)效果，值越大則表示圖像增強(qiáng)效果越好，為驗(yàn)證算法的執(zhí)行效率，將算法處理圖像所用耗時(shí)也作為一個(gè)客觀評(píng)價(jià)指標(biāo)進(jìn)行比較。

圖像熵計(jì)算公式為

(5)

式(5)中：M為像素灰度級(jí)別；hp(i)為圖像p的歸一化直方圖在強(qiáng)度i處的值。

IQM的計(jì)算公式為

(6)

式(6)中：M×N為圖像大小；S(θ1)為輸入圖像的方向尺度；ρ、θ為極坐標(biāo)系中的長(zhǎng)度和角度；θ1為實(shí)際輸入圖像的方向尺度；W(ρ)為修正的維納噪聲濾波器；A(Tρ)為人類視覺系統(tǒng)(human visual system，HVS)調(diào)制傳遞函數(shù)，其中T為常量；E(ρ,θ)為亮度歸一化的二維能量譜[22]。

3.4 結(jié)果分析

微機(jī)實(shí)驗(yàn)選取圖5(a)作為原圖，圖像分塊取值M=12、N=12，在基于邊緣保持的反距離插值算法中取值α=6、β=6。圖5(b)～圖5(d)分別對(duì)應(yīng)HE、AHE和本文算法的圖像增強(qiáng)效果。圖6為原圖與各算法進(jìn)行圖像增強(qiáng)后直方圖的對(duì)比。由圖6(b)可知，直方圖分布較稀疏，容易導(dǎo)致低頻灰度級(jí)的丟失。結(jié)合圖5(b)和圖6(b)結(jié)果顯示，圖像中較亮的部分對(duì)比度容易曝光，而相對(duì)較暗的邊緣模糊處未能很好地處理。圖6(c)的直方圖中灰度級(jí)分布較密集，所以圖5(c)和圖6(c)整體增強(qiáng)效果較好，局部區(qū)域的細(xì)節(jié)信息也得到增強(qiáng)，但圖像邊緣區(qū)域過暗。圖6(d)灰度級(jí)分布非常密集，對(duì)局部區(qū)域的信息也處理得更好。因此，圖5(d)和圖6(d)整體增強(qiáng)效果最好，對(duì)圖像邊緣增強(qiáng)效果好，使圖片對(duì)比度達(dá)到適中均衡的狀態(tài)。

比較HE、AHE與本文算法的圖像增強(qiáng)效果定量，結(jié)果如表1所示。根據(jù)表1的定量結(jié)果可知，HE算法由于容易丟失細(xì)節(jié)信息，增強(qiáng)圖像的熵值減少，計(jì)算效率較低；AHE算法與HE算法相比，圖像增強(qiáng)效果得到了顯著提升，但耗時(shí)也明顯增多；而本文算法計(jì)算效率相對(duì)較高，峰值信噪比、結(jié)構(gòu)相似度、增強(qiáng)圖像的IQM值和熵值皆最高。綜上所述，本文算法效率高，增強(qiáng)效果好。

選取BSDS500訓(xùn)練圖庫中編號(hào)為181018的圖像進(jìn)行實(shí)驗(yàn)，增強(qiáng)效果對(duì)比結(jié)果如圖7所示。與原始圖像[圖7(a)]相比，圖7(b)對(duì)應(yīng)的HE算法處理效果曝光度較大，圖7(c)對(duì)應(yīng)的AHE算法處理效果色彩略有失真，只有圖7(d)對(duì)應(yīng)的本文算法與原始圖像最為接近且圖像邊緣增強(qiáng)效果最好。

圖5 3種算法的圖像增強(qiáng)效果對(duì)比Fig.5 Image enhancement effect comparison of three algorithms

圖8為3種算法增強(qiáng)處理后所得圖像與原始圖像對(duì)應(yīng)直方圖的對(duì)比。HE算法對(duì)應(yīng)的圖8(b)直方圖分布較稀疏，說明圖7(b)中低頻灰度級(jí)信號(hào)量丟失較為嚴(yán)重。AHE算法對(duì)應(yīng)的圖8(c)直方圖與本文算法對(duì)應(yīng)的圖8(d)直方圖二者圖形相近，與原圖對(duì)應(yīng)的直方圖8(a)形狀一致，灰度級(jí)分布也較為密集，說明二者整體增強(qiáng)效果較好，在保證局部區(qū)域細(xì)節(jié)信息得到增強(qiáng)的同時(shí)，又確保了圖像邊緣效果的整體均衡。

圖6 原圖及3種算法對(duì)應(yīng)的直方圖Fig.6 Original image and histogram corresponding to three algorithms

表2是對(duì)圖7中3種算法對(duì)應(yīng)圖像增強(qiáng)效果的定量評(píng)價(jià)指標(biāo)比較結(jié)果。原始圖片[圖7(a)]尺寸較圖5(a)略大，算法執(zhí)行耗時(shí)增多。所得實(shí)驗(yàn)數(shù)據(jù)再次表明，所提算法在PSNR、SSIM、IMQ、圖像熵值和算法效率方面均表現(xiàn)最佳。

表1 3種算法的圖像增強(qiáng)效果定量比較

圖7 3種算法的圖像增強(qiáng)效果對(duì)比Fig.7 Image enhancement effect comparison of three algorithms

圖8 原圖、HE、AHE以及本文算法增強(qiáng)后圖像的直方圖Fig.8 Image enhancement effect comparison of three algorithms

表2 3種算法的圖像增強(qiáng)效果定量比較結(jié)果

4 結(jié)論

以圖像邊緣保持為基礎(chǔ)，提出了反距離加權(quán)插值算法。在圖像邊緣區(qū)域，綜合利用各個(gè)像素點(diǎn)周邊的灰度信息，對(duì)圖像邊緣模糊處進(jìn)行放大處理，尋找像素點(diǎn)的優(yōu)化方向，最后利用反距離加權(quán)插值算法對(duì)優(yōu)化方向后的邊緣區(qū)域以及內(nèi)部區(qū)域進(jìn)行插值，縮短相鄰兩個(gè)像素點(diǎn)的距離，增強(qiáng)圖片邊緣的清晰度，從而使圖片達(dá)到更好地視覺效果。與傳統(tǒng)的線性插值法相比，該算法對(duì)圖像整體增強(qiáng)效果好，解決了圖像邊緣模糊與局部過亮過暗的問題。此外，插值函數(shù)權(quán)值的連續(xù)使算法的適用性更好。