黃洋



摘 要: 在環境藝術設計中,需要對環境信息缺失部分進行有效修復,提高環境藝術的信息表達能力。提出一種基于塊與塊陣稀疏度匹配的圖像修復技術,并應用在環境藝術設計中。在仿射不變子空間中對采集的環境藝術圖像進行塊匹配,采用模板匹配技術進行圖像破損區域的邊緣像素點提取,以邊緣像素點為信息定位中心,提取環境藝術圖像破損區域的邊緣輪廓,根據邊緣輪廓的像素點分布陣列的稀疏度差異性進行塊匹配,在最佳修復塊區域內進行環境藝術圖像的紋理信息復原,提高環境藝術的鑒別和分辨能力。仿真結果表明,采用該方法進行圖像修復能有效修復環境藝術圖像的缺失部分,避免邊緣模糊化,輸出圖像的信息飽含度較高,說明環境藝術的表達能力較強,在環境藝術設計中具有很好的應用價值。
關鍵詞: 圖像修復; 環境藝術設計; 稀疏度; 塊匹配; 像素; 邊緣輪廓
中圖分類號: TN911.73?34; TP391 文獻標識碼: A 文章編號: 1004?373X(2018)11?0050?05
Application of image restoration technology in environmental art design
HUANG Yang
(Aba Teachers University, Wenchuan 623002, China)
Abstract: In order to restore the missing environmental information in environmental art design effectively, and improve the information expression ability of environmental art, an image restoration technology based on block and block matrix sparsity matching is put forward, and applied to the environmental art design. The block matching is performed for the acquired environmental art image in the affine invariant subspace. The template matching technology is used to extract the edge pixel points of the image damaged area. The edge pixel point is taken as the information positioning center to extract the edge contour of image damaged area of environmental art. According to the sparsity difference of pixel points distribution array of the edge contour, the block matching is performed for the edge contour. The texture information of environmental art image in the best restiration area is restored to improve the distinguishing and identification abilities of environmental art. The simulation results show that the method used for image restoration can restore the missing section of the environment art image effectively, avoid the edge fuzzification, and has high information content of the output image, which indicates that the method has strong expressive ability of the environment art and high application value in the environment art design.
Keywords: image restoration; environmental art design; sparsity; block matching; pixel; edge contour
環境設計是一門藝術,始于20世紀80年代末,環境設計也稱為環境藝術設計,它是通過一定的組織、圍合手段進行建筑物結構、綠化、燈光、室內空間構造以及家居飾物的布置和雕塑等的配置,進行藝術表達的一種方式,使建筑物的室內外空間更加具有美感。采用圖像圖形處理技術進行環境藝術設計,能提高環境藝術設計的智能性和實時性,相關的設計方法研究具有廣闊的應用前景[1]。
在環境藝術設計中,信息采集的缺失和人們的視覺差異性容易導致環境信息的丟失,因此,需要進行環境信息修復和補缺,提高環境藝術設計中的圖像表達能力,對于環境設計中的信息丟失區域,可以通過信息完好區域的先驗知識進行圖像填充和修復,保障環境設計中的信息表達準確性。因此,研究基于圖像修復的環境藝術設計方法,在實現環境藝術智能設計方面具有重要意義,相關的圖像修復方法研究受到人們的極大重視[2]。當前,對環境藝術設計中的圖像修復方法主要利用圖像中完好區域的有效信息進行環境缺失區域的信息填充方法,結合邊緣輪廓特征提取方法進行圖像缺失區域的輪廓檢測,取得了較好的圖像修復效果。根據上述原理[3],相關文獻進行了圖像修復算法研究,取得了一定的成果。其中,文獻[4]中提出一種基于偏微分方程原理(Partial Differential Equation,PDE)的圖像修復方法,采用偏微分方程進行圖像信息缺失區域的梯度域表征,采用結構信息復原方法實現對環境藝術圖像的修復,在環境空間區域設計中具有很好的應用價值,但該修復方法是對紋理缺失區域的線性相加,對大規模非線性圖像修復的有效性不好;文獻[5]中提出一種基于梯度和梯度的對數匹配的圖像修復方法,建立圖像紋理傳導區域的動力學模型,實現對信息破損區域的塊稀疏度匹配,結合樣本庫的邊緣輪廓特征進行模板特征匹配,取得了較好的修復效果,但該方法對稍大的破損面積修復時,容易出現虛假邊緣;文獻[6]中提出一種基于結構傳播模型的環境藝術特征修復方法,選擇合適的模板尺寸確定待修復圖像的視覺質量和面積,通過子空間變換進行圖像破損點檢測,實現圖像的紋理合成與結構信息傳播,在環境藝術設計中具有很好的應用性,但該修復方法不能有效地估計出待修復點的光澤強度和邊緣細節。
針對上述問題,本文提出一種基于塊與塊陣稀疏度匹配的圖像修復技術,并應用在環境藝術設計中。首先在仿射不變子空間中對采集的環境藝術圖像進行塊匹配,提取邊緣像素點,構造待修復部位的邊緣輪廓,根據邊緣輪廓的像素點分布陣列的稀疏度差異進行塊匹配。然后進行紋理信息復原,提高環境藝術的鑒別和分辨能力。最后進行仿真實驗,得出有效性結論,展示了本文方法在提高圖像修復能力方面的優越性。
為了實現對環境藝術設計中的圖像修復,首先需要采用圖像傳感信息搜集方法進行圖像采集,圖像采集分為如下幾個步驟:首先以邊緣像素點為中心搜集環境藝術圖像邊緣輪廓中心,以邊緣中心像素點[p]為中心得到環境藝術設計中圖像待修復區域的塊位[Ψp,]藝術設計的信息表達的置信度和數據項為:
[C(p)=x∈Φ?ΨpI(x)Ψp] (1)
[D(p)=?I⊥p×np×cosαM] (2)
式中:[x]表示在待修復塊[Ψp]與環境藝術設計的信息表達區域[Φ]交集處的像素點,初始化已知信息的像素點[x]的置信度[I(x)=1,]待修復塊[Ψp]的大小為[s×s,]若點[x]是未知信息的像素點,得到邊緣像素輪廓特征的置信度為[I(x)=0;][Ψp]表示[Ψp]塊內總的像素點個數;[M]為待修復塊中像素點的歸一化系數,一般設置為255。
然后假定待修復圖像的尺寸為[m×n,]計算環境藝術設計中圖像修復塊[Ψp]的優先級系數[P(p)]為:
[P(p)=C(p)×D(p)] (3)
顯然,[Ψp]的修復關聯系數[P(p)]由[C(p)]和[D(p)]的平均互信息量決定,根據復塊[Ψp]的模板大小確定環境藝術設計中的修復區域大小,得到待修復塊的優先級判定過程如圖1所示。
根據圖1所示的優先級判定過程確定修補塊[Ψp]的優先級,進行修復區域的邊緣像素點尋跡跟蹤和信息融合,直至所有像素點遍歷完為止,完成環境藝術設計中的圖像采集。
在進行環境藝術設計中的圖像采集基礎上,在仿射不變子空間中對采集的環境藝術圖像進行塊匹配[7],在環境藝術設計圖像的信息完整區域[Φ]內確定待修補的邊緣子空間塊[Ψp]的互信息模板為[Ψ′p],以及用[Ψ′p]來替代[Ψp]進行自相關匹配操作,得到環境藝術設計圖像中具體的[Ψ′p]在仿射不變區域中的樣本塊[Ψq]([Ψq?Φ]),用樣本模板覆蓋圖片后進行像素加權,并進行最佳匹配塊的搜尋查找,確保結構信息較強的待修復塊[Ψ′p]塊滿足:
[Ψ′p=argminΨq?Φd(Ψp,Ψq)] (4)
式中:[Ψq]表示完好區域中搜索的樣本塊;[d(Ψp,Ψq)]表示待修補塊[Ψp]中已知像素點樣本塊[Ψq]中的特征差異值。根據修復圖像對應像素點的方差和(Sum of Square Differences)進行均勻遍歷[8],搜索出最佳匹配塊[Ψ′p],當遍歷所有的樣本塊后計算像素特征強度最小的覆蓋區域值[Ψq]就是此時的最佳匹配塊[Ψ′p,]如果原先未知信息樣本塊[Ψ″p]不是[Ψp]最佳匹配塊[Ψ′p,]繼續遍歷[O(nma2+9s2)]次,其中粗略搜索遍歷的次數為[O(mna2),]得到圖像破損區域塊匹配的示意圖如圖2所示。
圖2中,待修復塊圖像的細節特征量[Ψp]滿足如下傳導近似值:
[I(xi+Δx,yi+Δy)≈I(xi,yi)+Ix(xi,yi)Iy(xi,yi)ΔxΔy] (5)
式中[x,y∈(0,1,2,…,L-1),]表示環境藝術設計中的圖像空間分布梯度值。進一步更新修復后點[y]的置信度,得到邊緣分割的狀態中心量為:
[I(y)=C(p),?y∈Ψp?Ω] (6)
通過式(6)可知,待修復的環境藝術圖像的中心塊被修復后,影響接下來待修復塊的像素點[y]的置信度[I(y)],以步長[a]進行塊匹配,更新步長為[Ψp,]邊緣輪廓區域檢測的置信度為[C(p)]([0
式中[at=log1βt],表示圖像修復的模板匹配閾值系數。對原先[Ψp]的置信度[C(p)]賦值,得到環境藝術設計過程中圖像修復的中心特征量為[x1,x2,…,xN。]為了減小亮度的變化對環境藝術設計圖像修復過程中邊緣擾動的影響,在仿射不變特征子空間中,采用邊緣線性特征分割方法進行環境藝術設計圖像分割[10],得到圖像分割線,標記為[Hx=-jωxω]和[Hy=-jωyω,]其中[ω=(ωx,ωy)]表示優先級系數,在[N×N]塊區域內,利用邊緣像素點的中心區域誤差進行量化特征分析,令[fx]和[fy]為梯度方向上環境藝術設計修復圖像在幾何軸[x]方向和[y]方向的邊緣輪廓特征量,利用優先級匹配方法進行主分量加權,根據優先級系數確定未知像素點的梯度信息:
[?f=GxGy=?f?x?f?y] (8)
按照樣本模板尺寸求得環境藝術中待修復圖像的灰度信息與梯度信息,并進行自相關特征匹配和信息融合處理,通過[Ψ″q]的位置來確定梯度向量的模為:
[GA=G2x(A)+G2y(A)] (9)
式中[Gx(A)]和[Gy(A)]是原先未知信息的像素點[A]的梯度分量。通過[Ψ″q]的位置來確定最大邊緣像素點的分布誤差,可得到樣本模板尺寸為:
[EyeMapC(i,j)=floor0.2×255-f(x,y)+0.8*GA(i,j)] (10)
在最佳匹配塊區域確定的基礎上,以步長1進行邊緣輪廓搜索,進行修復塊的區域定位。
在提取環境藝術圖像破損區域的邊緣輪廓的基礎上,根據邊緣輪廓的像素點分布陣列的稀疏度差異性進行塊匹配,將每張環境藝術設計圖像沿梯度分量分割成大小相等的塊結構,圖像破損區域的邊緣輪廓像素點用[τs(tr)]表示,得到環境藝術設計圖像的最佳匹配塊區域分布為:
[τk(ti):τk≥4,i=2,…,τk-2;k=1,2,…,K] (11)
在仿射區域進行環境藝術設計圖像修復后圖像的視覺效果評判,在旋轉坐標下尋找新邊緣像素點,用平面二次曲線擬合環境藝術設計圖像的區域輪廓曲線[11]為:
[F(B,X)=B?X=ax2+bxy+cy2+dx+ey+f] (12)
式中:[B=[a,b,c,d,e,f]T;][X=[x2,xy,y2,x,y,1]T]。
采用未知信息像素點局部二值化分解方法進行環境藝術設計圖像的面部特征提取和局部特征分解,表示為:
[h(x,y)=12πσβexp-12x2σ2+y2β2?exp2πjUx+Vy] (13)
式中:[x=xcos?+ysin?;][y=-xsin?+ycos?;][x]軸與[y]軸的標準方差分別為[σ]和[β;][Ux]與[Vy]是搜索[Ψp]最佳匹配塊的橫向和徑向特征分量;角度[?]為最佳修復塊區域內圖像區域投影的方位角。根據圖像修復過程中的優先級系數確定圖像樣本的標準誤差為[θ=tan-1(VU)],初始化權重,當[yi=1]時,[w1,i=12m,]根據邊緣輪廓像素點分布陣列的稀疏度差異性進行塊匹配,得到在最佳修復塊區域內進行環境藝術圖像的紋理信息提取結果為:
[xy1=1000δ*sinαsin(α-θ)n2cosα-δ*nose*sinαsin(α-θ)001xy1] (14)
計算在最佳修復塊區域內進行環境藝術圖像的紋理信息灰度值,得到未知像素點置信度更新的迭代矩陣為:
[xy1=1000δ*sinαsin(α+θ)n2cosα-δ*nose*sinαsin(α+θ)001xy1] (15)
式中:[θ]為原先未知信息的像素點[y]的置信度;[α]為優先級系數;[nose]代表匹配塊粗略搜索的步長;[δ]為松弛因子。
綜上處理在最佳修復塊區域內進行環境藝術圖像的紋理信息復原,提高環境藝術的鑒別和分辨能力。實現過程簡要描述如下:
1) 讀取待修復的環境藝術設計圖像,確定待修復區域[Ω,]破損邊緣[?Ω]以及環境藝術設計的特征分布像素點;
2) 根據已修復完[t]塊待修復塊中心的特征量確定待修復塊的優先級系數,提取環境藝術圖像破損區域的邊緣輪廓,確定待修復塊[Ψp];
3) 在待修復塊[Ψp]確定后,在最佳修復塊區域內進行環境藝術圖像的紋理信息復原,其中迭代步長為[a,]在最佳修復塊區域內的樣本塊[Ψ″q,]根據待修復塊優先級判定式來確定最佳匹配塊區域;
4) 基于快速搜索方法得到最佳匹配塊區域,確定修復區域的邊緣輪廓,通過以步長1進行局部搜索,得到修復后的圖像復原區域[Ψ′p]之后用[Ψ′p]來修復[Ψp];迭代直到滿足收斂條件,完成環境藝術設計中的圖像修復。
為了測試本文方法在實現圖像修復和環境藝術設計中的應用性能,進行實驗,實驗的硬件測試平臺為:CPU為Intel的E8400(四核),GPU為NVIDIA GeForce GTX280,Core i5 8th Gen,仿真軟件為Matlab 7,圖像修復中的迭代步長取固定值為16,塊分配的大小為12×12,環境藝術設計中圖像采集的分辨率為10 000×10 000, 修復區域矩形塊的邊長為2.4,圖像采集的曝光時間為12 s,光圈大小設定為F14,像素灰度失真的強度系數為[ε]=0.25,修復區域的邊緣輪廓長度為104,圖像修復中橫向分量和徑向分量的標準方差[σ]和[β]分別為0.23和0.18。根據上述仿真環境和參量設定,進行環境藝術設計中的圖像修復仿真。以橋梁環境藝術設計為例,得到原始圖像采集如圖3所示。
分析圖3的原始圖像可見,由于光學傳感設計進行圖像采集出現了模糊邊緣和噪點,導致圖像成像效果不好,環境藝術設計的效果不佳,需要進行圖像修復處理,提高橋梁以及燈光環境設計的成像效果。采用本文方法進行圖像修復,提取邊緣像素點和邊緣輪廓,在最佳修復塊區域內進行環境藝術圖像的紋理信息復原,分別在暖光和冷光背景下實現圖像修復,得到環境藝術設計效果圖如圖4和圖5所示。
分析圖4和圖5的設計效果圖得知,無論是在冷光還是暖光背景中進行圖像修復,都能有效恢復圖像的信息缺失區域,實現圖像復原,避免邊緣模糊化,提高了環境藝術設計的鑒別和分辨能力。
本文提出基于塊與塊陣稀疏度匹配的圖像修復技術,并應用在環境藝術設計中,進行環境藝術設計中的圖像采集和圖像塊匹配預處理,根據修復圖像對應像素點的方差和進行圖像像素特征的均勻遍歷,采用未知信息像素點局部二值化分解方法實現環境藝術設計圖像的面部特征提取和局部特征分解,在仿射區域進行環境藝術設計圖像修復后圖像的視覺效果評判。在冷光和暖光背景下進行圖像修復和橋梁環境藝術設計仿真分析,仿真結果表明,采用本文方法進行圖像修復的視覺表達效果較好,修復質量較高,圖像信息飽含度較高,環境藝術設計效果更好。
參考文獻
[1] 郭丙華,岑志松.小波去噪和神經網絡相融合的超分辨率圖像重建[J].激光雜志,2016,37(2):61?64.
GUO Binghua, CEN Zhisong. Super resolution image reconstruction based on wavelet denoising and neural network [J]. Laser journal, 2016, 37(2): 61?64.
[2] 毛珩,TAO Louis,陳良怡.自適應光學技術在深層動態熒光顯微成像中的應用和發展[J].紅外與激光工程,2016,45(6):9?15.
MAO Heng, TAO Louis, CHEN Liangyi. Application and development of adaptive optics to three?dimensional in vivo deep tissue fluorescent microscopy [J]. Infrared and laser enginee?ring, 2016, 45(6): 9?15.
[3] 潘宗序,禹晶,胡少興,等.基于多尺度結構自相似性的單幅圖像超分辨率算法[J].自動化學報,2014,40(4):594?603.
PAN Zongxu, YU Jing, HU Shaoxing, et al. Single image super resolution based on multi?scale structural self?similarity [J]. Acta automatica sinica, 2014, 40(4): 594?603.
[4] MEHER S K. Recursive and noise?exclusive fuzzy switching median filter for impulse noise reduction [J]. Engineering applications of artificial intelligence, 2014, 30(3): 145?154.
[5] HSIEH M H, CHENG F C, SHIE M C, et al. Fast and efficient median filter for removing 1?99% levels of salt?and?pepper noise in images [J]. Engineering applications of artificial intelligence, 2013, 26(4): 1333?1338.
[6] 譚海鵬,曾炫杰,牛四杰,等.基于正則化約束的遙感圖像多尺度去模糊[J].中國圖象圖形學報,2015,20(3):386?394.
TAN Haipeng, ZENG Xuanjie, NIU Sijie, et al. Remote sen?sing image multi?scale deblurring based on regularization constraint [J]. Journal of image and graphics, 2015, 20(3): 386?394.
[7] ZHANG Z, GANESH A, LIANG X, et al. TILT: transform invariant low?rank textures [J]. International journal of computer vision, 2012, 99(1): 1?24.
[8] 黃光亞,曾水玲,張書真,等.基于三維軸距的圖像去噪算法[J].電子與信息學報,2015,37(3):552?559.
HUANG Guangya, ZENG Shuiling, ZHANG Shuzhen, et al. Image denosie algorithm based on three?dimensional axis distance [J]. Journal of electronics & information technology, 2015, 37(3): 552?559.
[9] CHEN Y C, LIN Z H, ZHAO X, et al. Deep learning?based classification of hyperspectral data [J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2017, 7(6): 2094?2107.
[10] WAN L J, TANG K, LI M Z, et al. Collaborative active and semisupervised learning for hyperspectral remote sensing image classification [J]. IEEE transactions on geoscience and remote sensing, 2015, 53(5): 2384?2396.
[11] 李卓,劉潔瑜,李輝,等.基于ORB?LATCH的特征檢測與描述算法[J].計算機應用,2017,37(6):1759?1762.
LI Zhuo, LIU Jieyu, LI Hui, et al. Feature detection and description algorithm based on ORB?LATCH [J]. Journal of computer applications, 2017, 37(6): 1759?1762.