局部相位量化在模糊圖像識別中的研究進展

劉靖丹,逯 洋,王 淳

(吉林師范大學 數學與計算機學院,吉林 四平 136000)

圖像處理技術是利用計算機處理圖像來進行科學研究的一門新興科學。圖像處理技術[1]的研究內容十分廣泛,包括圖像處理的基礎,圖像處理的研究方法等。圖像處理技術的主要內容之一是圖像識別。圖像識別在圖像采集過程中容易受到干擾(如尺度[2]、光照[3]或噪聲[4]等),使得這項工作具有極大的挑戰性,在其領域中一個較少被研究的性質是模糊[5-6]。環境中運動和大氣湍流、低質量的圖像系統很可能會產生圖像的模糊不清。模糊圖像會使圖像效果惡化,對圖像數據的收集造成障礙。所以,模糊圖像特征辨識的方法有著重大研究價值,已成為有關學者探討的焦點問題而受到了普遍重視。對此,2008年Ville Ojansivu[7]提出了一種用于紋理描述的模糊不敏感紋理分類方法,稱為局部相位量化(LPQ)。該方法已經被證明比LBP算子[8-10]對模糊的容忍度更高。之后Timo Ahonen[11]將此方法引用到模糊人臉識別領域,大大提高了人臉識別效率,同時提高了圖像處理的效率。后來LPQ算法在人臉識別領域中被不斷改進,在局部特征提取方面取得了很好的效果,獲得了很大的成功。LPQ算法也被應用于其他領域,如手勢識別、面部識別和掌紋識別等。因此,有必要對該方法的相關研究成果進行全面的綜述和討論。

本文系統綜述了局部相位量化方法在處理模糊圖像上的研究進展,進一步深入研究局部相位量化并以求為拓展其應用領域奠定基礎。本文從介紹LPQ算子的起源開始,闡述了不同實驗研究的動機、原理、優缺點,揭示了各種方法之間的差異和聯系,最后思考了該方法的發展方向。

1 模糊不變的局部相位量化方法

模糊不變的局部相位量化方法的優勢有以下五點:(1)在處理圖像時不需要加入特征點;(2)不需要對圖像進行分類;(3)不需要新建模型,對已有的舊模型進行訓練,計算結果與模型的性能指標保持一致;(4)可以作為快速處理的對象和模型;(5)在處理過程中具有可擴展性。在LPQ方法中,可以直接在計算機上用LPQ方法對圖像進行分類。

基于二維離散傅里葉變換[12](DFT)的LPQ算子,使用短期傅里葉變換(Short-Term Fourier Transform,STFT)計算像素點局部鄰域內的相位信息。

1.1 離散傅里葉變換(DFT)

在數字圖像處理中,模糊圖像g(x)可以通過原始圖像f(x)和點擴散函數(PSF)卷積構成,其表達式如下:

g(x)=(f*h)(x)

(1)

將其進行傅里葉變換轉變到頻域,則式(1)轉化為:

G(u)=F(u)·H(u)

(2)

其中G(u),F(u)和H(u)分別是g(x)、f(x)和h(x)進行離散傅里葉變換(DFT)后的結果。可以將(2)式的幅值和相部分開,得到如下相位關系表達式:

|G(u)|=|F(u)|·|H(u)|和

∠G(u)=∠F(u)+∠H(u)

(3)

假設模糊點擴散函數h(x)是中心對稱的,即h(x)=h(-x),如果傅里葉變換總是得到實值,那么它的相位只是一個二值函數,如式(4)所示:

對于規則的點擴散函數,使得當所有H(u)≥0時都有:

∠G(u)=∠F(u)

(5)

這一關系就為模糊不變特征提取奠定了理論基礎。

1.2 短期傅里葉變換(STFT)

STFT是由(6)式定義的f(x)的每個像素位置x處的M·M鄰域Nx上計算的,其中Wu是頻率u的二維DFT的基向量,fx是另一個包含來自Nx的所有M2圖像樣本的向量。

可以看出,實現STFT的一種有效方法是對所有u使用二維卷積。

4個頻點u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T通過局部傅立葉系數計算,a表示范圍很小,a=1/M。每個像素位置通過向量表示,如式(7)所示:

Fx=[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]

(7)

傅里葉相位系數可使用各部分的實數和虛數的符號來表達,如式(8)所示。

gj是向量G(x)=[Re(Fx),Im(Fx)]的第j個部分。然后qj對其進行二進制編碼,如式(9)所示。

LPQ(x)表示窗口尺寸為M×M的算法,圖1中是窗口為5×5的LPQ算法實例。

圖1 LPQ算法

2 LPQ算子的研究概況

2.1 針對灰度圖像的LPQ算子及變體

LPQ算法大多針對灰度圖像,研究內容大多是以人臉和紋理圖像為研究對象來進行歸納。不同的實驗研究使用了不同的數據集,包括Outex、YALE、AR和ORL等。

2.2 對單一圖像模糊不敏感紋理分類方面的研究

Ville Ojansivu等人[7]提出了一種用于紋理描述的模糊不敏感紋理分類方法,稱為局部相位量化。其研究重點是模糊不敏感的紋理分類,相比之下,LPQ比LBP對模糊的容忍度更高。Timo Ahonen等人[11]將LPQ算子用于模糊人臉的識別,通過向LPQ添加一個去相關來達到要求。通過對不同區域直方圖的連接,完成人臉的全局描述,提高了算法識別率。朱長水等人[13]提出將局部二值模式和LPQ進行融合的人臉識別方法,具體算法如圖2所示。該方法比較直方圖的相似性,根據最近鄰原則進行識別,提高了算法的魯棒性。

圖2 LBP/LPQ算法

Xiao等人[14]提出局部相位量化加(LPQ+),將LPQ嵌入到Fisher向量(FV)中,利用FV增強模糊圖像識別性能,并且LPQ+直接量化STFT的局部相位。該方法有更強的局部模式表征能力,可以提高模糊圖像的識別性能。Zhu等人[15]對LPQ+進行改進,提出一種判別模糊不敏感的紋理描述符,稱為局部相位量化加加(LPQ++)。該方法是在STFT產生的歸一化模糊不敏感特征映射之間,建立空間信道相互作用以增強描述能力,同時保持對模糊的不敏感。

陳曉文等人[16]提出用高斯拉普拉斯邊緣檢測和局部相位量化增強結合的模糊圖像識別算法MrELPQ和MsLoG(Multi-resolution ELPQ and Multi-scale LoG)。通過正負量化和幅值量化的操作,得到具有互補符號特征的ELPQ_S和幅值特征的ELPQ_M,將特征直方圖進行串聯,得到增強的局部相位量化模式,該算法增強了模糊的魯棒性,并且具有更好的識別性能。

Ojansivu等人是最早專門針對模糊圖像進行研究的,后來的研究者都是以他們的研究為依據不斷改進,以達到更好的效果。這是當時最具代表性和最具影響力的研究成果,也為識別模糊圖像打開了新篇章。Ahonen是首個將LPQ方法應用于人臉識別領域的,研究成果是LPQ算法應用人臉識別領域的開端。他的實驗巧妙地在LPQ上使用去相關來進行改進算法,最后發現LPQ不僅可以很好地處理模糊,而且可以很好地處理現實圖像中的其他干擾,實驗更加驗證了LPQ在識別模糊圖像上的優越性。朱長水基于Ahonen的實驗進行畫面分塊,發現這個技術還存在著一定的局限,需要重復試驗計算以確定最合適的大小來達到較好的識別率。以上實驗都是針對簡單的模糊圖像,遇到復雜的圖像時,只通過LPQ單一方法不容易得出好的結果。Xiao等人創新了人臉識別方法,借助FV在BoW模型中獲得新的模糊圖像,改變LPQ對STFT操作過程,從而獲得更強的局部表征能力。同時針對多種不同數據集進行試驗,做了大量改進工作,實驗結果很好,但主要問題是對不同紋理的辨別能力沒有得到充分利用。Zhu等人發現LPQ+忽略了STFT特征圖中不同頻率點之間的空間和通道相關性,可能導致某些具有內在價值的紋理線索被忽略,所以進行再次改進,過程中發現歸一化STFT系數特征圖之間的通道梯度可以從本質上幫助區分特定圖像中的邊緣和平坦區域,這對于模糊紋理的識別是至關重要的。

2.3 結合旋轉變化和圖像模糊不敏感紋理分類方面的研究

圖像去模糊工作復雜且困難,為預防圖像處理工作受到其他外部因素的影響,Ville Ojansivu等人[17]提出一種新的模糊和旋轉不敏感紋理描述子,稱為旋轉不變局部相位量化(RILPQ)方法,是對模糊不敏感的LPQ紋理描述子進行旋轉不變的擴展。通過估計局部特征方向并計算有向二值描述子,使其在旋轉模式下表現更好。

2.4 結合尺度變化和圖像模糊不敏感紋理分類方面的研究

圖像處理過程容易受到尺度變化的影響,朱長水等人[18]提出尺度不變特征轉換(SIFT)和LPQ結合的人臉圖像識別方法。SIFT算法檢測并獲取所有人臉圖像特征點,統計所有特征點鄰域的LPQ數據并顯示成直方圖序列,該方法是計算特征點鄰域距離比得到的,在尺度、旋轉、明暗等方面存在著一定的魯棒優勢,具有較好的識別效果,能有效降低面部信息的維度。提取的特征點主要集中在眼睛、鼻子和嘴巴上,這些點與面部特征相匹配,可以實現快速識別。以上基于LPQ方法的優缺點及其工作原理,如表1所示。

表1 基于LPQ方法的優缺點及其工作原理

2.5 針對彩色圖像的LPQ算子

上述實驗數據集大多是對灰度圖像進行識別,而現如今獲取到的人臉圖像多為彩色圖像,一些研究者會將彩色圖像轉化為灰度圖像,這也將大大增加工作量,更加費時費力。想要實現符合現代的人臉識別技術,Matteo Pedone等人[19]提出針對處理彩色圖像的LPQ描述符的擴展方法,該方法是利用顏色值的多向量表示得到的,是一種基于克利福德代數的LPQ描述子顏色擴展方法,該方法在模糊和非模糊紋理分類中具有較好的魯棒性。LPQ描述符僅限于灰度圖像,該描述子比灰度描述子和其他顏色紋理描述子具有更高的精度。此外,它的光照不變特性保證了在具有挑戰性場景中的卓越性能,而無需用顏色不變算法預處理紋理。該算法也解決了分類的圖像可能會經歷的輻射失真、噪聲和模糊等原因導致的退化。

3 拓展LPQ方法應用領域

上述內容研究領域單一,依據本身對模糊不敏感的獨特特征,一些學者將此算子拓展到其他領域,擴大了算法的通用性,以下內容對此進行了列舉。

3.1 在掌脈識別中的應用

在手掌靜脈識別系統中,因為人類手掌生理構造特點易產生影像模糊,使得識別精度降低。林森等人[20]提出了基于子區域LPQ魯棒識別問題的方法。通過建立一個LPQ特征提取模型,將掌脈圖像分為幾個子段,提取并集成每個分區的LPQ特征,最后利用卡方距離匹配識別。該方法具有良好的手掌圖像模糊強度,有效提升了手掌靜脈識別系統的性能。

3.2 在人耳識別中的應用

現實中獲得的人耳圖像數據往往具有不同程度的信號退化,最典型的信號衰減類型是模糊和熱噪聲。為改善這一問題,黃冠等人[21]比較人耳圖像識別過程中三種不同的圖像識別算法的影響,分別用到方向梯度直方圖(HOG)、LPQ和 LBP方法進行實驗,經過對比LPQ算法對模糊性有很好的識別能力,LBP算法如圖3所示。

圖3 LBP算法

3.3 在車標識別中的應用

賀敏雪等人[22]提出基于抗模糊特征的車標識別方法,以解決標識圖像上的圖像模糊問題。通過構建標志圖像金字塔模型,利用LPQ算法提取車標圖像的抗紋理和抗邊緣模糊特征,并且使用典型相關分析(CCA)以促進后續的降維和分類。該方法結合兩種抗模糊特征,具有較好的識別效果和較強的魯棒性和抗模糊性。

3.4 在森林火災圖像識別中的應用

為減少森林大火的誤報概率和提升火災報警效率,李巨虎等人[23]提出火焰獨特色彩和紋理特征的火焰識別算法,將LBP和LPQ直方圖特征融合到了分塊中。算法將圖像變換到YCbCr顏色空間,根據LBP與LPQ算法提煉所有疑似火災區的圖像與數據,并且利用支持向量機(SVM)識別火焰紋理。該算法提高了識別率,能成功區分紅葉林與火焰,可以快速預測火災。

3.5 在維吾爾文離線手寫簽名中的應用

為了提高離線手寫簽名識別的精確性,張淑婧等人[24]提出基于紋理特征的維吾爾文離線簽名識別方法。提取多尺度塊LBP和LPQ紋理特征,通過隨機森林(RF)對圖像進行分類識別。該方法對簽名識別具有較好的準確性。針對不同實驗基于LPQ方法的圖像識別效果如表2所示。

表2 不同實驗基于LPQ方法的圖像識別效果

4 結語

通過介紹模糊圖像基于LPQ方法的研究進展情況,可以看出基于LPQ方法的圖像處理是一種有效的方法。可見LPQ算法及其變體在圖像處理、計算機視覺領域提供了一類重要的特征提取方法,并且LPQ算法通用性強,不局限于灰度圖像,甚至在多個領域圖像識別結果中都有著極高識別率。

LPQ方法具有強大的應用價值與廣泛的應用前景,對紋理特征提取過程中解決模糊因素影響的研究方法越來越豐富。因此,在實際操作中研究者應該對基于LPQ的圖像處理方法進行不斷的改進與完善。一方面,可以結合多種影響因素進行紋理特征提取,以獲取更全面、準確的特征信息;另一方面,也可以改進現有的相關方法或者尋找更加合適的模糊度量方法,從而提高算法的精度和魯棒性。這些改進措施可以大幅提升算法的性能,使其在實際應用中表現更加優越。

在研究LPQ這類問題過程中發現,處理模糊圖像也能夠通過深度學習的方法得到解決。關于深度學習方法來解決圖像模糊的問題,后續會進行深入研究并繼續擴展LPQ的應用領域,嘗試對圖像進行分割處理來有效地提取圖像信息,從而能夠更好地解決模糊圖像處理中復雜系統的不確定性的難題。