彩色圖像矩不變量理論研究進展

劉 戀，郭立強

(1.淮陰師范學院物理與電子電氣工程學院，江蘇淮安 223300；

?

彩色圖像矩不變量理論研究進展

劉 戀1，郭立強2

(1.淮陰師范學院物理與電子電氣工程學院，江蘇淮安 223300；

2.淮陰師范學院計算機科學與技術學院，江蘇淮安 223300)

圖像的矩不變量理論是模式識別領域的研究熱點之一。有關圖像的矩不變量理論多是針對灰度圖像，針對彩色圖像的相關研究是一個值得關注的方向。為了得到更多模式識別領域的研究科研人員對彩色圖像矩不變量理論進行探索和討論，本文對彩色圖像矩不變量理論的最新進展進行綜述，討論該理論需要解決的主要問題以及對未來工作的一些展望，以期對從事圖像矩不變量理論及其應用研究的科研人員有所幫助。

彩色圖像；矩；矩不變量

圖像矩函數的定義及其不變性是圖像處理、計算機視覺與模式識別領域的研究熱點之一.矩不變量集合與其它特征描述不同，它能夠描述圖像的全局特征，并將某一幅圖像與其它圖像的不同之處以其特有的幾何信息表達出來.以仿生學視角來看，圖像的矩不變量表征了在某些變換下人類視覺信息具有不變性，即不同模式之間具有本質差別.從數學理論來講，矩不變量的實質是一類代數不變量.目前，越來越多的科研人員將目光聚焦于圖像矩不變量的這種特征描述能力，并將其廣泛地應用在目標匹配和模式識別中.

1962年，Hu首次提出了有關矩不變量的概念[1]，并開創性地推進了相關工作的開展，他以代數不變量為理論基礎推導出7個相似矩不變量并將其應用于目標識別中.近幾年，在國內外權威期刊發表的有關矩不變量理論的研究文章達百余篇之多，對相關文章進行簡要梳理，無外乎進行如下兩方面的研究：一方面是矩函數的定義，也就是選取或者構造合適的核函數來定義圖像的矩函數；另一方面是矩不變量的構造，如相似不變量、仿射不變量或者其它變換下的不變量，如彈性變換.盡管越來越多的科研人員致力于矩不變量理論的研究，并發表了大量相關論文，但多數都是以灰度圖像為研究對象而非彩色圖像.究其原因在于矢量信號處理理論尚有待健全，目前處理彩色圖像的算法都是采用分通道的形式來處理顏色信息，其缺點在于割裂了圖像顏色信息的完整性，導致了各顏色通道間相關信息的丟失.

本文旨在向讀者介紹彩色圖像矩不變量理論的基本原理及其發展動態，希望引起更多科研人員的關注并進行討論，為相關理論在計算機視覺與模式識別領域的應用研究提供一個新的方法.首先，我們對矩不變量理論的基本原理進行闡述；其次，對國內外有關彩色圖像矩不變量理論的研究進展以及相應的成果進行介紹；最后，提出該理論需要解決的主要問題以及對未來工作的一些展望.

1 矩不變量理論

1.1 矩函數的基本定義

前面我們提及矩不變量理論主要是圍繞圖像矩函數的定義和矩不變量的構造來進行研究的.首先介紹圖像矩函數的定義.在數學理論上，矩函數實質上是一個積分變換(嚴格意義上講是泛函)，將圖像f(x,y)映射到核函數φmn上，對積分結果進行適當的變換來構造相應變換下的不變量.

假設m，n為非負整數，m+n稱為矩的階數，圖像f(x,y)的m+n階矩定義如下：

M[f(x,y)](m,n)=?R2φmn(x,y)f(x,y)dxdy.

(1)

在公式(1)中，選擇不同的核函數，就會得到不同矩函數的定義.例如，當φmn=xmyn時，我們便得到幾何矩[1]的定義；當φmn=(x-iy)m(x-iy)n時，我們便得到復數矩[2]的定義.無論是幾何矩還是復數矩的各階核函數都不是正交的.眾所周知，在線性代數中，線性空間的正交基與其它基底相比有很好的數值性質，如去除了數據冗余性.如果公式(1)中的各階核函數具有正交性，我們會得到正交矩的概念.例如，當φmn為勒讓得多項式時，公式(1)為勒讓得矩[3]；當φmn為切比雪夫多項式時，公式(1)為切比雪夫矩[4].

公式(1)是在直角坐標系中定義的，我們也可以得到極坐標系下矩的定義：

(2)

在公式(2)中，當φmn=rm-1e-inθ時，我們便得到傅里葉-梅林矩[5]的定義；當φmn為澤尼克(正交)多項式時，我們便得到了澤尼克矩[3].在使用極坐標下矩函數時，首先要把圖像從直角坐標變換到極坐標，這會帶來一些插值誤差.但其優點是很明顯的，如在極坐標下，圖像的旋轉可以轉換為平移運算，這一點有利于不變量的構造.

1.2 矩不變量的構造方法

通過矩函數我們把圖像在不同的核函數上進行投影，從不同的角度對圖像進行表達.矩函數是一個積分運算，進一步講是內積積分.不同階數的矩是圖像與相應核函數的相似程度的一個度量.從目標表達的角度來講，還需要對這個度量值進一步處理，也就是構造相應變換下的矩不變量.接下來看一下不變量的定義.

設f(X)是定義在集合A，取值于集合B的圖像，G是作用在A上的變換群.?g∈G，?泛函I，使得如下等式成立：

I[f(g·X)]=Δ(g)I[f(X)].

(3)

其中，Δ(g)是只與變換g有關的量.我們稱I為相對不變量，若Δ(g)≡1，則稱I為絕對不變量.

公式(3)表明，不變量I是定義在容許圖像函數空間(即發生了一系列相似、仿射或者其它變換的所有圖像集合)上的泛函，該泛函對變換群中的任意變換g具有不變性.圖像矩不變量的構造就是尋找特定變換下的泛函I，使得I[f(g·X)]=I[f(X)].在實際應用中，為了適應圖像的不完美分割、噪聲以及離散化數值算法的誤差等其它因素所帶來的影響，對絕對不變量的定義進行弱化：I[f(X)]不應明顯地與I[f(g·X)]不同.我們可以用類間離散度和類內離散度來對所構造的不變量進行評估.

接下來簡要介紹構造不變量的方法.以仿射矩不變量(AMIs)的構造為例，這方面的理論研究最早源于19世紀的代數不變量理論.當然也可以采用其它數學工具.如采用歸一化方法[6]來推導AMIs，其基本思想是把仿射變換分解成一些簡單變換(一般分解為6個基本單參數變換)，對每個單一變化采用歸一化方法來構造不變量.根據不同類型的分解和基本歸一化約束可對該方法進一步進行分類.如文獻[7-12]介紹的6種方法.還有其它方法，如張量方法、圖論方法、求解偏微分方程[13-14](Cayley-Aronhold方程)的方法.

有關矩不變量理論研究的另一條主線就是從實數到復數域，再到四元數域，最后再上升到Clifford代數層面.矩函數在四元數及Clifford代數層面上的推廣，能夠使矩技術很自然地處理多通道圖像(彩色圖像、高光譜圖像)；另外，相關研究也完善了矩不變量理論.

2 彩色圖像矩不變量理論研究進展

前面我們提及的矩不變量理論都針對灰度圖像，相比之下，彩色圖像的矩不變量的相關研究少之又少.對于彩色圖像，通常的做法是把它變為灰度圖像，然后再利用已有的矩不變量理論進行處理.然而這種方法丟失了彩色圖像最重要的顏色信息.另一種方法就是分通道處理，即把彩色圖像的R、G和B通道看成三幅灰度圖像，分別計算每一通道的矩不變量[15].

為了研究彩色圖像各通道間的關系，Mindru等人在圖像通道上使用一定的乘積和冪運算來計算矩，他們定義了度為d=α+β+γ的廣義彩色矩[16]：

(4)

其中，R、G和B是三個顏色通道的圖像函數，α、β和γ為非負整數.使用這些矩來構造仿射不變量，同時構造了仿射變換和對比度線性變化下的組合不變量.然而，這些特征具有較高的冗余性.同時，矩函數的定義中出現了過多的冪運算，這對于亮度值的非線性變換是比較敏感的，會導致誤分類.

2.1 基于四元數的彩色圖像矩不變量

為了把彩色圖像作為一個整體并區別于分通道的方法，我們在四元數架構下系統研究了彩色圖像的矩不變量理論[17-21].南京大學的陳北京等科研人員在四元數架構下也做了很多原創性的工作[22-25].首先，我們簡要介紹一下四元數的概念及其表示方法.

四元數是復數的推廣形式，它具有一個實部和三個虛部.

q=qr+qi·i+qj·j+qk·k.

(5)

其中，三個虛部滿足如下乘法規則：

i2=j2=k2=-1,ij=-ji=k,jk=-kj=i,ki=-ik=j.

(6)

若四元數q的實部為零，稱q為純四元數.四元數的共軛為：

(7)

四元數的范數為：

(8)

四元數的逆為：

(9)

當純四元數q的范數為1，稱q為單位純四元數.設μ為單位純四元數，其歐拉公式為：

eμθ=cosθ+μsinθ.

(10)

對于一幅彩色圖像f(x,y),把它以純四元數的形式進行表示：

f(x,y)=fR(x,y)·i+fG(x,y)·j+fB(x,y)·k.

(11)

其中，fR(x,y)、fG(x,y)和fB(x,y)分別表示彩色圖像的R、G和B三個顏色分量.x和y分別代表像素在圖像矩陣中的行號和列號.這樣，一幅彩色圖像就被表示為一個四元數矩陣.基于四元數的彩色圖像處理就是以這個四元數矩陣為研究對象，相對于傳統的將顏色信息分通道的處理方法，或是將彩色圖像灰度化的處理方法而言，四元數方法保留了彩色圖像信息的完整性，為實際的工程應用提供了一個新的研究方法.

接下來給出我們所定義的四元數矩、四元數傅里葉-梅林矩和四元數徑向矩的概念.設彩色圖像f(x,y)如公式(11)所示，(m+n)階左四元數矩定義如下：

QL(m,n)=?R2(x-μy)m(x+μy)nf(x,y)dxdy.

(12)

右四元數矩定義如下：

QR(m,n)=?R2f(x,y)(x-μy)m(x+μy)ndxdy.

(13)

雙邊四元數矩定義如下：

QT(m,n)=?R2(x-μy)mf(x,y)(x+μy)ndxdy.

(14)

之所以四元數矩有三種定義形式，是因為四元數的乘法不滿足交換律，但它們在描述彩色圖像幾何形變的能力上是一樣的.以左四元數矩為例，我們給出了相似矩不變量：

(15)

有關仿射四元數矩不變量的構造參見文獻[19].在極坐標下，我們給出了左(右)四元數徑向矩的定義：

(16)

(17)

構造了基于四元數徑向矩的相似和仿射矩不變量：

(18)

(19)

在四元數徑向矩的定義中，令k=m-1,l=-n,p=0,q=0,那么四元數徑向矩就退化為在文獻[17]中所定義的四元數傅里葉-梅林矩：

(20)

(21)

若令k=m+n+1,l=n-m,p=0,q=0,那么四元數徑向矩就退化為四元數矩.

國內學者陳北京側重于極坐標下四元數正交矩函數及其不變量的研究[22-25].他在文獻中給出了四元數澤尼克矩[22]的定義，構造了該矩函數的相似不變量，并應用于目標識別中.四元數澤尼克矩定義如下：

(22)

其中，|m|≤n,n-|m|為偶數；Rn，m(r)為澤尼克多項式.由于澤尼克多項式比較復雜，在構造相似矩不變量的過程中涉及一系列推導，相關矩不變量的構造參見文獻[22].

文獻[23]給出了(左)四元數貝塞爾-傅里葉矩的定義：

(23)

陳北京等人在文獻[24]中對幾種四元數架構下的正交矩給出了統一的定義形式：

(24)

其中，由于φn,m(r)取值不同就得到了不同類型的矩函數定義，作者對比分析了四元數旋轉矩、四元數徑向矩、四元數傅里葉-梅林矩、四元數正交傅里葉-梅林矩、四元數澤尼克矩、四元數偽澤尼克矩，給出相應矩函數的相似不變量，并對這幾種矩函數在圖像重建、圖像配準以及人臉識別方面的應用進行對比分析.文獻[24]是對四元數正交矩的一個很好總結.

此外，黃宇等人把四元數矩應用于醫學圖像配準領域[26].王向陽等人提出了四元數徑向調和傅里葉矩[27]的概念并應用于彩色圖像檢索，他們還定義了局部四元數指數矩[28]并應用于彩色圖像數字水印.希臘學者Tsougenis等人分別把四元數徑向切比雪夫矩和四元數徑向矩應用于彩色圖像數字水印方面[29-30].

矩函數的離散化算法也是很重要的研究方向.Karakasis等人針對正交多項式的特點，在四元數層面上系統研究了切比雪夫矩、Krawtchouk矩、對偶哈恩矩、勒讓得矩、正交傅里葉-梅林矩、澤尼克和偽澤尼克矩，分析了這些矩函數的離散化算法，給出了相似不變量[31].應用相應的矩函數，他們實現了彩色圖像重建、彩色目標分類和模版匹配.

2.2 基于Clifford代數的彩色圖像矩不變量

作為四元數的推廣——Clifford代數已逐漸進入科研人員的視線中，它不僅僅是數學家的研究對象，而逐步在數字信號處理、高光譜圖像處理、模式識別等領域嶄露頭角[32].

1878年，W.K.Clifford提出Clifford代數，又名幾何代數.Clifford代數結合了內積和外積兩種運算，是復數、Hamilton的四元數和Grassmann的擴張代數的推廣，能夠進行高維的幾何計算，在數學和物理學上有著廣泛的應用.近年來，Clifford代數已逐漸被工程技術領域的科研人員所重視，在圖像處理、計算機視覺與模式識別等領域得到了初步應用.

對于整數n,[n]={1,2,…,n}，[n]的冪集記為2[n].Clifford代數定義如下：

對于n≥1的整數，2n維代數Clp,q,(p+q=n)定義為由{ei|i=1,2,…,n}生成的結合代數.其中，e0=eφ=1∈R，ei滿足如下乘法規則：

eiej=-ejei,i≠j.

(25)

(26)

Clifford代數的乘法是由2[n]的子集按字典順序形成：

(27)

(28)

上述定義中，由集合{1,e1e2,e1e3,e2e3}生成的空間同構于四元數空間，也就是說，Clifford代數本身是四元數的高維推廣，四元數是一類特殊的Clifford代數[32].

f(x,y)=fR(x,y)·e1+fG(x,y)·e2+fB(x,y)·e3+0·e4.

(29)

假設B是一個雙向量，那么f(x,y)在B上的投影為：

f=f·B·B-1=(f·B+f∧B)·B-1Δf‖B+f⊥B.

(30)

(31)

其中，B是單位雙向量，在該矩函數的基礎上定義了相似矩不變量.

3 未來工作展望及結論

本文給出了矩不變量的基本原理，對現有彩色圖像矩不變量理論進行了簡要綜述.目前這方面的相關研究仍然比較活躍，有許多值得研究的方向.

第一，由四元數正交矩所構造的不變量都是相似不變量，而仿射不變量的構造比較困難.目前還沒有相關文獻報道，這主要是由于一些正交多項式比較復雜造成的.如何構造簡單的正交多項式并以此來實現仿射不變量的構造是一個值得研究的課題.同時，需要注意的是，許多正交多項式的正交性是連續意義上的正交，在離散情況下并不正交，而我們編程必須要對連續的正交多項式進行離散化處理.因此，離散條件下的正交多項式對于不變量的穩定性及算法的有效性無疑是個重要的研究課題.

第二，在Clifford代數層面上矩不變量理論仍需進一步完善.此外，相關理論在圖形、圖像處理中的應用研究仍有許多可挖掘的地方.

第三，無論是四元數還是Clifford代數都不滿足乘法交換律，這一點不利于程序的編寫.可以考慮在乘法具有可交換性質的代數系統上推廣矩不變量理論，比如縮減雙四元數[34]就是一類可交換的四元數.在可交換代數系統上矩函數的定義及其不變量的構造值得深入研究.

第四，一些特殊的圖像形變，如彈性變換(印刷在瓶子上的文字在圖像平面上顯示所表現出來的形變),彈性形變在目標識別中有著很大的實用性，在彈性形變下彩色圖像矩不變量的構造如何是需要進一步探討的問題.

[1]M.K.Hu.Visual pattern recognition by moment invariants[J].IRE Trans.Inf.Theory,1962,8(2):179-187.

[2]Y.S.Abu-Mostafa.Recognitive aspects of moment invariants[J].IEEE Trans.PAMI,1984,6(6):698-706.

[3]M.R.Teague.Image analysis via the general theory of moments[J].J.Opt.Soc.Am,1980,70(8):920-930.

[4]R.Mukundan,S.H.Ong,P.A.Lees.Image analysis by tchebichef moments[J].IEEE Trans.Image Proc.,2001,10(9): 1357-1364.

[5]Y.Sheng,H.H.Arsenault.Experiments on pattern recognition using invariant Fourier-Mellin descriptors[J]. J.Opt.Soc.Am.A,1986,3(6):771-776.

[6]I.Rothe,H.Susse,K.Voss.The method of normalization to determine invariants[J].IEEE Trans.PAMI,1996,18(4): 366-376.

[7]Y.S.Abu-Mostafa,D.Psaltis.Image normalization by complex moments[J].IEEE Trans.PAMI,1985,7(1):46-55.

[8]S.C.Pei,C.N.Lin.Image normalization for pattern recognition[J].Image and Vision Computing.,1995,13(10): 711-723.

[9]T.Suk,J.Flusser.Affine normalization of symmetric objects[C].In Proceedings of the Seventh International Conference on Advanced Concepts for Intelligent Vision Systems Acivs’05,2005:100-107.

[10]D.Shen,H.H.S.Ip.Generalized affine invariant image normalization[J].IEEE Trans.PAMI,1997,19(5):431-440.

[11]J.Sprinzak,M.Werman.Affine point matching[J].Pattern Recognition Letters,1994,15(4):337-339.

[12]J.Heikkil?.Pattern matching with affine moment descriptors[J].Pattern Recognition,2004(37):1825-1834.

[13]T.Suk,J.Flusser.Affine moment invariants generated by graph method[J].Pattern Recognition,2011(44): 2047-2056.

[14]J.Flusser,T.Suk.Pattern recognition by affine moment invariants[J].Pattern Recognition,1993,26(1):167-174.

[15]T.Suk,J.Flusser.Affine moment invariants of color images[C].In Proceedings of 13th International Conference on Computer Analysis of Images and Patterns(CAIP2009),2009:334-341.

[16]F.Mindru,T.Tuytelaars,L.V.Gool,T.Moons.Moment invariants for recognition under changing viewpoint and illumination[J].Computer Vision and Image Understanding,2004,94(1-3):3-27.

[17]L.Guo,M.Zhu.Quaternion Fourier-Mellin moment invariants for color images[J].Pattern Recognition,2011, 44(2):187-195.

[18]劉戀,劉偉寧,郭立強.彩色圖像的四元數徑向矩仿射不變量[J].激光與紅外,2012,42(4):463-467.

[19]朱明,孫繼剛,郭立強.彩色圖像的四元數矩不變量研究[J].中國光學,2011,4(5):497-502.

[20]郭立強.基于四元數的彩色圖像處理算法研究[D].北京:中國科學院研究生院,2011.

[21]L.Guo,M.Dai,M.Zhu.Quaternion moment and its invariants for color object classification[J].Information Sciences,2014,273:132-143.

[22]B.Chen.Quaternion Zernike moments and their invariants for color image analysis and object recognition[J]. Signal Processing,2012,92(2):308-318.

[23]Z.Shao.Quaternion Bessel-Fourier moments and their invariant descriptors for object reconstruction and recognition[J].Pattern Recognition,2014,47(2):603-611.

[24]B.Chen.Color image analysis by quaternion-type moments[J].Journal of Mathematical Imaging and Vision,2015, 51(1):124-144.

[25]陳北京,孫星明,王定成,等.基于彩色圖像四元數表示的彩色人臉識別[J].自動化學報,2012,38(11):1815-1823.

[26]黃宇,華亮,馮浩,等.四元數矩理論的彩色醫學圖像配準[J].光電工程,2013,40(3):102-107.

[27]X.Y.Wang.Invariant quaternion radial harmonic fourier moments for color image retrieval[J].Optics & Laser Technology,2015(66):78-88.

[28]X.Y.Wang.A new robust color image watermarking using local quaternion exponent moments[J].Information Sciences,2014(277):731-754.

[29]E.D.Tsougenis.Color image watermarking via quaternion radial tchebichef moments[C].IEEE International Conference on Imaging Systems and Techniques,2013:101-105.

[30]E.D.Tsougenis.Adaptive color image watermarking by the use of quaternion image moments[J].Expert Systems with Applications,2014(41):6408-6418.

[31]E.G.Karakasis.A unified methodology for computing accurate quaternion color moments and moment invariants[J].IEEE Trans.Image Processing,2014,23(2):596-611.

[32]E.Bayro-Corrochano,G.Scheuermann.Geometric algebra computing in engineering and computer science[M].Springer Press,2010.

[33]J.Mennesson.Color fourier-mellin descriptors for image recognition[J].Pattern Recognition Letters,2014(40): 27-35.

[34]H.D.Schütte,J.Wenzel.Hypercomplex numbers in digital signal processing[C].In proc.IEEE Conf.Symp.Circuits Syst,1990(2):1557-1560.

Research Progress on Moment Invariants for Color Image

LIU Lian1, GUO Li-qiang2

(1.School of Physics and Electronic Electrical Engineering,Huaiyin Normal University, Huai’an Jiangsu 223300,China; 2. School of Computer Sciences and Technology, Huaiyin Normal University, Huai’an Jiangsu 223300,China)

The theory of moment invariants for color image is a new research area in pattern recognition. However, most of the existing theory was related to gray image, only a little paper addressed the color image. In order to draw more attention from research community about pattern recognition, and to push forward the research frontier of color image moment invariants, we give a general progress overview. A discussion about the main problems that should be solved in color image moment invariants and the future work in this area are given. This paper should provide some help for the research community on image moment invariants and its applications.

color image; moments; moment invariants

2016-09-04

國家自然科學基金項目“基于可交換Clifford代數的彩色圖像矩不變量研究”(61203242)；江蘇省自然科學基金項目“可交換Clifford代數神經網絡及其應用”(BK20141253)。

劉 戀(1986- )，女，助理實驗師，碩士，從事圖像處理、目標識別與跟蹤研究。

郭立強(1982- )，男，副教授，博士，從事圖像處理、計算機視覺與模式識別研究。

TP391.4

A

2095-7602(2016)12-0017-07