人臉超分辨率重建中投影空間的選擇方法

張哲, 齊春, 張釗強, 陳曉璇

(1.西安交通大學電子與信息工程學院, 710049, 西安; 2.西北大學信息科學與技術學院, 710049, 西安)

人臉超分辨率重建是一種利用單幅或多幅低分辨率人臉圖像重建高分辨率人臉圖像的方法[1],由于其在計算機視覺、民用安防等多個領域[2-4]的重要作用,近年受到了廣大科研工作者的關注。由于人臉固有特征較多,相似程度高,因此基于學習的超分辨率重建方法在人臉超分辨率重建中得到了廣泛的應用,這其中使用最為廣泛的,當屬鄰域嵌入的方法。鄰域嵌入的方法首先由文獻[5]提出,該方法的理論基礎是流形假設。流形假設指出,高低分辨率圖像在不同的特征空間中擁有相似的局部流形結構。也就是說,如果該假設成立,低分辨率圖像的重建權值就可以直接用來重建對應的高分辨率圖像,以獲得人臉超分辨率重建結果,但文獻[6-16]指出,由于高低分辨率圖像間一對多的關系,這種流形假設并不一定成立。為了克服這個問題,研究者嘗試將原始高低分辨率圖像投影到一致性更強、更符合流形假設的空間進行鄰域嵌入。文獻[10]利用高低分辨率圖像對投影后相距較近作為約束條件來計算線性投影矩陣并投影;文獻[11]利用偏最小二乘(PLS)算法獲取線性投影矩陣,從而將高低分辨率圖像投影到新的線性空間;文獻[12-13]通過引入非線性核函數,將原始圖像投影到更高維度的空間進行鄰域嵌入;文獻[14]在非線性函數投影的基礎上,增加了額外的投影矩陣,并通過以上兩者,將原始圖像投影到新的高維空間。另外,文獻[17-19]還利用典型相關分析(CCA)等方法從原始圖像中提取特征,進而在特征空間中進行鄰域嵌入。

雖然以往有各種方法將圖像映射到更為一致的投影空間來滿足流形假設,進而獲得更好的圖像重建效果,但是,不同的投影空間該如何選擇呢?針對上述問題,本文通過引入空間一致性,給出了一種投影空間的選擇方法。該方法可以在人臉超分辨率重建前對投影空間進行篩選,為獲得更好的人臉超分辨率重建結果奠定基礎。另外,本文還對各大類投影空間的優缺點進行了分析,指出了目前投影算法存在的一些問題。

1 本文方法

對于基于流形假設的投影空間人臉超分辨率重建算法來說,隨著投影空間一致性的增強,算法最終的重建結果也會越來越好[10-16]。圖1為鄰域嵌入示意圖[5-6],圖2為投影空間人臉超分辨率重建算法模型[5-19],由圖1、圖2可以看出,投影空間人臉超分辨率重建算法的結果主要由兩大因素決定:高低分辨率近鄰塊對(Hi與Li)的選擇,以及將低分辨率圖像塊重建權值(ωL)直接作為高分辨率圖像塊重建權值(ωH)所帶來的影響。如果所選高低分辨率近鄰塊對中的高分辨率近鄰塊(Hi)恰好能利用低分辨率圖像塊重建權值(ωL)得到高分辨率圖像塊(yi),那么就能夠完全重建出高分辨率測試圖像。

圖2 投影空間人臉超分辨率重建算法模型

由于高分辨率測試樣本塊的不可知性,合適的高分辨率近鄰塊難以被直接選取。目前大多數算法使用2-范數在低分辨率圖像空間進行近鄰選取,然后將所選低分辨率圖像塊對應的高分辨率圖像塊作為近鄰塊[5-11],因此對高低分辨率近鄰塊對的選擇不會在各投影算法間產生較大影響;另一方面,由于低分辨率圖像與高分辨率圖像間一對多的關系,流形假設并不一定成立,將低分辨率圖像塊重建權值直接作為高分辨率圖像塊重建權值會帶來一定的誤差,而一致性強的投影空間將會獲得更相關的高低分辨率圖像塊重建權值,因此可以通過高低分辨率圖像塊重建權值的相關性來評估投影空間的一致性。

1.1 選取高低分辨率圖像塊

考慮到人臉對應位置塊的相似性,本文在獲取測試與訓練人臉圖像之后,將其按一定規律切分成圖像塊,然后對于低分辨率圖像,隨機選取p幅測試圖像q個位置的圖像塊作為中心塊,并將相應位置的部分訓練圖像塊作為近鄰塊。對于高分辨率圖像也做同樣處理。

1.2 獲取高低分辨率圖像塊重建權值

隨著投影算法的不同,獲取高低分辨率圖像塊重建權值的方式也有所區別。此處將以低分辨率圖像塊為例給出不同投影的重建權值計算方法,高分辨率圖像塊的重建權值計算方法同理可得。另外,為了方便比較,本文從投影矩陣是否為單位陣以及投影方式是否為線性這兩方面,將投影算法及其對應的投影空間分為4大類,并將各類算法與其對應的權值獲取方式列舉如下。

根據拉格朗日乘數法,可得[5]

式中:Q=(xi·1T-Li)T(xi·1T-Li),1表示元素全為1的列向量。

(2)線性一般投影。線性一般投影即投影矩陣為一般矩陣P的線性投影算法,采用這種投影方法的有文獻[6,10-11]等。為了保證投影后的反投影不影響算法最終結果,一般約束PP-1=I。線性一般投影權值優化函數為

根據拉格朗日乘數法,可得

式中:Q=(xi·1T-Li)TPTP(xi·1T-Li)。

另外,投影矩陣P的獲取將根據算法的不同而有所區別。為方便比較,本文實驗部分采用文獻[10]中所述方法獲取線性投影矩陣P。

本研究以從環境中分離得到的菌株 Y17作為出發菌株，對其進行反復多次ARTP等離子誘變，利用氯化鉀敏感篩選得到核酸含量提高的突變菌株Y17aM3，然后對突變菌株進行生理生化特性分析，并進行發酵培養條件優化及傳代穩定性分析。

(3)非線性單位投影。非線性單位投影即投影矩陣為單位陣I的非線性投影算法,利用這種投影空間的文獻有[12-13]等。非線性單位投影權值優化函數為

根據拉格朗日乘數法,可得

式中:Q=(Φ(Xi)-Φ(Li))T(Φ(Xi)-Φ(Li))=KXiXi-KXiLi-KLiXi+KLiLi,其中Xi=xi·1T,Φ(·)為非線性映射矩陣,Φ:Rd→RF(d∈F),KXiLi為核矩陣,kx,y為核函數,其計算式如下

本文實驗部分采用高斯核化方法,其中σ=1。

(4)非線性一般投影。非線性一般投影即投影矩陣為一般矩陣P的非線性投影算法,文獻[14]等使用這種方法進行空間投影,非線性一般投影權值優化函數為

根據拉格朗日乘數法,可得

式中:Q=(Φ(Xi)-Φ(Li))TPTP(Φ(Xi)-Φ(Li))。

另外,由于上式非線性投影向量的內積之間存在投影矩陣P,因此并不能直接采用非線性單位投影中的核矩陣方法進行處理,而需要通過變量代換進行計算,其具體實現過程請參考文獻[14]。

1.3 相關性度量與分析

兩向量間的相關性通常有3種衡量方法:歐氏距離、相關系數及余弦相似度。對于重建權值的相關性度量來說,歐氏距離并不能體現出兩權值間夾角信息,相關系數并不能區分歸一化與非歸一化權值之間的區別。因此,本文選用既考慮到夾角問題、又對權值歸一化敏感的余弦相似度進行相關性度量。對于測試高分辨率圖像塊重建權值ωH,與對應測試低分辨率圖像塊重建權值ωL,其余弦相似度scos計算公式如下。

當高低分辨率圖像塊重建權值均歸一化后,其余弦相似度將與相關系數計算結果相同。余弦相似度的均值計算公式如下

最后,算法對第p幅測試圖像第q個位置的圖像塊所獲得的n個余弦相似度Scos進行直方圖統計。

2 實驗結果與分析

2.1 各投影空間一致性分析

為了說明本文算法的正確性,分別從線性單位投影、線性一般投影、非線性單位投影、非線性一般投影方法中,各選出一種代表性方法對其投影空間一致性進行實驗驗證,分別為文獻[5,10,13-14]方法。

本文的實驗圖像均從CAS數據庫[20]中獲取,實驗參數設置如下:在CAS數據庫810幅圖像中,隨機選取115幅圖像作為測試樣本,其余作為訓練樣本。圖像放大倍數為4,低分辨率圖像塊大小為4×4像素,低分辨率圖像塊間重疊像素數為2,近鄰塊個數為50,高斯模糊算子方差為0.85,實驗隨機選取48 000個測試塊進行測試。另外,下文所列各投影空間余弦相似度統計圖(圖3～圖5)均是在10次獨立隨機選取的48 000個測試樣本上進行實驗后求均值獲得的。

各投影空間的余弦相似度統計圖如圖3所示,其對應算法的超分辨率重建結果如表1所示。由于實驗所選算法在投影空間超分辨率重建后,進行了其他后處理,為避免誤解,本文將分別給出投影部分峰值信噪比(RPSN)結果與最終RPSN結果,其中各投影空間對應的余弦相似度曲線及余弦相似度均值均對應投影部分RPSN結果。另外,以上結果均為115副測試樣本進行對應處理后的RPSN均值,為方便比較,各投影空間余弦相似度均值在表2中一并列出。

圖3 各投影空間余弦相似度統計圖

各投影空間余弦相似度統計圖(圖3～圖5)的橫坐標表示余弦相似度,橫軸中心的0表示線性無關,向兩側余弦相似度絕對值越接近于1表示越線性相關;縱坐標則表示所統計出的擁有對應余弦相似度的樣本對個數,其數量大小反映投影空間在不同余弦相似度值處的強弱。對于任何一個高低分辨率圖像樣本對來說,其余弦相似度的絕對值越接近于1,表示高低分辨率圖像樣本對重建權值ωH與ωL之間的相關性越強,將ωL作為ωH進行鄰域嵌入給重建結果所帶來的誤差也會越小。因此,對于投影空間余弦相似度統計曲線來說,越向圖像兩側偏移,說明該空間所擁有的高相關性高低分辨率圖像樣本對越多,由于這些樣本擁有更小的重建誤差,能獲得更好的圖像超分辨率重建結果。

表1 各投影方法的超分辨率重建峰值信噪比結果

在線性投影空間的一致性評估上,從表2中可以看到,文獻[10]算法所選投影空間的余弦相似度均值為0.443 4,要優于文獻[5]所選投影空間的余弦相似度均值0.426 6。同時,圖3中相對于線性單位投影空間,線性一般投影空間的統計曲線也整體向右移動。這些都說明線性一般投影空間要比線性單位投影空間能獲得更多相關性強的高低分辨率圖像樣本對,余弦相似度均值更大,空間一致性更強。另外,從表1中可以看到,使用線性一般投影空間的文獻[10]算法投影部分峰值信噪比均值比使用線性單位投影空間的文獻[5]算法投影部分峰值信噪比均值要高,這說明擁有更強空間一致性的線性一般投影空間的確能夠獲得更好的超分辨率重建效果。

表2 各投影空間余弦相似度均值

在非線性投影高維空間的一致性評估上,對余弦相似度統計曲線、余弦相似度均值與其對應算法的超分辨率重建結果進行分析也可以得出一致的結論。此外,關于非線性投影所采用的近似處理以及表2中理想非線性投影的具體分析將在2.3節進行。

2.2 近鄰選擇對投影空間的影響

不同訓練樣本的選擇將會對投影矩陣等參數產生影響,進而獲得不同的投影空間,而目前大部分算法均利用近鄰關系選擇訓練樣本。為了說明近鄰選擇所建立的投影空間在一致性方面的優勢,本文對隨機選擇與近鄰選擇所建立投影空間進行了一致性評估,實驗結果如圖4所示。

圖4 近鄰選擇對線性與非線性投影空間的影響

從圖4可以看出:相比于隨機選擇的余弦相似度統計曲線,近鄰選擇的余弦相似度統計曲線均在相關系數接近于1的部分出現了向上的凸起,且非線性投影空間受其影響更為顯著;各近鄰投影空間的余弦相似度均值相比隨機投影空間的余弦相似度均值也提升了0.03～0.04左右。也就是說,通過近鄰選擇,高低分辨率圖像塊重建權值間的相關性得到了增強,即近鄰選擇比隨機選擇能夠獲得更為一致的投影空間。這不僅給出了之前各文獻[5-19]均采用近鄰投影的原因,也從側面說明了本文評估方法的正確性。

2.3 非線性投影中近似處理對投影空間的影響

從2.1節可以看到,非線性投影高維空間的余弦相似度統計曲線不如線性投影空間,這是由于目前非線性投影方法在重建高分辨率圖像時采用折中方法所導致的。這種折中方法在保持低分辨率圖像使用非線性鄰域嵌入的情況下,用高分辨率圖像在原圖像空間進行線性重建代替投影后的高分辨率圖像使用非線性鄰域嵌入進行重建,再反投影回原圖像空間,以避開非線性反投影難以獲取的問題。也就是說,這種折中將一個高低分辨率圖像共同投影到的非線性投影高維空間,近似表示成了一個低分辨率圖像投影到的非線性投影高維空間與一個高分辨率圖像所在的原始圖像空間。圖1中的非線性投影余弦相似度統計曲線即為利用該折中方法所獲得的結果。為了進一步分析該近似處理所帶來的影響,本文做了相關對比實驗,其結果如圖5所示。

圖5 非線性投影近似處理對投影空間的影響

圖5中的理想非線性投影是指未采用折中方法,高低分辨率圖像塊均在非線性投影高維空間中進行鄰域嵌入所得出的余弦相似度統計曲線。從圖中可以看到,理想非線性投影所獲得的相關系數遠高于線性投影及折中后的非線性投影,余弦相似度均值也可達0.7左右。這是由于圖像之間并非簡單的線性關系,而是非線性關系造成的[12-14]。由于目前沒有很好的非線性反投影方法,因此非線性投影算法通常會通過增加額外約束項或者多次迭代,來弱化這種折中所帶來的影響。從文獻[13]算法投影部分RPSN均值(27.376 9 dB)與最終結果RPSN均值(30.337 4 dB)的差別即可看出額外約束與迭代所帶來的影響。

因此,雖然自然圖像之間的關系更接近于非線性,但若不能很好地解決非線性反投影難以獲取的問題,將很難利用非線性投影高維空間更為一致的優勢。而如何獲取非線性反投影,以及尋找能更好地降低折中處理所帶來影響的約束項,可以作為投影空間人臉超分辨率重建算法一個新的研究方向。

3 總 結

本文對投影空間人臉超分辨率重建算法中常用的投影空間進行了分類與研究,給出了一種投影空間的選擇方法。通過此方法,本文對各類投影空間進行了實驗分析,不僅說明了該方法的正確性,還利用此方法解釋了近鄰選擇對于投影空間的影響。最后,本文還通過實驗分析指出了目前存在的問題,即非線性投影雖然理論上更符合自然圖像規律,但因其反投影困難而采取的折中方法會對超分辨率重建結果造成損失。因此,尋找有效降低這種損失的方法,可以作為今后投影空間人臉超分辨率重建算法研究的新方向。