基于PLS小波雙立方配比插值的圖像復原研究

田 洲，孫玉秋，謝先招張麗玲，邢 耀

（長江大學信息與數學學院 湖北 荊州434023）

超分辨率復原技術是由一些低分辨率變形圖像 （或視頻序列）來估計一幅較高分辨率的非變形圖像，同時還能夠消除加性噪聲的一項技術［1］。它在視頻信號來打印超分辨率靜態圖像、采集軍事與氣象遙感圖像、醫學成像系統等領域中被廣泛運用。近年來，超分辨率圖像復原技術已成為信號處理領域的一個研究熱點，國內外一些專家學者為圖像重建復原相關領域的研究和發展做出了巨大的貢獻，其中一方面是關于圖像頻譜外推、混疊效應消除的研究，另一方面是關于復原算法的改進［2，3］。

基于偏最小二乘法 （PLS）的超分辨率圖像復原已在國內外被研究學者所試驗，在全局約束性的人臉圖像復原的效果上取得了不錯的成效，比傳統的圖像插值放大復原方法效果要更好，經過研究分析，在基于偏最小二乘法的超分辨率技術［4，5］過程中采用最簡單、快速的最近鄰插值放大預處理方法存在可行性改進。圖像插值放大算法有很多，比如傳統的插值算法有最近鄰插值、雙線性插值、雙立方插值。目前有學者提出小波雙立方配比插值放大算法，該算法按照一定的比例將小波插值結果和雙立方插值結果進行配比混合，通過試驗證明這種方法取得的放大后圖像效果是顯著的。

筆者分析研究將小波雙立方配比插值法與基于PLS的超分辨率復原技術結合的算法，并將最近鄰、雙線性、雙立方插值放大算法與基于PLS的超分辨率復原算法結合，并采用人臉進行試驗比較。

1 基于偏最小二乘算法的人臉超分辨率技術

1.1 基于偏最小二乘法的超分辨率復原技術

基于偏最小二乘法的超分辨率復原技術將高低分辨率之差和低分辨率圖像的高頻信息的關系看作為一種函數關系。設中頻信息 （低分辨率圖像的高頻信息）為Xi，高低分辨率之差（高頻信息）為Yi（Yi為向量而不是標量），中頻信息與高頻信息之間的關系可以表示為（x1，y1），（x2，y2），…，（xn，yn），利用這些數據建立回歸模型：

進行超分辨率復原時，只需要輸入待復原的低分辨率圖像的高頻信息X，利用已建立好的模型進行回歸，即可獲得高低分辨率之差Y，然后將高頻信息與待復原的低分辨率圖像進行求和，即可獲得最終的高分辨率圖像。

1.2 基于PLS回歸的超分辨率復原算法

算法分為2個過程，即訓練過程和復原過程。

1）訓練過程 ①對原始高分辨圖像進行降質處理，使其成為低分辨率圖像，從而得到降質圖像。將得到的降質圖像進行插值 （最近鄰、雙線性、三次樣條、小波雙立方配比插值）放大2倍，得到插值放大圖像，對插值放大后的圖像提取拉普拉斯特征，并對特征圖像進行8×8分塊，將每一個圖像塊表示為一個向量BlockLi，j，k，其中i，j表示塊在圖像中的位置，k表示第k個訓練樣本對應的像塊。所有樣本中位置為（i，j）的圖像塊都可以構成一個向量矩陣BLi，j＝ ｛BlockLi，j，k｝，其中，k＝1，2，…，N，這里，N 為樣本數。②將高分辨率圖像與低分辨率插值放大的圖像進行差分，得到差分圖像，并對差分圖像進行8×8分塊，每一塊可以將其表示為一個向量Block Hi，j，k。所有樣本中位置為（i，j）的圖像塊可以構成一個向量矩陣BHi，j＝ ｛Block Hi，j，k｝，其中，k＝1，2，…，N，這里，N 為樣本數。③ 將位置為（i，j）的向量矩陣BLi，j和BHi，j作為X，Y代入PLS回歸算法進行計算，以獲得位置為（i，j）上的PLS回歸系數矩陣B和E。

2）復原過程 利用訓練過程第1步的方法得到復原圖像的插值放大圖像以及拉普拉斯特征圖像。

將特征圖像進行8×8分塊，對于位置為（i，j）塊，將其表示為一個向量BlockTi，j，k。通過式（2）計算PLS回歸結果：

將每一個圖像塊的回歸復原向量BlockRi，j，k轉換為二維圖像塊，并將其與插值復原圖像塊進行對應求和，得到復原后的高分辨率圖像塊，再將其按照順序拼接，即可獲得最終的高分辨率圖像。

2 幾種插值放大方法

2.1 傳統圖像放大算法

1）最近鄰插值 最近鄰插值是最簡單的插值放大算法，輸出像素的值為輸入和其最鄰近的采樣點的像素值。設插值點（i，j）到周邊4個鄰點fk（i，j）（k＝1，2，3，4）的距離為dk（k＝1，2，3，4），則：

其優點是計算簡單，并且在很多情況的輸出效果很好。所以最近鄰插值在很多軟件上被廣泛使用。然而，當圖像中包含像素之間灰度級變化的細微結構時，最近鄰插值算法會在圖像中產生人為的加工痕跡，而且鋸齒現象較嚴重。

2）雙線性插值 雙線性插值是對最近鄰插值的一種改進，也就是線性插值算法，即假設原圖的灰度在兩個像素之間呈線性變化，這是一種比較合理的假設。雙線性插值的原理就是根據A（x0，y0）點及其上下左右2個相鄰點灰度值，計算出f（x0，y0）值［6，7］。具體步驟如下：

先根據f（x，y）以及f（x＋1，y）插值求出f（x0，y）：

再根據f（x，y＋1）以及f（x＋1，y＋1）插值來求出f（x0，y＋1）：

最后根據f（x0，y）以及f（x0，y＋1）插值求出f（x0，y0）：

在以上的計算過程中，實際上f（x0，y0）是根據f（x，y），f（x＋1，y），f（x，y＋1），f（x＋1，y＋1）這4個整數點的灰度值作2次線性插值，也就是所謂的雙線性插值而得到的。f（x0，y0）也可以寫成：

雙線性插值算法比最近鄰插值算法計算量大，但縮放后圖像質量高，不會出現像素值不連續的情況，這樣就可以獲得一個令人滿意的結果。

3）三次樣條插值 由于雙線性插值方法考慮到了f（x0，y0）點的直接鄰點對它的影響，對此在一般情況下可以得出相對滿意的插值效果；從幾何角度來看，雙線性插值的平滑度作用會使圖像的細節退化，而其斜率的不連續性則往往會導致變換，得到不希望的結果。三次樣條插值法是高階插值算法中常用的方法，它對周圍16個像素進行插值計算。其優點是可以消除鋸齒現象，插值質量高且效果好。但它的缺點是放大時邊緣模糊現象還是比較嚴重并且計算量大，運算時間長，在需要實時性較高的場合很難實現［8，9］。

2.2 小波雙立方配比插值法

小波雙立方配比插值方法是一種較新的插值方法，將小波插值和雙立方插值進行線性組合，由于小波插值結果含有較多的高頻信息，但是邊緣仍存在一定的鋸齒現象，而雙立方插值的優點是可以消除鋸齒現象，插值效果好，所以將這2種插值方法進行線性組合，利用雙立方的低頻成分來補償小波插值的不足。即按照一定的比例將小波插值結果和雙立方插值結果進行配比混合［10］。

該算法步驟如下：對低分辨率圖像進行小波變換；在小波變換域內對高頻子圖進行插值獲得原低分辨率圖像大小的3個高頻分量HL、LH、HH，以原低分辨率圖像作為低頻分量子圖LL；對LL、HL、LH、HH，進行小波反變換得到高分辨率圖像I；對低分辨率圖像進行雙立方插值得到高分辨率插值圖像J；對高分辨率圖像I和J進行混合配比得到最終結果圖像X。

3 基于PLS小波雙立方配比插值算法

基于PLS的超分辨率圖像復原取得了比較好的效果，而其中的插值放大的效果影響了圖像復原的效果。而小波雙立方配比插值是一種新的插值方法，其插值放大的效果比傳統的插值法效果更好。所以筆者將2者結合提出了基于PLS小波雙立方配比插值。

1）訓練過程 ①將低分辨率圖像利用小波雙立方配比插值放大得到插值圖像，再對插值圖像提取拉普拉斯特征得到特征圖像；②將高分辨率圖像與插值放大的圖像進行差分得到差分圖像；③將特征圖像進行分塊，根據前面闡述的分塊方法，構成一個向量矩陣BLi，j＝ ｛BlockLi，j，k｝，其中，k＝1，2，…，N，這里，N為樣本數；④將差分圖像分別進行分塊，根據前面闡述的分塊方法，構成一個向量矩陣BHi，j＝｛Block Hi，j，k｝，其中，k＝1，2，…，N，這里，N為樣本數；⑤ 將位置為（i，j）的向量矩陣BLi，j和BHi，j作為X，Y代入PLS回歸算法進行計算，以獲得位置為（i，j）上的PLS回歸系數矩陣B和E。

2）復原過程 ①將待復原的圖像利用小波雙立方配比插值放大得到插值圖像，再對插值圖像提取拉普拉斯特征得到復原特征圖像；②將特征圖像進行8×8分塊，對于位置為（i，j）塊，將其表示為一個向量BlockTi，j，k。通過式（2）計算PLS回歸結果。③ 將每一個圖像塊的回歸復原向量BlockRi，j，k轉換為二維圖像塊，并將其與插值復原圖像塊進行對應求和，得到復原后的高分辨率圖像塊，再將其按照順序拼接，即可獲得最終的高分辨率圖像。

4 試驗分析

圖1 原始測試圖像

使用MIT＿ORL＿YALE三大人臉數據庫中的人臉圖像，并將其歸一化成大小為80×80，然后將大小80×80的人臉圖像作為高分辨率圖像，并對其進行降質處理，降質為大小為40×40的圖像，將其作為低分辨率圖像，為了消除邊緣的方塊效應，試驗為每個原始人臉圖像（高低分辨率圖像）加上了邊框，并作為高分辨率圖像，再對加框后的高分辨率圖像進行隔行隔列的降質處理，并作為低分辨率圖像。

試驗選取了所有不帶眼鏡、中性表情的人臉圖像75張，其中用8幅圖像作為測試樣本，原始測試圖像1如圖1所示。剩下的67幅作為訓練樣本。將最近鄰插值放大算法、雙線性插值放大算法、三次樣條插值放大算法以及小波雙立方配比插值法運用到PLS回歸算法中，試驗結果如圖2所示。

圖2 試驗結果

從圖2可以看出，把最近鄰插值放大算法加入到PLS回歸算法中復原出來的圖像鋸齒狀最嚴重，雙線性和三次樣條插值效果較最近鄰好些但是仍然模糊，而小波雙立方配比插值法運用到PLS算法中復原出來的圖像效果最好，高頻細節更為豐富。對其他7幅測試圖像進行試驗，得到相似結果。

為了對試驗結果進行客觀分析，分別計算了采用不同算法得到的復原圖像的峰值信噪比，結果如表1所示。從8幅測試圖像的峰值信噪比可以看出，基于PLS的最近鄰插值算法的峰值信噪比最低，基于PLS的雙線性插值算法的峰值信噪比較高，而筆者提出的基于PLS小波雙立方插值的峰值信噪比最高。

表1 圖像關于不同算法運用到PLS中的峰值信噪比

5 結 語

首次將基于PLS回歸的超分辨率復原算法和小波雙立方配比插值放大算法進行結合，取得了較好效果，具有一定的創新性。通過分析基于PLS回歸的超分辨率復原算法得知其中的插值放大算法對復原效果有影響，并將不同的插值放大算法 （最近鄰插值、雙線性插值、三次樣條插值以及小波雙立方配比插值）運用到PLS回歸算法中。通過試驗分析表明，基于PLS的小波雙立方配比插值放大的超分辨復原算法取得的復原圖像效果最好，獲得的峰值信噪比最高。

［1］曹楊，李曉光，卓力，等 .基于區域自適應學習的人臉圖像超分辨率復原 ［J］.測控技術，2009，28（5）：28－32.

［2］方逵，鄧四清，譚德松，等 .三次有理托付校條曲線曲面 ［J］.計算機應用與軟件，2011，28（7）：22－24.

［3］王仁宏，數值逼近 ［M］.北京：高等教育出版社，1999.

［4］吳煒，楊曉敏，陳默，等 .基于偏最小二乘算法的人臉圖像超分辨率技術 ［J］.光子學報，2009，38（11）：3025－3034.

［5］黃東軍，考特斯·維安尼·奧古斯汀 .人臉圖像超分辨率非線性學習算法 ［J］.計算機工程，2010，36（3）：203－207.

［6］蔡念，張海員，張楠 .基于Contourlet的改進雙線性插值圖像超分辨率算法 ［J］.傳感技術學報，2011，24（1）：59－65.

［7］吳桂萍，吳巍，王成，等 .基于雙線性插值的魚眼圖像校正方法 ［J］.計算機應用與軟件，2012，29（2）：122－126.

［8］王昊京，王建立，王鳴浩，等 .采用雙線性插值收縮的圖像修復方法 ［J］.光學精密工程，2010，18（5）：1234－1241.

［9］王森，楊克儉 .基于雙線性插值的圖像縮放算法的研究與實現 ［J］.自動化技術及應用，2008，27（7）：44－35.

［10］浦利，金偉其，劉玉樹，等 .基于小波雙立方配比插值的圖像插值放大算法研究 ［J］.紅外技術，2006，28（8）：453－455.