無人機偵察圖像運動模糊復原方法研究

武永恒，張小孟2，李小民，李文廣2，李 炭

(1.石家莊鐵道大學 電氣與電子工程學院，石家莊 050043; 2.陸軍工程大學石家莊校區 無人機工程系，石家莊 050003)

0 引言

無人駕駛飛機簡稱“無人機(unmanned aerial vehicle，UAV)”，是利用無線電遙控設備和自備的程序控制裝置操縱的不載人飛機[1]，是各國戰略打擊中不可缺少的軍事力量。無人機偵察成為信息化戰爭中獲取情報的重要手段，可根據獲取到的戰場信息及時對敵方行動展開有效對抗。

無人機在偵察過程中會受到諸多因素使圖像降質，而降質圖像使后期利用圖像進行情報分析變得困難，導致情報的失準、片面化，進而影響決策者的正確判斷及戰爭的勝負，降低了偵察圖像的應用價值。其中運動模糊圖像最容易形成，如何降低運動模糊圖像對后期情報處理的影響成為無人機偵察圖像預處理的關鍵。因此，對圖像運動模糊復原算法進行研究具有重要意義。

本文對無人機偵察圖像運動模糊的成因及特點進行簡要概述，并對現在主流的兩類運動模糊復原方法(運動非盲復原法與盲復原法)進行了深入研究，針對無人機偵察圖像的特點分析了每種算法的性能，最后對無人機偵察圖像實時去模糊的發展趨勢進行了展望。

1 無人機偵察圖像運動模糊成因及特點

1.1 無人機偵察圖像運動模糊成像原因

無人機在飛行過程中，由于載荷的復雜振動和相機抖動等因素導致航拍器成像面(CCD)的移動速度與拍攝圖像像素的移動速度不同步，即相機在曝光時間內拍攝物體與感光介質之間發生相對運動，使實際成像在CCD上產生位移而形成運動模糊圖像，產生原理如圖1所示。

圖1 運動模糊產生原理

無人機從A點飛行到A1的過程中：無人機在A點時，地面上的一點C會在CCD上的B點成像(理論成像位置)，當無人機運動到A1時，地面上的點C成像在B1(實際成像位置)，C點的成像由B點移動到B1點，產生水平位移，形成運動模糊。

1.2 無人機偵察圖像運動模糊成像特點

無人機在情報獲取過程中，圖像大多是高空垂直拍攝，這使無人機偵察模糊圖像相對于其它模糊圖像具有自身特點：

1)無人機飛行高度較高且運動速度快，航拍圖像的模糊尺度較大。

2)圖像內目標數量大，有河流、山丘、淺色建筑等，影響去模糊效果。

3)無人機運動方式有勻速運動、正弦運動、隨機運動等，不同運動方式拍攝的模糊圖像有各自的特點。

4)高空垂直拍攝，使得拍攝圖像含不確定噪聲影響去模糊效果。

2 圖像非盲復原法

非盲復原法是在圖像的點擴散函數(point spread function(PSF)，模糊核)和模糊圖像已知的情況下建立圖像退化模型，然后對模型進行逆運算得到清晰圖像的一種方法。這種方法出現較早，相對現有的新方法來說比較完善，但應用在無人機偵察領域時存在以下問題：

1)由于無人機航拍圖像的不確定性，使得無法確定圖像的模糊核，失去已知條件無法建立退化模型。

2)針對性較差，沒有針對無人機運動模糊特點進行處理，復原效果不理想。

常用的方法有：逆濾波算法、維納濾波算法、約束最小二乘算法、Lucy-Richardson算法。

2.1 逆濾波算法

逆濾波法使用傅里葉變換將圖像的退化模型轉換到頻域來求解原始圖像[2]。圖像的退化模型描述為一個空間域的卷積過程，退化模型的表現形式為[3]：

g(x,y)=h(x,y)*f(x,y)+n(x,y)

(1)

式中，g(x,y)為模糊圖像，h(x,y)為模糊核，f(x,y)為清晰圖像，n(x,y)為噪聲，*是卷積運算。將式(1)通過傅里葉變換可得到頻域退化模型：

G(u,v)=H(u,v)F(u,v)+N(u,v)

(2)

式(2)可變形為：

(3)

在忽略噪聲的情況下，式(3)中第二部分為零，僅根據模糊圖像與模糊核即可求得復原圖像。

20世紀60年代中期，Nathan使用逆濾波法恢復太空中獲取的模糊圖像，但效果較差[3]。隨后Harris[4]與Mcglamery[5]對逆濾波法進行了改進，分別使用PSF解析模型和由實驗得到的PSF對模糊圖像進行復原，效果稍有改善，但當噪聲較大時仍無法得到清晰圖像。

逆濾波法雖簡單快速，但有很大的局限性：實際情況下模糊圖像必定會存在噪聲，當噪聲較大時式(3)中第二部分的值與理想情況相差較大，無法復原出清晰圖像。因此逆濾波法只適用于噪聲較小甚至可以忽略的情況，并不適用于無人機偵察這一背景。

2.2 維納濾波算法

由于逆濾波法抗干擾性較差，1967年Helstrom改進了逆濾波，提出將圖像和噪聲看作是一個隨機過程，以未退化圖像和估計圖像之間的最小均方誤差來復原圖像的維納濾波算法[6]。均方誤差度量式如下：

(4)

(5)

式中，G(u,v)是模糊圖像的傅里葉變換，G*(u,v)是G(u,v)的共軛，且|G(u,v)|2=G*(u,v)G(u,v)，Sn(u,v)是n(x,y)的功率譜，且Sn(u,v)=|N(u,v)|2，Sf(u,v)是f(x,y)的功率譜，且Sf(u,v)=|F(u,v)|2，γ的取值代表濾波器的種類：γ=1時，為標準維納濾波器；γ為隨機變量時，為含參數維納濾波器；當噪聲很小可以忽略(Sn(u,v)=0)時，式(5)退化為逆濾波器。

實際中一般將噪聲視為高斯白噪聲，式(5)近似表示為：

(6)

式中，K為常數，通過人為調節K的值來使均方誤差最小，復原出理想圖像。當K增大時，濾波器加強對噪聲的抑制使復原圖像變暗；當K減小時，濾波器減小對噪聲的抑制使復原圖像質量下降。大量數據表明K取[0.001,0.01]時復原效果較為理想。

1967年，Slepian[7]將維納濾波法推廣到處理隨機模糊核的情況。之后Pratt[8]與Habibi[9]將算法進行優化，提高了維納濾波的計算精度和速度，但其復原效果并不理想。1974年，卡農[10]提出了類似維納濾波的功率譜均衡濾波器，在特定情況下，得到了較為清晰的復原圖像。隨后Hunt[11]將此方法應用在噪聲較大的模糊圖像上時發現，維納濾波出現了低通濾波效應，人工痕跡明顯，圖像失真嚴重。

維納濾波法在一定程度上抑制了噪聲的影響，但并不適用于無人機偵察領域，主要原因歸結為三點：

1)維納濾波只適用于線性系統，而實際中的成像往往都是非線性的。

2)人類視覺系統中的平滑效應與維納濾波復原出圖像的平滑效應相差較大。

3)算法存在病態問題，且抗噪性較差，無法復原出清晰圖像。

2.3 約束最小二乘算法

為克服維納濾波法的病態問題，提出一種依靠噪聲均值和方差的先驗知識求解最優值的方法，即約束最小二乘法[12]。

約束最小二乘法在圖像復原模型上增加約束條件，使原始圖像二階導數的二范數最小(即‖f″‖2最小)，以達到復原圖像的目的。為了方便計算將二階導數替換為二階差分，把問題轉化為求‖Qf‖2的最小值，其中Q為f的線性算子。原始圖像f滿足圖像的退化模型式(1)，得到其約束條件：

(7)

由此，根據Lagrange乘法建立數學模型：

(8)

其中:λ為拉格朗日系數。最后解得：

(9)

根據實際中不同種類的模糊圖像，尋找相應的先驗知識，確定線性算子Q的取值，建立出不同形式的約束最小二乘算法，找到求解病態問題的方案，復原出清晰圖像，這是約束最小二乘法最大的優點。但其跟逆濾波法有相同的缺點，在噪聲較小可以忽略時復原效果較為理想。當噪聲的強度過高時，復原效果過于依賴λ的取值，當λ過小時噪聲對復原圖像影響較大，當λ過大時人工痕跡過于明顯，目前為止還未找到合適的取值。而且該方法需根據不同種類模糊圖像，人工找尋合適參數后進行復原，不適用于情報偵察。

2.4 Lucy-Richardson算法

Lucy-Richardson算法區別于上述三種算法，它是一種非線性的迭代復原方法，它是由Lucy和Richardson分別提出，引用時通常稱為Lucy-Richardson(簡稱L-R)算法[13]。L-R算法是基于貝葉斯框架和泊松分布的一種數學模型，依靠統計模糊信號的震蕩概率特性，將問題轉化為求解模型的最大似然估計值來復原圖像。

貝葉斯公式：

(10)

式中，P(x|y)表示在事件y的條件下事件x發生的概率，P(y|x)表示在事件x的條件下事件y發生的概率，P(x)表示事件x的概率。

泊松統計模型：

(11)

式中，u表示給定時間范圍內事情發生的平均次數。

根據貝葉斯公式和泊松統計模型得到L-R算法的迭代方程：

(12)

當模糊圖像中僅存在泊松噪聲時，L-R算法復原效果較為清晰，但隨著迭代次數n的增加，圖像的失真現象會越來越嚴重。

L-R算法存在振鈴效應降低了復原圖像的質量，因此學者們對L-R算法進行了改進。J.J.Ding等人[14]將金字塔結構融入L-R算法，將圖像的模糊尺度細化后再進行迭代復原，減少了迭代次數，一定程度上避免了細節引起的振鈴效應。D.Chen等人[15]基于多高斯光束模型和基爾霍夫近似，估計了模糊圖像的點擴展函數，進一步提高了L-R算法復原圖像的清晰度。H.Zhao等人[16]提出了一種基于矢量外推法的L-R算法，在算法的框架中引入一個指數修正項，使迭代步驟加大、算法收斂速度變快，但噪聲放大速度較快，且信噪比較低。由于L-R算法運算量較大、需反復試驗、只對存在泊松噪聲的模糊圖像復原效果較好等缺點，導致L-R算法并不適用于無人機偵察圖像復原。

3 圖像盲復原法

無人機進行偵察時圖像會受到噪聲等不確定因素的影響，無法確定圖像的點擴散函數，使得圖像非盲復原法不再適用。圖像盲復原法針對這種隨機不確定問題，利用僅有的模糊圖像來尋找先驗知識，建立數學模型，復原模糊圖像[17-19]。根據復原策略的不同，圖像盲復原主要分為先驗辨識法和聯合辨識法兩大類[20]。

3.1 先驗辨識法

先驗辨識法利用模糊圖像的先驗知識對PSF進行估計，把圖像盲復原問題轉化為圖像的非盲復原，再利用非盲復原算法進行處理。常見的方法有：空域法和頻域法。

3.1.1 空域法

空域法是根據圖像模糊前后邊緣的變化來估計退化參數的一種方法。對模糊圖像中退化參數的估計是模糊圖像復原的關鍵，在建立退化模型中如何獲取更好、更精確的退化參數一直是圖像復原的研究重點，其準確性直接影響去模糊效果。

根據圖像邊緣的這種特性，Lin等學者[21]研究了一種檢測模糊核模糊尺度的方法，通過運動模糊圖像在運動方向上梯度的變化估計出圖像邊緣的擴散寬度，得到模糊尺度的近似值，由于梯度測量的缺陷使得模糊尺度的精度較低。加州大學的Bae H等人[22]將Kinect體感設備與IMU傳感器應用到攝像機中設計了一個可以估計模糊核的設備，提高了模糊核參數的精度。由于模糊圖像在空域中的特征并不明顯，因此近年來對該方法的研究較少。

3.1.2 頻域法

頻域法是根據模糊圖像在頻域中的特征估計模糊核的一種方法。Cannon等學者[23]發現了勻速直線運動模糊圖像的頻譜上存在一條零值條紋，根據條紋可計算出模糊核，但其受噪聲影響較大，復原效果并不理想。Lokhande等學者[24]通過檢測模糊圖像頻譜中暗條紋的方向，得到模糊角度。華中科技大學鄧澤峰博士改進了Radon變換法，提出了基于Radon變換的極大值算法和基于曲線擬合的反比例模型法[25]分別計算模糊角度和模糊尺度。但在有噪聲時，效果較差。A.M.Deshpande等人[26]提出了一種將倒譜域法與位平面切片法相結合的方法，提高了模糊核參數估計的精度。

頻域法雖然簡單、快速，但其對存在加性噪聲的圖像復原效果并不理想，而且此方法僅限于勻速直線運動模糊圖像，另外頻譜中沒有零值條紋則無法估計模糊核。由于獲取先驗知識的條件過于復雜，缺乏一般性使得該方法不適用于無人機偵察這一背景。

3.2 聯合辨識法

聯合辨識法是將模糊核估計與圖像復原結合，同時進行處理的一種方法。該方法實用性、魯棒性較強，但算法復雜，實時性較差。常見的方法有：迭代盲反卷積法、非負支持域約束遞歸逆濾波法和基于正則化的方法。

3.2.1 迭代盲反卷積法

迭代盲反卷積法(iterative blind deconvolution, IBD)是圖像盲復原中最直接有效的一種算法[27]。該方法根據PSF與模糊圖像在頻域和時域中的特點，在頻域與時域之間交替迭代求解，直至滿足一定標準。

交替求解時需對PSF與模糊圖像添加約束條件：像素的非零性與模糊核的能量守恒性。此約束條件下的復原圖像模型表示為：

(13)

式中，N為像素總數。像素個數隨著迭代次數的增加而減小，當N為零時停止迭代。通過傅里葉變化和維納濾波算法得到IBD迭代公式：

(14)

(15)

式中,Sff(u,v)，Shh(u,v)，Snn(u,v)分別是原始圖像、PSF和噪聲的功率譜，其比值可用較小的常量代替。

IBD法雖然簡單直觀，但由文獻[28]分析可得IBD法與維納濾波相似抗噪性較差，而且解的唯一性和收斂性無法確定。為此屈志毅等人[29]先使用IBD法對點擴散函數進行估計，然后采用神經網絡的方法復原，保證了算法的收斂性。但在迭代求解過程中受模糊圖片中的噪聲級別和模糊程度影響較大，無法保證復原質量。張雯雯等人[30]提出了一種多尺度的迭代卷積法，該法將圖像分解到平滑分量和細節紋理分量，然后分別對每個分量進行迭代卷積求解，提高了復原圖像的質量。至今IBD法雖有了很大改善，但對噪聲干擾的魯棒性依然較差。

3.2.2 非負支持域約束遞歸逆濾波法

非負支持域約束遞歸逆濾波法(nonnegativity and support constraints recursive inverse filtering，NAS-RIF)是一種逆濾波的方法，算法流程如圖2所示。

圖2 非負支持域約束遞歸逆濾波算法流程

本方法充分利用高通濾波器的特性，求取全局函數的最小值。但又由于高通濾波器，將噪聲放大導致圖像的清晰度下降。針對NAS-RIF算法的不足，文獻[31]在非線性限制函數中添加邊緣保持約束項，提高了圖像的紋理細節，但只針對信噪比低的圖像具有較好的復原效果。文獻[32]首先使用輪廓去噪法削弱圖像的噪聲，再使用NAS-RIF算法進行復原，提高了圖像的信噪比。文獻[33]使用幾何非線性擴散濾波除去了部分噪聲，又將總變分引入非線性限制函數，在保持圖像細節的情況下提高了圖像的信噪比，但當噪聲較為嚴重時復原質量會大大降低。因此NAS-RIF算法對于含不確定噪聲的無人機偵察圖像來說并不適用。

3.2.3 基于正則化的方法

基于正則化的方法是根據PSF與模糊圖像的特點構建相應的正則化約束來復原圖像。基于正則化方法的圖像復原框架可表示為：

(16)

基于正則化的方法相對其他方法具有穩定、細節突出、良好的抗噪性等優點，但仍無法滿足無人機偵察過程中實時去模糊的要求，因此基于正則化的方法成為無人機模糊圖像復原領域研究的熱點。

4 實驗與分析

4.1 數據采集

本實驗采用模擬運動模糊圖像與無人機拍攝的真實運動模糊圖像驗證算法的復原效果。模擬運動模糊圖像是清晰圖像與PSF卷積后加入高斯噪聲得到。圖3是測試圖像Cameraman、Woman及對應的模糊核與模糊圖像。

圖3 測試圖像

無人機拍攝的真實運動模糊圖像取自DJI Phantom 3 Professional 型無人機，如圖4所示。

圖4 無人機拍攝的真實運動模糊圖像

4.2 復原實驗

實驗對象如表1所示。

表1實驗對象

為驗證正則化法的魯棒性與實用性首先利用7種算法對測試圖像Cameraman與Woman進行復原實驗。然后進行無人機運動模糊圖像復原實驗，將NAS-RIF算法與文獻[38]正則化法進行對比分析。

圖5是算法1～7的復原效果對比圖，對比發現盲復原法較非盲復原法復原圖像更清晰。對比(f)、(g)、(h)發現正則化法復原的模糊圖像主觀視覺更好，圖像邊緣清晰程度較好。

圖5 模糊圖像復原效果對比圖

圖6 無人機運動模糊圖像復原效果

由于算法1～5復原效果較差，對無人機運動模糊圖像僅對算法6與算法7的復原效果進行對比。如圖6所示。

由圖6中的(b)、(c)分析可得：較NAS-RIF算法，正則化法復原圖像整體對比度更好，圖像清晰度更好。由圖6中的(d)、(e)、(f)分析可得：正則化法復原圖像紋理細節更加明顯，減少了重影現象。

通過實驗表明正則化法應用于無人機運動模糊圖像時復原效果較好，相對于其他算法實用性較強。

5 結束語

隨著計算機視覺與人工智能技術的發展，對無人機偵察信息處理的要求不斷提高。因此，針對無人機在運動過程中產生的降質圖像，在分析目前主流算法的基礎上，根據無人機偵察圖像自身的特點，對無人機偵察圖像運動模糊復原算法的發展趨勢做出以下展望：

1)提高算法的處理速度。處理速度在情報處理中要求較高，而目前復原算法無法在保證復原質量的前提下實現快速處理。

2)提高算法的適用性。目前復原算法大都針對某類圖像具有較好的復原效果，而無人機偵察環境復雜多變使得圖像信息具有不確定性，因此提高算法的適用性成為無人機偵察圖像復原領域中的重要研究方向。

3)提高算法的智能性。理想的智能算法是可根據實際情況智能選擇參數，高效的完成處理。而現有算法是經多次實驗由經驗得到合適參數或手動調節參數，因此復原算法的智能性是目前無人機圖像處理領域亟待解決的問題。