高速微掃描圖像超分辨重建

趙浩光，曲涵石，王 鑫，尚 洋，劉立剛，韓松偉，孟 森，王 平

（1.國防科技大學 空天科學學院，湖南 長沙410073；2.中國航空工業集團公司 沈陽飛機設計研究所，遼寧 沈陽110035；3.西安電子科技大 學計算機科學與技術學院，西安710071；4.中國科學院長春光學精密機械與物理研究所 航空光學成像與測量重點實驗室，吉林 長春130033；5.圖像測量與視覺導航湖南省重點實驗室，湖南 長沙410073；6.上海乂義實業有限公司，上海20114）

1 引 言

超分辨成像技術是指對同一場景多次曝光采樣，獲取存在亞像素偏差的低分辨率圖像序列，然后利用圖像超分辨重建技術將一幅或多幅低分辨率圖像合成高分辨率圖像的技術［1-2］。

傳統圖像超分辨重建技術主要應用于航天領域的遙感成像技術，其實現方法為：針對同一場景使用多個相機同步進行采樣或者使用一個相機在不同位置進行采樣，以此獲取低分辨率圖像序列，然后利用空域插值法得到高分辨率圖像，最后使用傳統圖像處理手段去除圖像噪聲和模糊。這種超分辨重建技術存在定位精度差、實時性較差、配套設備體積大的問題，很難應用于航空偵察領域。

自二十世紀九十年代起，基于微掃描的超分辨重建技術開始受到西方國家重視。現階段，美國、法國等西方國家已經在航空光電偵察領域廣泛使用此項技術［3］，而我國在這個方向尚處于起步階段［10］。

近些年，隨著深度學習技術的廣泛使用，圖像超分辨技術得到了飛速發展，其基本思想是通過計算機多層次深入學習獲得先驗知識，利用不同圖像在高頻細節的相似性，結合深度學習算法構建高分辨率圖像和低分辨率圖像之間的關系模型。較之傳統方法，基于深度學習的超分辨重建技術的重建效果得到了進一步提升，但是實時性變得更差。即使使用更快、更深的卷積神經網絡做單幀圖像超分辨重建，依然很難應用于航空偵察領域。

無論使用何種超分辨重建技術，探測器輸出的低分辨率圖像均會受到如下因素制約：

（1）光學系統的方案設計、加工精度和安裝誤差會引起圖像模糊，改變圖像對比度；

（2）探測器靶面的像元尺寸、感光材料的選取以及讀出電路的設計均會使圖像產生一定程度的噪聲混疊；

（3）伺服控制系統的控制誤差會引起圖像運動模糊。

這些因素不僅降低了探測器輸出的低分辨率圖像的成像質量，而且增加了低分辨率圖像二次配準的難度，進而影響超分辨重建的結果。

本文將光學系統內部透鏡固定到高速微掃組件上，在探測器曝光的間歇期快速移動光學透鏡一段距離，使探測器輸出的前后兩幀圖像存在亞像素偏差。然后使用基于概率分布的超分辨重建算法，將低分辨率圖像序列處理成高分辨率圖像。與傳統的超分辨重建相比，高速微掃描組件體積小、重量輕、掃描速度快、到位精度高，能較好的應對場景快速變化和平臺振動干擾，滿足機載光電偵察設備對尺寸、重量和抗沖擊振動的要求。基于概率分布的超分辨重建算法能夠針對圖像有效信息進行處理，避免了大量冗余計算，進一步提高超分重建的實時性和準確性。經實驗驗證，高速微掃描圖像超分辨重建技術在機載光電偵察平臺不改變光學系統的前提下，可以有效地提升目標識別距離。

高速微掃描超分辨技術還能較好的克服或緩解前文提及的三點制約因素帶來的問題。高速微掃描超分辨技術在提高光電偵察設備輸出圖像分辨率的同時［4］，還能夠提升探測器的靈敏度［1，5］、降低探測器的系統噪聲，對探測器進行基于場景的非均勻較正，進而降低探測器因設計、加工、像元尺寸、伺服控制等因素產生的負面影響［6-7］，最終提高光電偵察設備的識別能力。

隨著電子芯片集成化技術和計算機技術的高速發展［8］，實現無人機自主偵查打擊已成為可能。世界軍事強國無不重視無人機自主查打技術的研究［9］，具有高度自主偵查、打擊能力的無人機系統必將成為未來戰爭的主角。目標自主識別是無人機自主感知、自主決策、自主規劃、自主攻擊的基礎。實現目標自主識別可使無人機迅速適應戰場環境，對敵我態勢進行準確判斷和應對，即使在通信受阻、操作人員被限制的不利條件下，依然能夠繼續執行任務。因此開展相關領域的技術研究勢在必行。

2 微掃描圖像超分辨工作原理

先敵發現、先敵識別是機載光電偵察設備的重要指標，這對光電偵察設備裝備的探測器的靈敏度和分辨率提出較高要求［6］。探測器靈敏度與像元尺寸正相關，即像元尺寸越大探測器靈敏度越高。光電偵察設備受到無人機載重（續航）、安裝結構影響，對光學系統口徑進行了尺寸限制，導致探測器靶面尺寸偏小。在探測器靶面固定的情況下，分辨率與像元尺寸負相關，即分辨率越高，像元尺寸越小，單個像元的靈敏度越低。

本文采用高速微掃描圖像超分辨技術，即使光電偵察設備使用大像元探測器，也可以在保證高靈敏度的同時，提升機載光電偵察設備的分辨率。高速微掃描超分辨原理分為兩個步驟（參見圖1）：

圖1 高速微掃描超分辨示意圖Fig.1 Schematic diagram of high-speed micro-scanning super-resolution

（1）控制微掃描組件（二維壓電高速微掃描平臺和緊湊型高頻壓電控制器）實現圖像過采樣；

（2）使用圖像過采樣獲取的低分辨率圖像，在嵌入式平臺實現圖像實時超分辨重建算法。

2.1 圖像過采樣基本原理

為了獲取具有亞像素級偏差的低分辨率原始圖像序列，需要微掃描平臺按照一定頻率及步長移動光學透鏡。通過機械平移透鏡一段距離d，使得目標物在像平面上的成像位置由I運動到I′，如圖2所示。

通過精細控制實現成像的微位移（亞像素級）運動，這一過程稱為過采樣過程。過采樣過程通常會使用4種微掃描模式［2］（1×1，2×2，3×3，4×4），如圖3所示。本文綜合考慮了計算機資源分配和實時性需求，采用2×2微掃描模式。

圖3 常用微掃描模式Fig.3 The micro-scan pattern according to the mode

2.2 圖像超分辨重建原理

將獲取的存在亞像素級偏差的低分辨率圖像處理成高分辨率圖像的方式主要有三種［11］，分別是：

a基于經典插值理論的圖像插值算法；

b基于概率分布的超分辨重建算法；

c基于深度學習的圖像擬合算法。

方式a的特點是圖像處理的速度快、魯棒性差、超分效果有限；方式b的特點是魯棒性好、超分效果較好、圖像處理速度相對較慢；方式c的特點是需要事先進行大量的機器訓練、運行過程消耗大量的計算資源，很難滿足機載光電偵察設備對實時性的要求［12］。為滿足機載光電偵察設備的實時性需求，同時達到最優的重建效果，本文采用了基于概率分布的超分辨重建算法。

基于概率分布的超分辨重建算法的基本原理是：建立真實成像的數學模型，估計模型的相關參數，結合探測器輸出的低分辨率圖像序列Y，構建符合一定條件的像素概率分布函數［13］，通過極大似然估計，確定理想高分辨圖像X。成像模型如圖4所示。

圖4 成像模型示意圖Fig.4 Schematic diagram of image degradation process

2.2.1 光學成像模型的數學擬合

選取連續的自然場景作為輸入，經一定頻率采樣后獲得離散場景，離散場景對應理想的高分辨率圖像X，當采樣頻率高于奈奎斯特頻率時，離散場景可完全復現輸入場景。

機載探測器的空間位置是時刻變化的，這些變化會引起圖像的平移、旋轉、仿射，導致場景X發生生運動變化，用運動變化矩陣F表示這一過程；受到探測器光學孔徑限制和伺服控制精度的雙重影響，場景X中某些點會擴散成不規則的彌散斑，導致輸出圖像伴隨一定程度的模糊，用模糊因子矩陣H表示這一過程；探測器感光區生成像素值的過程是一個下采樣的過程，導致探測器輸出圖像的分辨率進一步降低，用下采樣算子矩陣D表示這一過程；探測器輸出圖像經讀出電路轉換后會附著噪聲，用噪聲混疊矩陣V表示這一過程。因此，第k幀的探測器輸出圖像Y k的表達式如下所示：

其中：Y k為探測器輸出的第k幀低分辨率圖像，D k為第k幀下采樣算子，H k為第k幀模糊因子，F k為第k幀的運動變化，X為理想高分辨率圖像，V k為第k幀噪聲混疊項。

下采樣算子D k、模糊因子H k、幀間運動變化F k可分別通過圖像配準、相機標定、解算光電偵察設備姿態的方式確定，即降質矩陣W k可確定。另外，場景明暗變化也會引起探測器輸出的圖像Y k的變化，故引入明暗變化矩陣λ1k，λ2k，對式（1）進行調整如下：

2.2.2 構建概率密度函數求取理想高分辨圖像

式（2）中D k，H k，F k均為稀疏矩陣，根據若干張輸出圖像Y k反推理想高分辨率圖像X的過程實際上是一個解算病態方程的過程。假設混疊噪聲項V k符合高斯分布，構建關于高分辨率圖像X、光照強度變化矩λ1k，λ2k及降質矩陣W k的Y k像素值的概率密度函數，如下：

其中：參數β和M的值一般默認為1，實際情況會根據實際場景進行微調。在Y k，λ1k，λ2k，W k已知的情況下對式（2）進行極大似然估計，也就是求概率極值所對應的理想高分辨率圖像X?ML，如下：

由于降質矩陣W k行數、列數較大，且有較多非零元素，無法直接求逆，故使用迭代法求逆。構建似然函數L及似然函數L關于任一高分辨率估計圖像x的導數似然函數L的表達式

極大似然估計值X?ML通過共軛梯度迭代法求解。如忽略光照強度變化引起的圖像變化，認定混疊噪聲項V的期望為零，則X?ML的可近似為如下：

如無法忽略光照強度變化引起的圖像變化，且認定噪聲混疊項V的期望為零，則X?ML的解析式可改寫為：

3 高速微掃描超分辨的實現

為在機載光電偵察設備上實現實時高速微掃描超分辨技術，與其他機載設備進行了精細配合，通信示意圖如圖5所示。本文將光學系統中的一片透鏡固定到二維壓電高速微掃描平臺上，以此帶動該透鏡進行高速微位移。首先在上位機端按照2×2掃描模式，驅動二維壓電高速微掃描平臺，獲取具有亞像素級偏差的低分辨率原始圖像序列，然后在嵌入式平臺上，使用基于概率分布的超分辨重建算法，將探測器輸出的低分辨率原始圖像處理成高分辨率圖像。

圖5 微掃描超分辨通信示意圖Fig.5 Communication schematic diagram of micro-scan?ning super-resolution

本文利用過采樣后獲取的四幀連續圖像，合成一幀理想高分辨率圖像，本質上是犧牲時間換取空間的方式。對于幀頻為120 FPS，畫幅為640×512，位深為14 bit的輸入圖像，經本文算法處理后的圖像幀頻變為30 FPS，畫幅變為1 280×1 024，位深仍為14 bit，理論上可提升100%的空間分辨率，大幅度提高識別距離。

3.1 圖像過采樣的實現

圖像過采樣由二維壓電高速微掃描平臺、緊湊型高頻壓電控制器配合實現。當探測器處于曝光階段時，透鏡保持位置穩定，當探測器處于非曝光階段時，二維壓電高速微掃描平臺帶動透鏡快速運動實現亞像素位移。

為了保證微掃描與探測器曝光同步，上位機先發送微掃描控制命令，1.5 ms后發送探測器外觸發信號，曝光完成后，上位機再次發送微掃描控制命令，以此循環，確保微掃描不引起圖像模糊，提高成像質量。針對輸出幀頻為120 FPS的探測器，高速微掃描超分辨核心組件進行了專門的優化設計，采用2×2的過采樣掃描方式，微掃描時間＜1.0 ms，到位穩定精度＜0.3μm（對應約0.03個像素）。二維壓電高速微掃描平臺的實測結果如圖6所示。

圖6 2×2微掃描位移測試結果Fig.6 2×2 micro-scan pattern test result

本文采用壓電陶瓷作為驅動單元，采用閉環控制的方法，解決壓電陶瓷輸出位移與輸入電壓非線性的問題。經理論計算和反復標校實驗，本文為達成圖像0.5像素微位移，微掃描步長設定為±6.75μm，測試結果如圖7所示。

圖7 微掃描位移響應測試結果Fig.7 Micro-scan response test results

3.2 圖像實時超分辨的實現

3.2.1 圖像配準預處理

光學成像系統受真實場景的復雜程度、光學系統的加工精度、方案設計、選材、光軸一致性以及伺服系統的控制精度等多方面影響，并不是理想的時不變系統。微掃描后獲取的圖像序列很難保證嚴格相差1/4或1/2個像元大小，導致在進行圖像超分辨之前，必須進行圖像配準。

圖像配準技術包括四個方面：變換模型、特征空間、相似性測度、搜索空間。本文依據這四個特性，將圖像配準分為以下五個步驟進行：

Step1：根據實際應用場合選取適當的變換模型；

Step2：選取基于灰度的特征空間；

Step3：根據變換模型的配置參數及所選用的特征，確定參數的變化范圍及最優的搜索策略；

Step4：應用相似性測度在搜索空間中按照優化準則進行搜索，尋找最大相關點，從而求解出變換模型中的未知參數；

Step5：將待配準圖像按照變換模型逐像素一一對應到參考圖像中，實現圖像間的匹配。

3.2.2 實時圖像超分辨

真實場景經2×2模式過采樣處理后，獲得4張低分辨率圖像，本文的目的是根據這四張低分辨率圖像估計出一張理想高分辨率圖像X，故式（5）中的N=4，根據式（6）結合迭代法計算出極大似然估計值X?ML，這個極大似然估計值就是超分辨重建后的高分辨率圖像。本文使用基于概率分布的超分辨重建算法，需要構建一個行數、列數較大的降質矩陣W，導致求極大似然估計值的過程涉及大量、頻繁的矩陣計算。為了兼顧硬件功耗、處理芯片性能，本文對超分辨重建算法進行了改進和優化。

本文將過采樣獲取的4幅640×512的低分辨率圖像，重建成一幅1 280×1 024的高分辨圖像，對應的W矩陣的大小為1 280×1 024×4×640×512。為降低W矩陣的復雜度，本文提出一種分塊處理方法，即將固定區域分割成80個子區域，記作Y(i)k，i=1，2，...，80，每子區域Y(i)k的畫幅為36×36，且與相鄰子區域有部分重疊（防止邊界損失）。分割后每個子區域對應的W(i)k矩陣的大小為72×72×4×36×36，大大降低了迭代過程的復雜度。

本文采用共軛梯度法（Conjugate Gradient）求式（6）的極大似然估計值時。共軛梯度法是介于最速下降法與牛頓法之間的一種方法。通過一階導數的使用，克服了最速下降法收斂慢的缺點，又避免了牛頓法需要存儲和計算Hesse矩陣并求逆的缺點。共軛梯度法具有步收斂性，穩定性高。經實驗驗證，采用共軛梯度法僅需10次迭代便可達到最速下降法150次迭代的收斂性，且迭代精度幾乎一致，極大提高了迭代效率。

為了提升幀間運動信息的時效性、準確性及魯棒性，本文選用GPU-TX2i嵌入式平臺作為硬件環境，并行構建80個子區域對應的降質矩陣，并行迭代求解子區域對應的高分辨率圖像X(i)。為提高圖像處理速度，在算法優化時使用更小的卷積核，嚴格控制存儲量，實時調整迭代步長，在保證精度的情況下盡量減小迭代次數，降低圖像處理運算量。為了避免子區域合成全畫幅的高分辨率圖像時出現邊緣效應，本文對每個子區域邊緣重疊部分的灰度值進行了自適應調整，最終獲得期望的超分辨率圖像X。

4 測量實驗與結果

4.1 超分辨重建對圖像空間分辨率提升的測試

為了測試基于概率分布的超分辨重建算法對圖像空間分辨率的提升效果，本文分別對室內靶標、室外復雜場景進行測試。

4.1.1 室內靶標測

室內靶標測試識別的目標是1951USAF分辨率測試板。1951USAF分辨率測試板由不同的群組（Group）和對應元素（Element）構成，可通過查表獲取相應的分辨率。1951USAF分辨率測試板上的每個群組包含六個元素，每個元素包含水平分布和垂直分布的三條靶標，靶標之間的間距與靶標寬度相同。空間分辨率（Frequency）計算方法如下所示：

經過采樣處理后，探測器輸出的4張具有亞像素偏差的低分辨率原始圖像如圖8所示。由于實驗在室內進行，不存在大氣湍流擾動和伺服控制精度的問題，這四張圖片的偏差實際為0.5個像素，屬于一種較為理想的狀態。

圖8 具有亞像素偏差的4張低分辨率原始圖像Fig.8 4 low-resolution images with sub-pixel shift

對比數據取自圖8中標紅位置的局部圖，超分辨前后空間分辨率變化如圖9所示，圖9中的左圖為低分辨率原始圖像，右圖為超分辨重建的圖像。

圖9 低分辨率原始圖像與超分辨重建圖像對比圖Fig.9 Comparison of low resolution original image and super-resolution reconstruction results

由圖9知，低分辨率原始圖像可分辨第2組第3元素，對應的空間分辨率為5.039。經超分辨重建處理后的高分辨率圖像可分辨第3組第2元素，其對應的空間分辨率為8.979。相比于低分辨率原始圖像，超分辨重建后的圖像可識別的元素提升了5個，空間分辨率提升78.2%。

4.1.2 室外復雜場景測試

室外復雜場景測試相較于室內靶標測試，不能忽略大氣湍流擾動和伺服控制精度的影響，為了不降低超分辨重建算法在復雜場景下的魯棒性、穩定性，需要對過采樣獲取的圖像進行配準。

室外復雜場景的超分辨前后圖像的局部對比，如圖10所示，圖10中的左圖為低分辨率原始圖像，右圖為超分辨重建的圖像。

圖10 地面外景超分辨結果對比圖Fig.10 Comparison of super-resolution results in outdoor scenes

由圖10知，經超分辨重建處理后，圖像中的混疊信息被去除掉了，目標的特征更清晰、識別更容易。

4.2 超分辨重建對目標識別距離提升的測試

為了測試本文基于概率分布的超分辨重建算法對目標識別距離的提升效果，利用某型號無人機掛載光電偵察設備進行實地測試。無人機初始飛行高度約2 000 m，距離目標場景10 km，無人機以288 km·h-1的速度飛行，逐漸接近目標場景。場景仿真示意圖如圖11所示。

圖11 場景仿真示意圖Fig.11 Schematic diagram of scene simulation

無人機機載光電偵察設備的探測器輸出圖像分辨率為640×512、像元尺寸17μm、幀頻為120 FPS，光電偵察設備光學系統的焦距為400 mm。R1點與R2點均放置有坦克車，R1點與無人機之間的距離約3 904.68 m，R2點與無人機之間的距離約2 725.54 m。

圖13 R2點處超分辨結果對比圖Fig.13 Comparison of super-resolution results at point R2

超分辨重建仿真實驗的對比結果如圖12和13所示，圖12和13中的左圖均為低分辨率原始圖像，右圖均為超分辨重建的圖像。由圖像知，在R1點處，超分辨重建獲取的高分辨率圖像可識別到坦克目標，而低分辨率原始圖不能識別；在R2點處，二者均可識別出坦克目標，但超分辨重建后的圖像識別效果更加顯著。

圖12 R1點處超分辨結果對比圖Fig.12 Comparison of super-resolution results at point R1

光學仿真結果表明，針對同一場景，經超分辨重建獲取的高分辨率圖像對坦克目標的識別距離由2 725.54 m提升到3 904.68 m，識別距離提升了約43.3%。

4.3 超分辨重建處理的實時性測試

實驗表明，探測器輸出的幀頻為120 FPS、分辨率為640×512的實時圖像，經超分辨重建處理后輸出的圖像分辨率為1 280×1 024，幀頻可達30 FPS，每幀處理時間僅為33 ms，滿足機載光電偵察設備對圖像實時處理的要求，如圖14所示。

圖14 實時處理輸出幀頻為30 FPSFig.14 Real-time processing output frequency is 30 FPS

5 結 論

為了提升無人機機載光電偵察設備的性能，本文結合實際工程項目，在嵌入式平臺實現了基于概率分布的圖像超分辨重建。實驗結果表明，高速微掃描超分辨核心組件的微掃描響應時間＜1.0 ms，到位精度＜0.3μm（對應0.03個像素）。探測器輸出的幀頻為120 FPS、分辨率為640×512的圖像，經超分辨重建處理后，變為幀頻為30 FPS、分辨率為1 280×1 024的圖像。超分辨重建處理單幀圖像時間約為33 ms，滿足機載光電偵察設備對實時性的要求。地面實測結果表明，經超分辨重建后，圖像有效空間分辨率提升了78.2%。應用場景光學仿真表明，經超分辨重建后，光電偵察設備對于坦克目標的識別距離提升了43.3%。微掃描組件和超分辨重建技術的配合使用，既能提升光電偵察設備輸出圖像的有效空間分辨率，又能增加光電偵察設備對地面目標的識別距離。