一種抗運動模糊的微掃超分算法

楊 凱，范玉影

（中國航空工業集團公司洛陽電光設備研究所，洛陽 471099）

0 引言

受限于材料和工藝水平，高分辨紅外探測器制造難度大、成本極高。基于低分辨率紅外探測器，采用先進的微掃光機設計和圖像處理算法實現超分，是獲得高分辨率紅外圖像的有效方法。基于微掃的紅外探測系統可廣泛應用于對空告警、環境感知、目標探測等應用領域。

美國戴頓大學和Wright實驗室在美國空軍支持下，利用20幅低分辨率紅外圖像，取得了提高近5倍的實驗結果[1]。英國BAE SYSTEMS公司研發的2×2微掃描系統，使成像像素擴大了4倍。德國AEG和STANTRLAS共同研發的電機驅動微掃描成像系統，像素由384×288提高到了768×576[2]。浙江大學計算機軟件研究所的首山雄、陳進勇將微掃描用于CMOS圖像傳感器[3]。北京理工大學金偉其等利用電機驅動平板玻璃旋轉方式實現微掃描成像[4]。吳新社等利用伺服電機驅動平板透鏡方式實現微掃描成像，完成了微掃描成像演示實驗，得到分辨率明顯提高的序列圖像[5]。

傳統的超分辨率重構算法研究成果很多，然而針對視頻序列中存在局部運動的目標，傳統超分辨率重構過程中會出現偽影效應的問題，在運動區域周邊的圖像由于運動而導致分辨率嚴重下降[6～8]。為解決該問題，本文開展了微掃超分算法的研究，并在搭建的原理樣機上進行了相關實驗。

1 微掃超分原理

紅外成像儀在圖像采集過程中，由于相機本身分辨率的限制以及噪聲的存在，使得捕獲得到的圖像分辨率較低，且噪聲較大，圖像不清晰，因此需要一種方法來提高圖像分辨率。利用微掃裝置帶動光學系統中某片透鏡組在X、Y方向進行微位移平移，從而使得最終在焦平面上的光學圖像產生1/N（N為整數）像素的平移，得到N×N幀圖像，利用圖像處理平臺將多幀圖像融合重構，最終獲得一幀高分辨率的圖像。

2 抗運動模糊的微掃超分算法

2.1 算法概述

紅外機芯輸出的是經過非均勻校正的640×512、14bit制冷型中波紅外圖像數據，經過超分重構處理后輸出1280×1024、10bit圖像，整個處理流程如圖2所示。

圖2 抗運動模糊的紅外圖像超分辨率重構算法流程

1）紅外圖像預處理：紅外光機通過微掃器微掃輸出非均勻校正后的640×512、14bit位寬中波紅外圖像，經濾波去噪和灰階壓縮后獲得10bit圖像數據；

2）超分重構處理：經過預處理后連續4幀平移0.5像素的中波紅外圖像，經空域迭代超分重構后獲得1280×1024、10bit位寬圖像；

3）紅外圖像的單幀放大與運動區域提取：對第3幀紅外圖像進行單幀放大處理，獲得1280×1024、10bit位寬圖像；采用幀差法（第4幀與第0幀）提取圖像上的運動區域；

4）將2）與3）中獲得的圖像進行融合，運動區域外的部分為全局超分圖像，運動區域為單幀放大圖像，兩部分的邊界進行漸變處理；若3）未檢測出運動區域，則直接輸出超分辨率圖像作為最終結果；

5）將4）中獲得的圖像進行濾波和增強處理，最終獲得1280×1024、8bit抗運動模糊超分紅外圖像。

由于上述流程中其余算法均為常規方法，本文只針對特有的空域迭代超分辨算法和運動區域處理部分展開論述。

2.2 運動區域處理

采用幀差法進行運動區域提取，兩幀圖像逐點相減，背景部分由于沒有相對運動相減后灰度近似為0，而運動區域相減會獲得較大的灰度數據；將幀差圖像采用OTSU進行閾值分割將目標區域與背景區域進行分割，對分割后的二值圖像通過腐蝕處理去除圖像上的噪點等小區域，再進行膨脹處理擴充目標區域邊界；最后進行連通域分析獲取圖像上目標區域的特征，以此特征進行目標區域的篩選合并，最終獲得圖像上的運動區域。

1）幀差

由于微掃器的影響，連續的第1、2、3、4幀之間存在0.5像素的偏移，不利于幀差檢出運動區域，故采用第4幀和第0幀（上一組4幀圖像的第4幀）進行幀差。

2）累計直方圖

累計直方圖是為后續最大類間方差估計做準備，分為兩步。第一步是統計整幅圖像中各個灰階出現的次數，即直方圖統計h（i），i=0，…2N-1，其中N為數據位寬。第二步計算小于等于某個灰階像素總數H（i），其中：

3）OSTU

對幀差圖像中目標和背景區域的分割采用最大類間方差法（OSTU），對圖像I（x，y），前景和背景的分割閾值記作T，前景像素占整幅圖像的比例記為ω0，其平均灰度μ0；背景像素占整幅圖像的比例為ω1，其平均灰度μ1。

從L個灰度級遍歷，即當灰度值取T，前景和背景的方差σ最大，其表達式如下所示，則T為最佳閾值。

遍歷所有的灰階，即I=0，…，1023，獲得這一組σ，其中當σ取最大值即Max（σ）時灰度值為I=T，即T為所求的閾值。

4）二值化處理

采用OTSU獲得的閾值T，遍歷全圖每個像素，采用式(3)進行處理。

其中i=0，…319，j=0，…255。

5）腐蝕膨脹處理

在膨脹腐蝕運算均采用方形的結構元素，假定結構元素的大小為；為了加快膨脹腐蝕的運算可將大小的結構元素分解成水平()與豎直()兩個一維的結構元素，首先用水平結構元素進行形態學處理，將水平結構元素的處理結果作為輸入再用豎直結構元素進行處理，最終得到形態學處理結果。

圖3 結構元素分解

二值圖像上為1的區域可以視為線段，圖像上像素為1的點可以分類為：線段起點、線段組成點和線段終點，從線段起點開始到線段終點為止為一個處理單元，已知線段起點的坐標為，線段終點坐標為。

圖4 像素點類型示意圖

以水平結構元素為例：

對于膨脹操作而言，當確定線段的起點與終點只需要將i1-r≤i≤i1，i2≤i≤i2+r（i1-r≥0，i2+r≤n，n為圖像的列數）范圍內的像素置為1，即完成了圖像的膨脹。

豎直結構元素的腐蝕膨脹與水平一致。通過該方式，只需要對圖像元素進行一次遍歷即可獲得水平/豎直的腐蝕膨脹結果，加快了計算速度。

6）連通域處理

原始紅外圖像在進行二值化、腐蝕等處理的過程中由于噪聲干擾，原本為一體的運動目標可能會被分割為多個小的運動單元，該算法通過計算兩個區域的形心距離，選擇合適的距離閾值，若形心距離大于距離閾值，則認為是兩個獨立的運動目標，若形心距離小于距離閾值，則認為是同一個運動目標，將進行兩個區域的合并。對有效區域合理的合并，可提高運動目標檢測的準確性，降低后續數據處理的難度。

此外噪聲干擾也會導致出現一些小區域的誤檢出，因此除了區域合并以外，本部分也會通過對連通區域長、寬和面積的分析，剔除部分不滿足條件的區域，降低誤檢率。

將連通域分析后獲得的區域特征數組M[N]，判斷每個連通域是否滿足如下判據中的任意一項，若滿足則認為該區域為無效區域，將其剔除。

剔除后獲得新的區域特征數組M'[N']，以數組中的第i個元素M'[i]（i=0，…，N'-2）為基準，依次與M'[j]（j=i+1，…，N'-1）進行比較，求取兩個連通域之間的形心。

2.3 靜態區域的超分重構

靜態區域的超分重構采用空域迭代超分辨率重構方法，采用2×2微掃描工作模式時，如圖1所示。假設重構后圖像為p（i，j）（1≤i≤2h，1≤j≤2w），根據微掃描技術所得到的四幅低分辨率圖像分別為：f（i，j），g（i，j），h（i，j），k（i，j）（1≤i≤h，1≤j≤w）。

圖1 基于微掃的圖像超分辨率成像原理

初始邊界值估計以及條件約束如式(6)所示。

為了消除初始邊界值估計時引入誤差的累積與傳遞導致的圖像顆粒噪聲，計算時會引入一定的低分辨率圖像。改進后重構圖像的灰度表達式如式(7)所示，其中α=0.3。

2.4 運動區域圖像與靜態超分圖像融合

采用4bit寬度數據描述靜態超分圖像和運動單幀放大圖像的融合權值以運動區域邊框為界線，隨著向運動區域內部延伸，增大運動區域權值，同時減小靜態區域權值；而向靜態區域延伸時，增大靜態區域權值而同時減小運動區域權值，從而使得運動區域和靜態區域平滑過渡。

通過對運動區域和靜態區域兩部分的圖像加權融合即可獲得最終抗運動模糊的高分辨率圖像。

3 實驗裝置及結果

為驗證算法的抗運動模糊和分辨率提升的有效性，本文搭建了基于制冷性中波紅外探測器的微掃超分系統，探測器分辨率640×512，像元尺寸15um。在壓電陶瓷微掃器的驅動下，探測器靶面上的圖像以2×2的方式進行掃描，相鄰兩幀圖像間的偏移量為7.5um。采用基于FPGA+DSP的嵌入式實時處理平臺進行抗運動模糊的超分圖像融合。實驗裝置如圖5所示，實際成像效果如圖6所示。

圖5 集成微掃器的紅外光機（上）與圖像處理平臺（下）

圖6 紅外微掃超分系統實際成像效果圖

3.1 抗運動模糊測試

如圖7所示，當未加運動去模糊功能時，運動水杯邊緣有鋸齒和模糊現象；當加入運動去模糊功能時，運動水杯邊緣平滑，無明顯鋸齒和模糊。

圖7 抗運動模糊測試

3.2 超分能力測試

將微掃超分系統的紅外鏡頭對準MRTD測試靶標，使得靶標盤中的1周靶與1.4周靶在成像的視場中心，靶標的溫差從零逐漸增大，直到觀察者能以50%概率分辨出四條帶圖案。根據系統設計參數，1周靶對應整個系統無超分時的理論分辨率。實驗結果如圖8和9所示。

圖8 1.4周靶標觀測圖（正片溫差0.1度可分辨）

圖9 1.4周靶靶標觀測圖（負片溫差0.25度可分辨）

4 結語

為解決現有紅外微掃超分系統的運動偽影和模糊問題，本文提出了一種抗運動模糊的微掃超分重構算法。通過運動區域單幀放大圖像和全局靜態場景的超分圖像融合來獲得無運動模糊的高分辨率圖像。實驗證明，該算法可有效解決運動模糊問題并且提升系統空間能力達40%。該算法可廣泛應用于對空告警、環境感知等應用領域。