某型飛機儀表符號提取與疊加方法

劉 楠，畢篤彥，熊 磊，李權合

(空軍工程大學航空航天工程學院，陜西 西安 710038)

責任編輯:魏雨博

1 .總體算法介紹

飛行座艙內各種儀器儀表、平顯動態顯示畫面提供了飛行過程中幾乎所有的狀態信息［1-2］，而儀表顯示畫面又是這其中最為重要的一個，它處于飛行員水平視線正中，將其與飛機外景畫面疊加并進行地面回放可以實現直觀、逼真地重現飛行全過程或任意指定時刻的飛行狀態，對于提高平時飛行訓練質量、事后分析能力和戰時維修保障水平，以及對現代和未來戰爭具有重要和深遠意義［3］。

目前常用的疊加方法分為3種:光路疊加、電信號疊加和視頻疊加。本文屬于視頻疊加［4］，是根據儀表符號顏色均勻以及顯示區域大致固定的特點，從儀表視頻圖像中提取出儀表符號再與外景視頻進行軟件疊加。疊加過程可以描述為:將指針一開始定位到儀表圖像A開始疊加的位置，逐一掃描圖像A的像素值，如果是背景色則跳過;如果不是則取出該像素值并替換飛機外景圖像B中對應位置的像素值，當整幅圖像A掃描完畢，疊加過程結束，最終實現合成圖像。

區分儀表符號和背景最簡單的是閾值法，這種方法簡單易行，但是要求儀表符號的顏色均勻且具備一定的先驗知識。然而在采集某型飛機儀表畫面時，由于受到其硬件設備自身的限制，原始儀表圖像中常含有多種干擾噪聲與模糊邊緣，如果直接通過設定顏色范圍進行疊加往往會使合成圖像中的儀表符號有較大失真，導致字符難于辨認。本文以現有算法和實驗分析為基礎，采用數字圖像處理方法，首先從儀表視頻圖像中提取感興趣區域并轉化為灰度圖像;然后根據其灰度直方圖的特征提出基于最小交叉熵的局部閾值法分割出儀表符號;繼而進行模板平滑處理，通過斷筆連接和去毛刺獲得失真較小的二值儀表符號;最后將其疊加在飛機外景視頻圖像上，完成視頻的疊加。總體算法流程圖如圖1所示，整個算法的關鍵是獲得清晰、邊緣平滑的儀表符號。

2 儀表符號提取

圖1 總體算法流程圖

為了方便字符的提取，需要對圖像進行閾值化分割［5］，即把圖像灰度分成不同的等級，然后用設置灰度門限的方法確定有意義的區域或預分割的物體邊界。目前對圖像進行閾值分割的方法有很多，主要包括固定閾值法和局部閾值法。固定閾值法是指在二值分割中只使用一個閾值，其中Otsu法［6-8］就是一種公認經典的方法，尤其是當圖像的灰度直方圖為明顯的單峰時有較好的分割效果，然而對于灰度直方圖為雙峰或模糊雙峰時，易造成過分割或欠分割而不能穩定可靠地將目標提取出來。局部閾值法的閾值確定不僅取決于該像素的灰度值及其周圍像素的灰度值，而且與像素位置信息有關。這一類方法對灰度變化敏感，二值化效果一般優于固定閾值法，但存在計算復雜度高的缺陷。本文考慮到所處理的儀表圖像灰度直方圖統計特性，提出了基于最小交叉熵的局部閾值分割方法。

2.1 粗分割

儀表圖像的灰度直方圖大體上呈現雙峰特征，故首先利用雙峰法［9-10］進行初步分割(閾值設為T1)。但是將灰度直方圖放大后進行觀察，發現灰度直方圖實際存在3個區域:背景區域、目標區域和過渡區域，其中過渡區域內可能存在的“峰”已經淹沒在背景區域的“峰”旁邊的緩坡里。所以，這時只用單閾值T1則不能兼顧圖像各處的情況，很難得到良好的分割效果。

本文針對儀表視頻圖像背景區域的像素具有相似的灰度值且像素數目遠遠多于目標區域和過渡區域像素數目的特點，可以通過估計灰度直方圖的統計特性得到占有像素數目最多的灰度級T2，利用T1和T2就可以對原始圖像f(x，y)進行處理得到粗分割圖像，見式(1)。而針對過渡區域灰度分布復雜的特點，為了提高分割的精確性，采用隨背景灰度值變化的自適應閾值分割算法［11］，即首先將圖像分為若干個子圖像塊，然后對各個子塊分別采用基于最小交叉熵準則計算局部閾值。

2.2 基于最小交叉熵的精細分割

最小交叉熵閾值分割的基本思想是用P和Q分別表征分割前后的圖像，求最優閾值使原始圖像和分割圖像之間信息量的差異最小［12-13］。

二值化時，計算目標像素之間的交叉熵和背景像素間的交叉熵，并定義二者之和為原始圖像和分割圖像之間的交叉熵，即

2.3 儀表符號提取步驟

1)儀表圖像預處理:儀表視頻畫面中的有用信息主要集中在畫面的中間部分，其他大部分為黑色背景區域，為了減少圖像處理時間，降低后續運算負擔，只對實拍尺寸為640×480的儀表視頻圖像中間350×250的區域進行處理，并將RGB圖像轉換為灰度圖像，如圖2所示。

圖2 提取感興趣區域

2)對儀表圖像采用雙峰法計算出閾值T1，并統計其灰度直方圖，得到最多像素數目所在灰度級T2。

3)由T1和T2利用式(1)將原始圖像劃分為3個區域。

4)將過渡區域g(x，y)分為n個大小為r×r的子圖像塊，分辨計算每個子塊的最大灰度值g1和最小灰度值g2。如果T2＜＜T1，則認為該子塊內背景和目標的差別較大，需采用最小交叉熵法進行精細分割。其他情況則認為該子塊灰度均勻可是為一個整體，若＞T1，判斷該子塊屬于目標區域;否則認為屬于背景區域。

5)合并各個子集，分割結束。

該算法將簡單的雙峰法和最小交叉熵法結合起來，充分利用了儀表圖像本身的灰度分布特點，雖然最小交叉熵法計算量較大，但是由于過渡區域占整個圖像的比例很小，所以整個算法依然能夠滿足實時性，而且，最小交叉熵在圖像分割中具有平滑作用，使改進的算法能夠滿足一定的抗噪需求。

3 平滑處理

經改進算法分割后的儀表字符及圖形輪廓比較清晰，但是由于受儀表視頻畫面品質的限制，一些字符的邊緣不可避免地出現突起或毛刺，甚至還存在斷筆現象，如“B”、“2”等。因此，為了在最后疊加視頻中盡可能取得良好的效果，消去這些不良因素給后續工作帶來的困難，必須對儀表符號進行修復和去毛刺處理。平滑處理首先要修復字符，連接斷裂筆畫，從左到右、從上到下依次掃描圖像的每個像素點，當檢測到目標像素p為“0”時，以此像素點為中心取8-鄰域，如果以其為中心的8-鄰域與圖3a～3d所示4種模板任一個相同，則將p改為“0”;否則，保持不變，繼續掃描直至結束。

去除毛刺的主要措施與修復字符的方法類似，只是這里需要檢測的目標像素p為“1”時再進行8-鄰域判斷，3種判斷模板如圖3e～3h所示，當與4種模板任一個匹配時，則認為該目標像素p為“毛刺點”，并將p改為“0”;否則，保持不變，繼續掃描直至結束。

圖3 p點的8-鄰域模板

4 視頻疊加

在獲得了失真較小的二值儀表字符和圖形之后，即可進行視頻疊加。疊加實質上就是將指定位置的圖像像素值替換為字符圖像的像素值。本文采用DirectShow技術設計的視頻疊加過濾器連接圖如圖4所示，其中My Video Keyer是實現本文疊加功能的濾波器。

圖4 視頻疊加過濾器連接圖

在實際疊加時，首先在內存中建立一個二值位圖，在這個二值位圖上保存提取的儀表符號。然后將飛機外景視頻圖像幀指定位置的像素與儀表字符點陣的像素位對應，如果儀表字符點陣的像素位值為0，則保持飛機外景主視頻幀對應的像素值不變;如果為1，則將主視頻幀對應的像素值替換為用戶設置的字符顏色值(本文設為R:0，G:255，B:0)。這樣既能保持字符的清晰平滑，又可保證實現實時疊加。

疊加算法基于Visual C++6.0編寫，核心代碼如下:

5 實驗結果與分析

實驗采用實拍儀表視頻以及飛機外景畫面視頻，視頻分辨力均為640×480，實驗條件為:P42.40 GHz處理器和2 Gbyte內存。

實驗采用2組圖片進行，通過對比經典Otsu算法來驗證本文算法的有效性，結果如圖5所示。圖中，第1行為兩幅原始儀表視頻圖像截圖;第2行為經典Otsu法的分割結果，可以看到在字符的邊緣有背景區域被劃分到目標中，造成字符難于辨認，尤其是“2”、“5”等;第3行為本文算法的分割結果，可以看到字符已經可以較為清晰地檢測出來，只是在字符邊緣還存在毛刺;第4行為平滑處理之后的結果，可見儀表符號邊緣減少了許多毛刺，字符更易識別。經對比可以看出，本文提出的方法能夠更好地保持儀表字符與圖形的信息。

圖5 提取實驗結果對比

接下來進行定量分析，采用峰值信噪比(PSNR)［14］來評價原始圖像和分割后圖像之間的差別，其值越大，說明圖像的質量越高。峰值信噪比的公式為

式中:M ×N為圖像大小;W(i，j)，W'(i，j)表示分割后的圖像位置(i，j)處的灰度值，具體如表1所示。從表中的數據也可以看出，本文算法峰值信噪比更高，分割質量更好。

表1 圖像質量評價對比

圖6為儀表視頻與飛機外景視頻疊加后不同幀時的效果(為了便于觀察，將儀表符號放大兩倍后疊加)，可以看出，經本文算法處理之后的疊加視頻字符清晰，視覺效果良好。

圖6 疊加實驗結果

6 結論

本文在分析某型飛機儀表矢量符號視頻特點的基礎上，提出了一種儀表符號提取與疊加實現算法，采用結合最小交叉熵的算法進行分割，并使用模板匹配法對提取出的儀表字符與圖形進行平滑處理。實驗結果表明，本文算法可以較好地提取儀表符號并最終獲得邊緣平滑、易于辨認的儀表字符，提高了疊加視頻的視覺質量，并為進一步的智能儀表字符識別與脫靶量計算打下了基礎。

［1］朱攀蓉，姜紅梅，翟正軍.機載多路音視頻記錄系統的設計與實現［J］. 計算機工程與設計，2006，27(3):393-395，432.

［2］何明耘，張素，戴冠中，等.虛擬座艙中平顯功能實現算法研究［J］.小型微型計算機系統，2001，22(5):596-600.

［3］程偉，左繼章，許悅雷，等.一種機載數字記錄系統的研制［J］.計算機工程與應用，2004，40(8):226-228.

［4］陸其明.DirectShow實務精選［M］.北京:科學出版社，2003.

［5］章毓晉.圖像分割［M］.北京:清華大學出版社，2003.

［6］OTSU N.A threshold selection method from gray level histogram［J］.IEEE Trans.SMC，1979，15(9):62-66.

［7］肖超云，朱偉興.基于Otsu準則及圖像熵的閾值分割算法［J］.計算機工程，2007，33(14):188-189.

［8］王澤兵，楊朝暉.彩色圖像分割技術研究［J］.電視技術，2005，29(4):21-24.

［9］岡薩雷斯.數字圖像處理［M］.北京:電子工業出版社，2007.

［10］沈世，盛翊智.基于邊緣檢測的車牌圖像分割技術［J］.自動化技術與應用，2004，23(3):24-26.

［11］尹傳歷，劉冬梅，宋健中，等.基于視頻圖像的數字儀表讀數自動識別［J］. 微計算機信息，2008，24(28):219-221.

［12］LI C H，TAM P K S.An iterative algorithm for minimum cross entropy thresholding［J］.Pattern Recognition Letters，1998，19(8):771-776.

［13］薛景浩，章毓晉，林行剛.圖像分割中的交叉熵和模糊散度算法［J］.電子學報，1999，27(10):131-134.

［14］胡錦美，李佐勇.基于改進的數學形態學醫學影像分割算法［J］.計算機仿真，2011，28(5):299-302.