某型飛機(jī)儀表符號(hào)提取與疊加方法

劉 楠，畢篤彥，熊 磊，李權(quán)合

(空軍工程大學(xué)航空航天工程學(xué)院，陜西 西安 710038)

責(zé)任編輯:魏雨博

1 .總體算法介紹

飛行座艙內(nèi)各種儀器儀表、平顯動(dòng)態(tài)顯示畫(huà)面提供了飛行過(guò)程中幾乎所有的狀態(tài)信息［1-2］，而儀表顯示畫(huà)面又是這其中最為重要的一個(gè)，它處于飛行員水平視線正中，將其與飛機(jī)外景畫(huà)面疊加并進(jìn)行地面回放可以實(shí)現(xiàn)直觀、逼真地重現(xiàn)飛行全過(guò)程或任意指定時(shí)刻的飛行狀態(tài)，對(duì)于提高平時(shí)飛行訓(xùn)練質(zhì)量、事后分析能力和戰(zhàn)時(shí)維修保障水平，以及對(duì)現(xiàn)代和未來(lái)戰(zhàn)爭(zhēng)具有重要和深遠(yuǎn)意義［3］。

目前常用的疊加方法分為3種:光路疊加、電信號(hào)疊加和視頻疊加。本文屬于視頻疊加［4］，是根據(jù)儀表符號(hào)顏色均勻以及顯示區(qū)域大致固定的特點(diǎn)，從儀表視頻圖像中提取出儀表符號(hào)再與外景視頻進(jìn)行軟件疊加。疊加過(guò)程可以描述為:將指針一開(kāi)始定位到儀表圖像A開(kāi)始疊加的位置，逐一掃描圖像A的像素值，如果是背景色則跳過(guò);如果不是則取出該像素值并替換飛機(jī)外景圖像B中對(duì)應(yīng)位置的像素值，當(dāng)整幅圖像A掃描完畢，疊加過(guò)程結(jié)束，最終實(shí)現(xiàn)合成圖像。

區(qū)分儀表符號(hào)和背景最簡(jiǎn)單的是閾值法，這種方法簡(jiǎn)單易行，但是要求儀表符號(hào)的顏色均勻且具備一定的先驗(yàn)知識(shí)。然而在采集某型飛機(jī)儀表畫(huà)面時(shí)，由于受到其硬件設(shè)備自身的限制，原始儀表圖像中常含有多種干擾噪聲與模糊邊緣，如果直接通過(guò)設(shè)定顏色范圍進(jìn)行疊加往往會(huì)使合成圖像中的儀表符號(hào)有較大失真，導(dǎo)致字符難于辨認(rèn)。本文以現(xiàn)有算法和實(shí)驗(yàn)分析為基礎(chǔ)，采用數(shù)字圖像處理方法，首先從儀表視頻圖像中提取感興趣區(qū)域并轉(zhuǎn)化為灰度圖像;然后根據(jù)其灰度直方圖的特征提出基于最小交叉熵的局部閾值法分割出儀表符號(hào);繼而進(jìn)行模板平滑處理，通過(guò)斷筆連接和去毛刺獲得失真較小的二值儀表符號(hào);最后將其疊加在飛機(jī)外景視頻圖像上，完成視頻的疊加。總體算法流程圖如圖1所示，整個(gè)算法的關(guān)鍵是獲得清晰、邊緣平滑的儀表符號(hào)。

2 儀表符號(hào)提取

圖1 總體算法流程圖

為了方便字符的提取，需要對(duì)圖像進(jìn)行閾值化分割［5］，即把圖像灰度分成不同的等級(jí)，然后用設(shè)置灰度門(mén)限的方法確定有意義的區(qū)域或預(yù)分割的物體邊界。目前對(duì)圖像進(jìn)行閾值分割的方法有很多，主要包括固定閾值法和局部閾值法。固定閾值法是指在二值分割中只使用一個(gè)閾值，其中Otsu法［6-8］就是一種公認(rèn)經(jīng)典的方法，尤其是當(dāng)圖像的灰度直方圖為明顯的單峰時(shí)有較好的分割效果，然而對(duì)于灰度直方圖為雙峰或模糊雙峰時(shí)，易造成過(guò)分割或欠分割而不能穩(wěn)定可靠地將目標(biāo)提取出來(lái)。局部閾值法的閾值確定不僅取決于該像素的灰度值及其周?chē)袼氐幕叶戎?，而且與像素位置信息有關(guān)。這一類(lèi)方法對(duì)灰度變化敏感，二值化效果一般優(yōu)于固定閾值法，但存在計(jì)算復(fù)雜度高的缺陷。本文考慮到所處理的儀表圖像灰度直方圖統(tǒng)計(jì)特性，提出了基于最小交叉熵的局部閾值分割方法。

2.1 粗分割

儀表圖像的灰度直方圖大體上呈現(xiàn)雙峰特征，故首先利用雙峰法［9-10］進(jìn)行初步分割(閾值設(shè)為T(mén)1)。但是將灰度直方圖放大后進(jìn)行觀察，發(fā)現(xiàn)灰度直方圖實(shí)際存在3個(gè)區(qū)域:背景區(qū)域、目標(biāo)區(qū)域和過(guò)渡區(qū)域，其中過(guò)渡區(qū)域內(nèi)可能存在的“峰”已經(jīng)淹沒(méi)在背景區(qū)域的“峰”旁邊的緩坡里。所以，這時(shí)只用單閾值T1則不能兼顧圖像各處的情況，很難得到良好的分割效果。

本文針對(duì)儀表視頻圖像背景區(qū)域的像素具有相似的灰度值且像素?cái)?shù)目遠(yuǎn)遠(yuǎn)多于目標(biāo)區(qū)域和過(guò)渡區(qū)域像素?cái)?shù)目的特點(diǎn)，可以通過(guò)估計(jì)灰度直方圖的統(tǒng)計(jì)特性得到占有像素?cái)?shù)目最多的灰度級(jí)T2，利用T1和T2就可以對(duì)原始圖像f(x，y)進(jìn)行處理得到粗分割圖像，見(jiàn)式(1)。而針對(duì)過(guò)渡區(qū)域灰度分布復(fù)雜的特點(diǎn)，為了提高分割的精確性，采用隨背景灰度值變化的自適應(yīng)閾值分割算法［11］，即首先將圖像分為若干個(gè)子圖像塊，然后對(duì)各個(gè)子塊分別采用基于最小交叉熵準(zhǔn)則計(jì)算局部閾值。

2.2 基于最小交叉熵的精細(xì)分割

最小交叉熵閾值分割的基本思想是用P和Q分別表征分割前后的圖像，求最優(yōu)閾值使原始圖像和分割圖像之間信息量的差異最?。?2-13］。

二值化時(shí)，計(jì)算目標(biāo)像素之間的交叉熵和背景像素間的交叉熵，并定義二者之和為原始圖像和分割圖像之間的交叉熵，即

2.3 儀表符號(hào)提取步驟

1)儀表圖像預(yù)處理:儀表視頻畫(huà)面中的有用信息主要集中在畫(huà)面的中間部分，其他大部分為黑色背景區(qū)域，為了減少圖像處理時(shí)間，降低后續(xù)運(yùn)算負(fù)擔(dān)，只對(duì)實(shí)拍尺寸為640×480的儀表視頻圖像中間350×250的區(qū)域進(jìn)行處理，并將RGB圖像轉(zhuǎn)換為灰度圖像，如圖2所示。

圖2 提取感興趣區(qū)域

2)對(duì)儀表圖像采用雙峰法計(jì)算出閾值T1，并統(tǒng)計(jì)其灰度直方圖，得到最多像素?cái)?shù)目所在灰度級(jí)T2。

3)由T1和T2利用式(1)將原始圖像劃分為3個(gè)區(qū)域。

4)將過(guò)渡區(qū)域g(x，y)分為n個(gè)大小為r×r的子圖像塊，分辨計(jì)算每個(gè)子塊的最大灰度值g1和最小灰度值g2。如果T2＜＜T1，則認(rèn)為該子塊內(nèi)背景和目標(biāo)的差別較大，需采用最小交叉熵法進(jìn)行精細(xì)分割。其他情況則認(rèn)為該子塊灰度均勻可是為一個(gè)整體，若＞T1，判斷該子塊屬于目標(biāo)區(qū)域;否則認(rèn)為屬于背景區(qū)域。

5)合并各個(gè)子集，分割結(jié)束。

該算法將簡(jiǎn)單的雙峰法和最小交叉熵法結(jié)合起來(lái)，充分利用了儀表圖像本身的灰度分布特點(diǎn)，雖然最小交叉熵法計(jì)算量較大，但是由于過(guò)渡區(qū)域占整個(gè)圖像的比例很小，所以整個(gè)算法依然能夠滿(mǎn)足實(shí)時(shí)性，而且，最小交叉熵在圖像分割中具有平滑作用，使改進(jìn)的算法能夠滿(mǎn)足一定的抗噪需求。

3 平滑處理

經(jīng)改進(jìn)算法分割后的儀表字符及圖形輪廓比較清晰，但是由于受儀表視頻畫(huà)面品質(zhì)的限制，一些字符的邊緣不可避免地出現(xiàn)突起或毛刺，甚至還存在斷筆現(xiàn)象，如“B”、“2”等。因此，為了在最后疊加視頻中盡可能取得良好的效果，消去這些不良因素給后續(xù)工作帶來(lái)的困難，必須對(duì)儀表符號(hào)進(jìn)行修復(fù)和去毛刺處理。平滑處理首先要修復(fù)字符，連接斷裂筆畫(huà)，從左到右、從上到下依次掃描圖像的每個(gè)像素點(diǎn)，當(dāng)檢測(cè)到目標(biāo)像素p為“0”時(shí)，以此像素點(diǎn)為中心取8-鄰域，如果以其為中心的8-鄰域與圖3a～3d所示4種模板任一個(gè)相同，則將p改為“0”;否則，保持不變，繼續(xù)掃描直至結(jié)束。

去除毛刺的主要措施與修復(fù)字符的方法類(lèi)似，只是這里需要檢測(cè)的目標(biāo)像素p為“1”時(shí)再進(jìn)行8-鄰域判斷，3種判斷模板如圖3e～3h所示，當(dāng)與4種模板任一個(gè)匹配時(shí)，則認(rèn)為該目標(biāo)像素p為“毛刺點(diǎn)”，并將p改為“0”;否則，保持不變，繼續(xù)掃描直至結(jié)束。

圖3 p點(diǎn)的8-鄰域模板

4 視頻疊加

在獲得了失真較小的二值儀表字符和圖形之后，即可進(jìn)行視頻疊加。疊加實(shí)質(zhì)上就是將指定位置的圖像像素值替換為字符圖像的像素值。本文采用DirectShow技術(shù)設(shè)計(jì)的視頻疊加過(guò)濾器連接圖如圖4所示，其中My Video Keyer是實(shí)現(xiàn)本文疊加功能的濾波器。

圖4 視頻疊加過(guò)濾器連接圖

在實(shí)際疊加時(shí)，首先在內(nèi)存中建立一個(gè)二值位圖，在這個(gè)二值位圖上保存提取的儀表符號(hào)。然后將飛機(jī)外景視頻圖像幀指定位置的像素與儀表字符點(diǎn)陣的像素位對(duì)應(yīng)，如果儀表字符點(diǎn)陣的像素位值為0，則保持飛機(jī)外景主視頻幀對(duì)應(yīng)的像素值不變;如果為1，則將主視頻幀對(duì)應(yīng)的像素值替換為用戶(hù)設(shè)置的字符顏色值(本文設(shè)為R:0，G:255，B:0)。這樣既能保持字符的清晰平滑，又可保證實(shí)現(xiàn)實(shí)時(shí)疊加。

疊加算法基于Visual C++6.0編寫(xiě)，核心代碼如下:

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用實(shí)拍儀表視頻以及飛機(jī)外景畫(huà)面視頻，視頻分辨力均為640×480，實(shí)驗(yàn)條件為:P42.40 GHz處理器和2 Gbyte內(nèi)存。

實(shí)驗(yàn)采用2組圖片進(jìn)行，通過(guò)對(duì)比經(jīng)典Otsu算法來(lái)驗(yàn)證本文算法的有效性，結(jié)果如圖5所示。圖中，第1行為兩幅原始儀表視頻圖像截圖;第2行為經(jīng)典Otsu法的分割結(jié)果，可以看到在字符的邊緣有背景區(qū)域被劃分到目標(biāo)中，造成字符難于辨認(rèn)，尤其是“2”、“5”等;第3行為本文算法的分割結(jié)果，可以看到字符已經(jīng)可以較為清晰地檢測(cè)出來(lái)，只是在字符邊緣還存在毛刺;第4行為平滑處理之后的結(jié)果，可見(jiàn)儀表符號(hào)邊緣減少了許多毛刺，字符更易識(shí)別。經(jīng)對(duì)比可以看出，本文提出的方法能夠更好地保持儀表字符與圖形的信息。

圖5 提取實(shí)驗(yàn)結(jié)果對(duì)比

接下來(lái)進(jìn)行定量分析，采用峰值信噪比(PSNR)［14］來(lái)評(píng)價(jià)原始圖像和分割后圖像之間的差別，其值越大，說(shuō)明圖像的質(zhì)量越高。峰值信噪比的公式為

式中:M ×N為圖像大小;W(i，j)，W'(i，j)表示分割后的圖像位置(i，j)處的灰度值，具體如表1所示。從表中的數(shù)據(jù)也可以看出，本文算法峰值信噪比更高，分割質(zhì)量更好。

表1 圖像質(zhì)量評(píng)價(jià)對(duì)比

圖6為儀表視頻與飛機(jī)外景視頻疊加后不同幀時(shí)的效果(為了便于觀察，將儀表符號(hào)放大兩倍后疊加)，可以看出，經(jīng)本文算法處理之后的疊加視頻字符清晰，視覺(jué)效果良好。

圖6 疊加實(shí)驗(yàn)結(jié)果

6 結(jié)論

本文在分析某型飛機(jī)儀表矢量符號(hào)視頻特點(diǎn)的基礎(chǔ)上，提出了一種儀表符號(hào)提取與疊加實(shí)現(xiàn)算法，采用結(jié)合最小交叉熵的算法進(jìn)行分割，并使用模板匹配法對(duì)提取出的儀表字符與圖形進(jìn)行平滑處理。實(shí)驗(yàn)結(jié)果表明，本文算法可以較好地提取儀表符號(hào)并最終獲得邊緣平滑、易于辨認(rèn)的儀表字符，提高了疊加視頻的視覺(jué)質(zhì)量，并為進(jìn)一步的智能儀表字符識(shí)別與脫靶量計(jì)算打下了基礎(chǔ)。

［1］朱攀蓉，姜紅梅，翟正軍.機(jī)載多路音視頻記錄系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］. 計(jì)算機(jī)工程與設(shè)計(jì)，2006，27(3):393-395，432.

［2］何明耘，張素，戴冠中，等.虛擬座艙中平顯功能實(shí)現(xiàn)算法研究［J］.小型微型計(jì)算機(jī)系統(tǒng)，2001，22(5):596-600.

［3］程偉，左繼章，許悅雷，等.一種機(jī)載數(shù)字記錄系統(tǒng)的研制［J］.計(jì)算機(jī)工程與應(yīng)用，2004，40(8):226-228.

［4］陸其明.DirectShow實(shí)務(wù)精選［M］.北京:科學(xué)出版社，2003.

［5］章毓晉.圖像分割［M］.北京:清華大學(xué)出版社，2003.

［6］OTSU N.A threshold selection method from gray level histogram［J］.IEEE Trans.SMC，1979，15(9):62-66.

［7］肖超云，朱偉興.基于Otsu準(zhǔn)則及圖像熵的閾值分割算法［J］.計(jì)算機(jī)工程，2007，33(14):188-189.

［8］王澤兵，楊朝暉.彩色圖像分割技術(shù)研究［J］.電視技術(shù)，2005，29(4):21-24.

［9］岡薩雷斯.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2007.

［10］沈世，盛翊智.基于邊緣檢測(cè)的車(chē)牌圖像分割技術(shù)［J］.自動(dòng)化技術(shù)與應(yīng)用，2004，23(3):24-26.

［11］尹傳歷，劉冬梅，宋健中，等.基于視頻圖像的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別［J］. 微計(jì)算機(jī)信息，2008，24(28):219-221.

［12］LI C H，TAM P K S.An iterative algorithm for minimum cross entropy thresholding［J］.Pattern Recognition Letters，1998，19(8):771-776.

［13］薛景浩，章毓晉，林行剛.圖像分割中的交叉熵和模糊散度算法［J］.電子學(xué)報(bào)，1999，27(10):131-134.

［14］胡錦美，李佐勇.基于改進(jìn)的數(shù)學(xué)形態(tài)學(xué)醫(yī)學(xué)影像分割算法［J］.計(jì)算機(jī)仿真，2011，28(5):299-302.