劉 迪,曹曉光,薛斌黨,李紅偉
(1.北京航空航天大學 圖像處理中心,北京 100191;2.中國民航管理干部學院 航空安保系,北京 100102)
機場道面異物(Foreign Object Debris,FOD[1])檢測對于跑道運行安全具有現實意義。道面異物可能以3種形式影響航空安全:在氣流的作用下打擊高速運動的飛機,造成蒙皮損傷;或者被吸進發動機,造成發動機損傷;劃傷或者刺傷高速運動的飛機輪胎,嚴重時造成爆胎,進而可能導致機毀人亡的事故。目前,國內機場大多采用在飛機起落間隙利用巡道車進行人工目視檢測的方法,該方法效率低、主觀性強。機場道面異物的自動檢測能夠輔助場務人員進行機場道面的人工檢查,提升檢查的速度和精度。
目前,國際上有4個成熟的異物檢測系統,分別為英國的Tarsier(眼鏡猴)系統、以色列的FODetect系統、新加坡的iFerrer系統、美國的FOD Finder系統。其中只有iFerrer系統采用的是固定式的高分辨率攝像機來進行異物檢測,其他主要采用了毫米波雷達技術來進行異物檢測[2]。
本研究應用于機場道面異物檢測系統,該系統為移動式車載系統,通過實時道面圖像信息的采集,得到道面圖像,采用圖像處理的方法,根據異物的圖像特征來進行異物檢測。
與普通路面相比,水泥混凝土機場道面有其自身的獨特性,背景中存在規則平行的拉毛紋理和各種干擾,比如燈蓋(圖 1(a))、輪胎印(圖 1(c))、標志標線(圖 1(b))、接縫和陰影(圖1(d))等,其中陰影是巡道車采集圖像時產生的,其余均為機場道面的正常干擾。這些都為機場道面異物檢測增加了很大難度。
機場道面常見異物有螺釘(圖 2(a))、碎石子(圖 2(b))、金屬條、生活垃圾、鳥類尸體等,根據民航局對異物危險等級的評估,螺釘、金屬條等金屬質地的異物威脅等級最高;其次為碎石子、鳥類尸體等。
本文選取了對機場飛行安全威脅較高的幾種異物,分別為螺釘、金屬條、碎石子。在機場道面復雜背景下,選取有效特征對異物進行檢測。

圖1 機場道面復雜背景圖Fig.1 Complex background of airport pavement

圖2 機場道面異物圖Fig.2 FODs of airport pavement
通過前期實驗,由于采集到的圖像尺寸為103×138 cm,而異物的尺寸一般處于厘米量級,如果從整幅圖像來分析特征,那么有異物的圖像和正常圖像之間差別很小,很難進行區分。有鑒于此,對實驗圖像進行分塊,分塊大小為4.3×4.3 cm,此尺寸對于長度為1厘米異物能夠進行有效檢測。
角點是圖像很重要的特征,對圖像圖形的理解和分析有很重要的作用。角點沒有明確的數學定義,但人們普遍認為角點是二維圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大值的點。這些點在保留圖像重要特征的同時,可以有效地減少信息的數據量。一般情況下,角點檢測廣泛應用于三維場景重建、運動估計、目標跟蹤、目標識別、圖像配準與匹配等計算機視覺領域。
本研究中的機場道面廣泛存在拉毛平行紋理,標志線、輪胎印也均為平行紋理,所以單純就機場道面復雜的背景來說,角點存在的數量很少,而就本研究選定的異物而言,螺釘為規則的有棱角的異物,而金屬條和碎石子為不規則的尺寸較小的異物,它們均具有較多角點特征。因此選定角點數目作為分類器的一個輸入特征值。
Harris角點[3]是一種成熟的角點檢測方法,本研究選擇Harris角點作為角點檢測方法。
由圖3可見,有螺釘的圖像的Harris角點檢測數目遠遠多于無螺釘的圖像,由此可見,Harris角點特征對于異物的檢測是有效的。

圖3 Harris角點檢測結果Fig.3 Test results of Harris corner
灰度共生矩陣[4]是描述圖像紋理特征的一種常用方法。由于紋理是由灰度分布在空間位置上反復出現而形成的,因而在圖像空間中相隔某距離的兩象素之間會存在一定的灰度關系,即圖像中灰度的空間相關特性。灰度共生矩陣就是一種通過研究灰度的空間相關特性來描述紋理的常用方法。
取圖像(N×N)中任意一點(x,y)及偏離它的另一點(x+a,y+b),設該點對的灰度值為(g1,g2)。 令點(x,y)在整個畫面上移動,則會得到各種(g1,g2)值,設灰度值的級數為 k,則(g1,g2)的組合共有k的平方種。對于整個畫面,統計出每一種(g1,g2)值出現的次數,然后排列成一個方陣,再用(g1,g2)出現的總次數將它們歸一化為出現的概率p(g1,g2),這樣的方陣稱為灰度共生矩陣。距離差分值(a,b)取不同的數值組合,可以得到不同情況下的聯合概率矩陣。(a,b)取值要根據紋理周期分布的特性來選擇,對于較細的紋理,選取(1,0)、(1,1)、(2,0)等小的差分值。
當a=1,b=0時,像素對是水平的,即0度掃描;當a=0,b=1時,像素對是垂直的,即90度掃描;當 a=1,b=1時,像素對是右對角線的,即45度掃描;當a=-1,b=-1時,像素對是左對角線,即135度掃描。
這樣,2個象素灰度級同時發生的概率,就將(x,y)的空間坐標轉化為“灰度對”(g1,g2)的描述,形成了灰度共生矩陣。
基于灰度共生矩陣形成的紋理特征有能量、慣性矩、熵、相關性等。
慣性矩:

相關性:

其中:

根據慣性矩和相關性特征的定義[5]和前期實驗結果(如圖4(b)、(c))可以得出:
有異物的圖像一般情況下,明暗變化比較明顯,慣性矩的值會偏高。相關性體現了圖像紋理的一致性,有異物的情況下,圖像的一致性不好,相關性的特征值較低。
因此,本研究選取慣性矩和相關性作為描述圖像的特征。
灰度級分布范圍[6]體現了圖像的灰度直方圖特征,有異物的圖像目標和背景的差異較大,灰度級的分布范圍較廣,而單純背景的正常圖像灰度級分布范圍較窄,以此為特征來進行檢測,得到了較好效果。
本實驗訓練樣本集為分塊后的4.3×4.3 cm異物圖像205張和正常圖像682張。其中,異物圖像包括螺釘162張、金屬條24張、碎石子19張,正常圖像包括各種正常機場道面情況,有地燈、標志線、輪胎印、單純拉毛、輪胎印與標志線混合等復雜背景。
對訓練樣本分別提取Harris角點、慣性矩、相關性和灰度級分布范圍特征,得到訓練樣本的特征曲線圖,分別見圖4(a)、(b)、(c)、(d)。

圖4 特征曲線Fig.4 Characteristic curves
由特征曲線圖可以看出,這些特征對于區分異物圖像與正常圖像是有效的。
本實驗選定的測試圖像為103×138厘米的整張圖像共160張,均為挑選后具有代表性的圖像。其中異物圖像80張,正常圖像80張。
進行測試時,首先將圖像進行切塊,整張圖像切成768張小圖,逐張小圖進行檢測,若有一張小圖被檢測為異常,則判定整張圖像為異物圖像。
由特征曲線圖可明顯看出異物圖像和正常圖像之間的區分性,通過訓練樣本集的特征,選定角點、慣性矩、相關性和灰度級分布范圍特征閾值分別為2、0.6066、2.2358、105。得到的測試結果如表1所示。
筆者定義,正常圖像被檢測為異物圖像的比率稱為誤檢率,異物圖像被檢測為正常圖像稱為漏檢率。可以看出,閾值法測試結果較好,誤檢率為1.2%,漏檢率為2.5%,總體正確率達到了98.1%。正常圖像被誤檢為異物圖像的只有1張,其原因為,在整幅圖像均充滿輪胎印背景時,出現一處白色不明污點,使得局部對比度增大,故誤判為異物。異物圖像有兩張存在漏檢,原因為,在分塊時,異物被切割到邊緣,使得其特征不明顯,故造成漏檢,擬采用的解決方法為,采取重疊分塊的方式,使得異物以很大概率落在分塊后小圖的中央,進而減少漏檢情況發生。

表1 閾值法測試結果Tab.1 Test results of threshold method
SVM法[7]是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的,根據有限的樣本信息在模型的復雜性(即對特定訓練樣本的學習精度)和學習能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷,以期獲得最好的推廣能力。
SVM法得到的結果如表2所示。

表2 SVM法測試結果Tab.2 Test results of SVM
可以看出,與閾值法相比,SVM法的誤檢率較低,為0.0%,但漏檢率達到了5.0%,偏高。
2種方法綜合起來看,檢測結果具有一致性,檢測正確率均達到了98%左右,說明特征選取有效,可以準確的在機場道面復雜背景下檢測出異物。
本研究在解決機場道面異物自動檢測問題上,給出了初步成果。首先,找出了機場道面常見異物相對于復雜背景的有效特征,用于實際檢測問題。其次,根據分塊原理,在正確檢測的基礎上,可以實現異物的初步定位。最后,此研究成果可用于實際機場道面異物自動檢測系統的搭建,使機場道面異物自動檢測系統的實現成為可能。
[1]樊曼劼.機場跑道異物(FOD)檢測研究[D].北京:北京交通大學,2011.
[2]李煜,肖剛.機場跑道異物檢測系統設計與研究[J].激光與紅外,2011,41(8):909-915.LI Yu,XIAO Gang.Study and design on FOD detection and surveillance system for airport runway[J].Laser&Infrared,2011,41(8):909-915.
[3]ZHAO Wan-jin,GONG Sheng-rong,LIU Chun-ping,et al.Adaptive harris corner detection algorithm[J].Computer Engineering,2008,34(10):212-214.
[4]Haralick R M,Shanmugam K,Dinstein I H.Textural features for image classification[J].Systems, Man and Cybernetics,IEEE Transactions on,1973,3(6):610-621.
[5]高程程,惠曉威.基于灰度共生矩陣的紋理特征提取[J].計算機系統應用,2010,19(6):195-198.GAO Cheng-cheng,HUI Xiao-wei.GLCM-Based texture feature extraction[J].Computer Systems&Applications,2010,19(6):195-198.
[6]謝鳳英,趙丹培.Visual C++數字圖像處理[M].北京:電子工業出版社,2008.
[7]Chen P H,Fan R E,Lin C J.A study on SMO-type decomposition methods for support vector machines[J].Neural Networks, IEEE Transactions on,2006,17(4):893-908.