韓 冰, 劉貢平, 郝 巨, 杜坤鵬, 王彥哲, 魏燕定*
1.中航西安飛機工業集團股份有限公司,陜西 西安 710089; 2.浙江大學 機械工程學院,浙江 杭州 310027)
飛機總裝配階段機載系統功能檢測是通過試驗和檢測,獲取被測對象的光、電、聲、機械、理化等各類參數并感知其特性和功能信息的過程,實現對產品狀態和特性的獲取、傳輸、分析、處理和顯示等任務。飛機總裝測試技術用于獲取飛機在總裝階段試驗過程定性、定量的數據和信息,確定和驗證飛機的性能和狀態,其技術的先進與否直接影響到航空產品的先進性和可靠性,同時也會對產品的研制和生產周期產生影響。
顯示控制系統是飛行員與航電系統交互的人機接口,也是感知任務系統、飛控系統、機電系統和環控系統等非航電系統實時狀態的關鍵橋梁[1-3]。大量飛機機載系統功能測試先由外部信號激勵機載系統,再由駕駛艙內顯示控制系統判讀飛機響應狀態。傳統飛機總裝測試采用測試人員在環,由人工判讀和記錄的開環測試方法存在測試效率低、數據無法溯源、誤判風險和無法記錄測試全部動態響應過程等諸多問題。
為了解決上述問題,本文基于機器視覺方法,提出了一種飛機總裝測試顯控板顯示自動識別技術,可自動獲取和判讀機載系統測試過程中駕駛艙內部顯示信息,構建從外部測試激勵到機載系統信息反饋的閉環測試系統,能夠有效提高總裝測試效率。同時,本文所提出的自動化測試方法對相機的安裝布置無特殊要求,待識別顯控板畫面只需處于相機視野內即可,算法自動將視野內任意位置的畸變顯控畫面校正到標準狀態,故與一般的工業領域圖像識別系統相比,對安裝角度和位置沒有要求,極大降低了人工布置相機設備的難度,增加了相機在駕駛艙內可用的布局空間和靈活性。
因此,本文對革新飛機總裝測試設備和測試方法,推動飛機總裝測試技術向集成化、程序化、少人化發展起到推動作用。
飛機總裝測試涵蓋飛控測試、航電測試和機電測試,現行的測試方法根據測試任務書或測試技術條件指導人工實際操作,測試步驟依據工藝人員編輯生成的紙質測試用例。現場測試人員按文件中的測試步驟逐一操作對應的外部設備或艙內操縱機構,觀察顯控板顯示畫面與其他外部測量設備反饋,判斷系統測試響應的正確性和是否滿足功能要求,并填寫紙質試驗測試記錄。由此可見,傳統測試手段自動化程度較低,完全依賴人工評價測試響應和記錄試驗結果,降低了飛機總裝測試效率,且紙質記錄無法復現和溯源原始測試過程界面,當出現特定故障時,分析排故效率低。
飛機顯示控制板(顯示控制系統)由顯示終端、顯示控制組件和顯示處理單元組成[2]。顯示控制組件根據不同系統功能和交聯的外系統模塊,由幾十種控制板組成。本文所述顯控板識別主要針對顯控系統的顯示終端識別,根據測試需求識別顯示終端上的顯示畫面,自動獲取對應測試步驟的顯示反饋。圖1為某機型飛機駕駛艙及顯示終端畫面示意圖。如圖1所示,飛機駕駛艙前端紅色框區域為顯示控制系統的顯示終端,其顯示畫面包含多功能顯示頁面、主飛行顯示頁面、發動機參數信息頁面、飛行管理頁面和主狀態顯示頁面等,可依據顯示需求進行切換。

圖1 某機型飛機駕駛艙及顯示終端畫面示意圖
以飛機總裝測試中飛控系統的測試步驟為例,分析測試流程和人工判讀需求。首先,進行舵面傳動比與極性檢查,通過操作控制面板設置舵面處于不同工作狀態;之后操縱駕駛盤、駕駛柱或腳蹬等操縱機構,使對應舵面按一定方向旋轉至最大極限位置;最后,通過外部測量設備記錄舵面實際偏轉角度,并通過駕駛艙內顯控板顯示終端,人工判讀舵面偏轉角度大小和極性是否正確。對某些功能進行檢查測試時,通過設置能源、供電或系統處于特定模式下,人工判讀顯控板狀態是否達到顯示要求,并通過人工觸發某些特定故障,檢查顯控板顯示頁面是否出現相關故障顯示、告警和提示。與上述類似的測試用例和步驟,都存在大量人機交互的過程,判讀顯示頁面結果是飛機總裝測試檢驗測試結果反饋正確性的必要手段。
為了實現飛機總裝測試的顯控板顯示頁面自動識別功能,需要明確測試相關的顯示頁面特點和自動判讀需求。以某型飛機顯控板顯示頁面為例,飛控系統、航電系統和機電系統相關顯示信息具有以下共同特點:
① 同一頁面的顯示內容和顯示位置固定。
② 顯示頁面由圖塊、字符和指針等元素組成。
③ 通過頁面圖塊顏色、顯示字符內容和指針位置等可判讀相關測試反饋。
根據上述頁面特點和識別需求,顯控板顯示頁面自動識別的整體方案如圖2所示。顯控板顯示頁面自動識別的過程為:首先,工業相機自動采集待識別顯控板區域圖像,圖像識別系統對原始圖像進行特征提取,與待識別目標頁面基準圖像的特征向量進行特征匹配,獲取頁面區域在原始圖像中的定位;然后,基于頁面定位參數,通過仿射校正提取出待識別頁面,并使其校正為標準大小的正視頁面圖像;由于該頁面上各個模塊顯示位置固定,根據每個模塊已知的區域位置,可準確定位到待識別的目標模塊,進而從圖像中依據區域坐標或雙向投影法查找區塊邊緣,并分割出待識別目標模塊;最后,根據待識別目標模塊類型,將分割好的待識別目標輸入過對應模型進行識別。識別結果通過數據庫管理,可自動生成測試結果報告,顯著提高了測試效率。

圖2 顯控板顯示頁面自動識別的整體方案
根據測試項目的需求,圖像采集設備布置在總裝生產線上的不同架次的飛機上。技術人員在布置相機安裝位置過程中,只能夠將圖像采集區域控制在一定范圍內,使待識別目標位于相機視野中,無法保證每一次安裝后拍攝目標固定于圖像同一位置。為了降低技術人員配置圖像采集設備的操作要求,解決待識別目標的旋轉、傾斜、縮放和光照變化等問題,提高顯控板顯示頁面識別的準確性和魯棒性,本文采用具有尺度不變性和旋轉不變性的SIFT (Scale Invariant Feature Transform,尺度不變特征轉換)算法[4]進行待識別頁面特征點的提取,為后續頁面定位和校正提供穩定特征描述子。顯控板顯示頁面圖像的SIFT特征提取步驟如下。
2.1.1 構建尺度空間
為了模擬圖像數據的多尺度特征,采用高斯核函數對圖像進行尺度變換,獲得圖像在尺度空間下的多尺度序列表示。
定義輸入二維圖像為I(x,y),尺度參數為σ,該圖像尺度空間L(x,y,σ)獲取過程可表示為
L(x,y,σ)=G(x,y,σ)*I(x,y)
(1)
式中:G(x,y,σ)為高斯平滑核函數;*為卷積符號。G(x,y,σ)表達式為
(2)
為了有效在尺度空間檢測圖像穩定的關鍵點,采用高斯差分(Difference of Gaussian,DoG)尺度空間極值作為判斷依據。將高斯金字塔圖像中同一尺度相鄰的兩層圖像相減,可得DoG算子為
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
(3)
式中:k為兩個相鄰尺度圖像的尺度比。
2.1.2 檢測極值點
在DoG空間中搜索圖像像素極值點,除DoG最頂層和最底層外,每層圖像的每個采樣像素點均要與周圍26個鄰域點進行比較,這26個鄰域點包括:同尺度層相鄰的8個像素點、上下相鄰尺度層各9個像素點。當采樣像素點較這26個點大或小時,則為極值點,將其視為候選的關鍵點,標記其位置和相應尺度空間。為了獲得穩定的特征點,會對候選極值點的原圖精確位置進行插值定位,剔除不穩定點、消除邊緣響應。
2.1.3 提取特征
為了保證獲得的描述符具備旋轉不變性,基于圖像局部特征為關鍵點分配基準方向。采用圖像梯度法計算關鍵點鄰域內所有點的梯度值和梯度方向:
(4)
(5)
其中:
fx(x,y)=L(x+1,y)-L(x-1,y)
fy(x,y)=L(x,y+1)-L(x,y-1)
式中:m(x,y)為點(x,y)處梯度模值;θ(x,y)為點(x,y)處梯度方向。
像素點在平面內的梯度方向在0~360°量化為8個方向,選取關鍵的點8×8鄰域,統計鄰域內各點梯度方向和幅值,利用梯度直方圖找到最大值最為關鍵的點鄰域內的主方向,以此為SIFT特征關鍵點的基準方向。利用關鍵點周圍鄰域內的像素點描述關鍵點特征,在關鍵點8×8鄰域內,將4×4劃分為一個區塊,使整個鄰域劃分為2×2個區塊。每個區塊由8個方向進行描述,故關鍵點8×8鄰域可生成4×4×8=128維的特征描述子。這個128維特征向量具備尺度不變性、旋轉不變性,歸一化后具備光照不變性,能夠穩定描述顯控板不同顯示頁面的圖像特征。
為了展示特征點計算結果,將檢測圖像轉為灰度圖,特征點通過彩色圓圈繪制在對應圖像上,圓圈大小表示特征點大小,圓圈內部線段表示特征點的方向。顯控板兩張顯示頁面特征點計算結果如圖3所示。

圖3 顯控板頁面特征點計算結果示意
基于上文所述SIFT特征提取方法,可以獲得顯控板顯示頁面基準圖像和相機采集的輸入圖像的特征描述子,通過對輸入圖像特征描述子進行與基準圖像特征描述子最近鄰搜索[5],達到圖像特征點匹配的目的,即可找到顯示頁面基準圖像在輸入圖像中的位置。為此,本文采用FLANN(Fast Library for Approximate Nearest Neighbors,快速近似最近鄰搜索庫)算法[6],基于 K-D Tree在高維矢量之間進行相似性檢索,n維空間的歐式距離定義式如式(6)所示,計算結果d(x,y)值越小,則說明特征點之間的相似程度越高。
(6)
將數據點在n維空間Rn進行層次劃分,通過將數據點劃分成多個索引結構能夠大大加快檢索速度,在K-D Tree中檢索數據點與查詢點距離最近的歐式距離。向量空間Rn中所有的歐式距離d(x,y)通過K-D Tree結構存儲,與參考點距離最鄰近點的搜索過程是K-D Tree由上至下的遞歸過程[7]:首先以某一特定維數為基準將目標點和分割點的值進行比較,判別目標點是在左區域還是在右區域;然后循環與對應節點進行比較,直到目標搜索成功為止。
為了展示特征點匹配效果,將基準圖像(左側)與相機采集的輸入圖像(右側)水平排列,在符合算法要求的最佳匹配點之間繪制藍色直線,即從基準圖像到輸入圖像對應匹配點之間的匹配線。根據匹配點的對應關系,可以在輸入圖像上準確找到基準圖像(檢測頁面)的位置(用紅色實線將頁面框出)。顯控板頁面特征點匹配結果如圖4所示,圖4中匹配點對應準確,匹配線平行無交叉,表明匹配算法適合顯控板頁面特征點匹配。

圖4 顯控板頁面特征點匹配結果示意
2.3.1 頁面校正
工業相機采集的原始圖像是將三維空間中顯控板顯示頁面投影到二維圖像平面上,透視投影使原本為矩形的標準顯示頁面在成像過程中發生透視變形,產生縮小效應、滅點效應和圖像信息失真[8]。為了便于對待識別目標進行分割和目標識別,需要通過透視變換,把存在角度視差的顯示頁面圖像轉換為正視的標準顯示頁面,達到校正頁面的目的。透視變換數學模型[9]為
[x′,y′,1]=[u,v,1]A
(7)
式中:A為3×3的變換矩陣;[u,v,1]為變換前的圖像點坐標;[x′,y′,1]為變換后的圖像點坐標。
變換矩陣A的參數包含了線性變換、平移變換和透視變換的轉換關系。由于處理目標為二維圖像,所以a33恒為1。由每一對匹配點可得到兩個參數方程,通過提取源圖像4個點坐標和目標圖像4個點坐標,可以構造8個方程,故可以解出變換矩陣A的8個未知參數。根據求解出的透視變換矩陣能夠對產生透視變形的顯示頁面進行校正,獲得標準尺寸的顯示頁面正視圖。顯控板頁面校正結果示意如圖5所示。

圖5 顯控板頁面校正結果示意
2.3.2 目標定位與分割
基于上文算法可以準確獲取顯控板待識別頁面標準尺寸的正視圖像,由于顯示頁面具有顯示內容和顯示位置在同一頁面上固定的特點,可根據圖像區域坐標分割頁面上的目標區塊。通過制定目標區域坐標映射表,將不同頁面的坐標參數與對應頁面綁定,根據目標頁面標記能夠快速查找待識別目標區塊位置,進而進行分割。為了保證目標區塊位置準確,通過快速檢索提取的圖像區塊需要進行位置精確定位和分割。下面以顯控板顯示頁面字符精確分割為例介紹分割算法。
采用雙向投影法進行字符的精確定位和分割,為后續字符識別做準備。投影法分割[10]是將圖像分別在橫坐標方向和縱坐標方向進行逐行掃描,求取相應列和行的灰度累加和,再根據灰度累計分布,采用門限法或峰谷值法獲取單個字符。快速檢索提取的主飛控頁面下方字符ROI(Region of Interest,感興趣區域)示例如圖6(a)所示,灰度化后的字符ROI如圖6(b)所示。

圖6 主飛控頁面下方字符ROI區域及其灰度化
采用雙向投影法分別進行水平方向掃描和豎直方向掃描,兩個方向上的投影曲線分別如圖7(a)和圖7(b)所示。根據投影曲線的峰谷值,可以確定每個字符在水平方向和豎直方向的分割線,圖7(c)和圖7(d)為兩個方向的字符分割線。從圖7可以明顯看出雙向投影的累積灰度值和字符間隔大小,故雙向投影法適用于顯控板顯示頁面字符分割。字符分割結果如圖8所示。

圖7 字符投影曲線和分割線

圖8 字符分割結果
2.4.1 圖塊顏色識別
飛機總裝測試過程中,測試人員需根據顯控板某些顯示頁面上的區域顏色進行飛機狀態監測。以主飛控系統測試為例,副翼狀態判定、水平安定面狀態判定和液壓系統狀態判定等測試內容都需要根據對應位置的顯示顏色進行結果判讀。RGB顏色空間采用紅、綠、藍三原色表示,物理意義清晰,但表達的色度與感知有差距,且顏色分量受光照強度影響很大。HSV顏色空間基于相互獨立的色調(Hue)、飽和度(Saturation)和明度(Value)表達顏色,彩色信息(色調和飽和度)與明度分量無關聯,這種表示方式相對人眼自然且直觀[11-12]。為了使機器視覺判定顏色的過程更接近人眼感知、不受光照強度的影響,本文采用HSV顏色空間進行顯控板顯示頁面圖塊顏色的識別。
顯控板顯示頁面的區塊主體顏色通常取決于中心區域的顏色,邊緣部分一般會與背景色產生模糊,因此在區塊顏色識別的過程中,首先將快速檢索提取的圖像區塊應用數學形態學腐蝕縮小輪廓范圍,提取核心區域,以提高顏色識別準確率。相機獲取的原始圖像是RGB圖像,在提取出待識別的核心區域后,將RGB圖像區塊的R、G、B分量轉換為H、S、V分量。無須關注V分量,根據H分量和S分量所處范圍區間判斷像素點顏色,最后通過顏色和顯示頁面目標狀態的映射關系判斷識別結果。
定義max=max(R,G,B),min=min(R,G,B)。當max≠min時,RGB顏色空間到HSV顏色空間的映射過程為
(8)
2.4.2 指針位置識別
顯控板多功能顯示頁面中包含大量指針類型的圖塊,通過指針相對刻度尺的讀數反饋飛機相關的舵面偏轉角度、機構位置信息和系統狀態參數等內容。各頁面中此類型圖塊的具體細節并不相同,但主體組成元素一致,即包括三角形或類似等腰梯形的指針、指示讀數的刻度尺和量程參數,故可將其歸為一類目標識別模型進行設計。以主飛控頁面右副翼偏轉角度識別為例,描述本文提出的指針類型圖像自動識別算法。
為了實現自動判讀右副翼偏轉角度,需要準確識別刻度尺的線段起止點坐標和線段長度,以及指針三角塊的頂點坐標,由已知量程即可自動判讀右副翼當前偏轉角度。通過快速檢索提取的右副翼偏轉角度圖塊如圖9(a)所示。
刻度尺識別采用Canny變換與Hough變換的直線提取算法。首先基于Canny變換,對刻度尺指針圖塊區域進行輪廓提取,將原始圖像轉換為鏤空線條圖像,如圖9(b)所示。然后,基于Hough變換,提取圖9(b)中的各個線段,通過設定參數、調節閾值,提取出滿足要求的刻度尺線段,并讀取該線段起始點和終止點的像素坐標。刻度尺線段提取結果如圖9(c)所示,紅色實線為識別出的刻度尺,起點像素坐標為(23,25),終點像素坐標為(23,93)。

圖9 右副翼刻度尺識別示意
指針位置識別采用基于顏色的區域分割和輪廓極點提取算法。首先,根據指針顏色設定RGB閾值分割范圍,圖9(a)中所示的右副翼指針為黃色,根據黃色閾值范圍提取出的ROI區域如圖10(a)所示。將該圖灰度化,轉換為圖10(b)所示的灰度圖像。圖10(b)中可清晰看見大量干擾噪聲,運用數學形態學的開運算,除去此類離散微小顆粒。然后,對處理好的指針灰度圖像二值化,提取三角形指針輪廓的最左極點坐標,即可得到指針頂點的像素坐標。如圖10(c)所示,指針頂點的像素坐標為(30,92)。

圖10 右副翼指針位置識別示意
刻度尺和指針圖像的坐標系是相同的,若刻度尺起點像素坐標為(23,25),終點像素坐標為(23,93),指針頂點像素坐標為(30,92),可以計算出指針頂點相對于刻度尺的位置信息,易得示例中的指針讀數為18.35°。
2.4.3 顯示字符識別
顯示控制系統交聯邏輯復雜、顯控組件種類繁多,大量飛機狀態信息、系統參數和告警信息等內容通過液晶屏顯示畫面反饋給駕駛員,這些字符畫面包括:數字、英文字符、漢字和其他相關符號。字符識別的方法有很多種,例如模板匹配法、自組織映射法、支持向量機[13]和神經網絡等。其中,神經網絡是目前成熟度較高、識別精度較好、應用范圍較廣的機器學習方法,適用于圖像識別[14]、文本識別和語音識別[15]等多種應用場景。
本文采用卷積神經網絡(Convolutional Neural Networks,CNN)[16-17]訓練字符識別模型。CNN是一種多層前饋網絡,屬于深度學習的一類代表算法,與一般神經網絡的區別在于其不采用全連接,而是由包含卷積層和采樣層(池化層)的局部連接構成。在卷積層后一般連接非線性化的采樣層,具有很強的泛化能力,能有效提取圖像特征。
CNN訓練過程如下:首先,制作訓練樣本集。在CNN訓練過程中,訓練數據的涵蓋范圍、制作樣本的采樣密度和樣本的真實度等條件決定了CNN訓練模型的效果。利用上文所述投影法字符分割方法,可將顯控板顯示頁面上的各類字符分割為單個字符的小圖像,每個字符圖像尺寸轉換為標準的30像素×40像素,手動為樣本圖像添加對應標簽。隨后,利用CNN模型對樣本集進行訓練,訓練過程中每隔固定迭代次數計算損失值,并從樣本集中隨機抽取測試樣本進行識別精度檢測,直至網絡模型損失值逐漸收斂接近0,精度達到識別要求為止。
為了驗證本文顯控板狀態識別算法,在實驗環境下搭建模擬飛機駕駛艙顯示系統進行測試。模擬飛機駕駛艙顯示系統由駕駛艙模擬顯示終端、駕駛艙模擬操縱機構、顯控板識別工業相機和圖像處理工作站組成。采用LCD顯示屏模擬飛機駕駛艙4塊顯控板顯示終端,顯示終端模擬顯示飛機多種多功能頁面,并在模擬操作操縱機構的駕駛盤、駕駛柱和腳蹬時,實時顯示對應操作反饋,例如模擬顯示各舵面運動狀態、飛控系統狀態和交聯系統狀態等畫面。顯控板識別工業相機通過支架固定于模擬駕駛艙后端頂板,根據實際測試需要可調整安裝位置,保證能夠采集到完整、清晰的待識別顯示區域圖像。圖11(a)為模擬飛機駕駛艙顯示系統各組成部分與駕駛艙內布局示意,實驗針對主飛控系統測試,模擬顯示頁面中主飛控頁面的正常狀態,并以此圖像作為主飛控頁面的基準圖像,如圖11(b)所示。

圖11 模擬飛機駕駛艙顯示系統與主飛控測試頁面
為了驗證待識別頁面定位技術的準確性和穩定性,不斷改變工業相機的拍攝位置、角度和環境光照強度,重復測試待識別頁面定位的精度。圖12為待識別頁面定位技術實驗驗證結果示例,圖12(a)和圖12(b)為改變工業相機圖像采集角度、距離的測試結果,圖12(c)為降低環境光照強度的測試結果。從重復匹配定位測試的結果來看,所提出的定位方法適用于飛機總裝測試顯控板識別的環境,主飛控頁面定位準確度具備尺度不變性和旋轉不變性,且對光照有良好的魯棒性。
同樣地,為了驗證顯控板識別系統在顯控板或相機鏡頭部分遮擋情況下,待識別頁面匹配定位的準確性,對待識別目標進行部分遮擋,結果如圖13所示。圖13中障礙物隨機遮擋主飛控測試頁面,系統根據未被遮擋部分的目標特征推算完整顯示頁面位置,完成目標頁面的匹配定位。實驗結果表明,本文算法在待識別目標部分遮擋情況下,仍能夠準確定位目標頁面,對目標未遮擋的部分仍可以進行識別。

圖13 待識別目標部分遮擋實驗
基于本文提出的飛機總裝測試顯控板狀態識別方法,設計出了基于機器視覺的某型飛機總裝測試顯控板狀態自動識別軟件,并將該測試系統應用于某型飛機總裝系統測試中。該測試軟件主要功能包括:圖像采集設備配置管理、顯控板識別任務設計編輯、測試過程圖像視頻記錄和顯控板顯示頁面自動識別(包括:自動識別相機采集畫面中的顯示頁面種類、自動定位待識別目標位置、自動校正和分割待識別目標、自動識別目標、顯示識別結果)。該軟件可識別某型飛機顯控板多功能顯示頁面、主飛行顯示頁面、發動機參數信息頁面、飛行管理頁面和主狀態顯示頁面等。
軟件系統采用B/S架構,在測試網絡內部,測試人員可通過任意移動終端獲取來自視覺服務器的執行界面、下達測試項目的任務指令和查看自動識別的結果。該軟件測試圖片實時查看界面示例如圖14所示,測試執行界面和結果查看界面示例如圖15所示。

圖14 軟件測試圖片實時查看界面示例

圖15 軟件測試執行界面和結果查看界面示例
應用本文圖像識別算法自動判讀,某次顯控頁面狀態識別測試界面示例如圖16所示,部分自動識別結果如表1所示。實驗結果表明,本文所設計的算法在該應用場景下,能夠準確判讀顯控板顯示頁面狀態參數。

圖16 顯控頁面狀態識別測試界面示例

表1 部分識別結果
研究了基于機器視覺的飛機總裝測試顯控板狀態自動識別方法。采用SIFT與FLANN算法進行待識別頁面特征匹配與定位,基于圖像區塊位置提取待識別目標,并針對頁面上的圖塊區域顏色、指針位置和字符識別需求,分別建立了識別模型,可實現飛機總裝測試顯控頁面狀態的自動識別。針對本文方法,設計了某型飛機總裝測試顯控板狀態自動識別軟件,并通過關鍵技術驗證和應用實例測試,證明了本文方法的有效性,對飛機總裝測試技術向自動化和智能化發展起到了一定的推動作用。