基于模糊差影法的圖像信息缺失檢測研究

葉 琴，宋 東，曹玉舉，韓仁杰

(西北工業大學民航學院，陜西 西安710072)

1 引言

飛機綜合顯示系統作為飛行員和飛機航電系統之間重要的人機交互接口，其主要功能是對采集到的數據進行處理和邏輯運算，并與大氣數據航向姿態基準系統、導航系統、識別系統、飛行參數記錄儀多個系統交聯，同時向飛行員提供當前飛行環境、飛機狀態所涉及到各種圖像信息、告警信息等。因此在其生產制造及維護過程中，保證其顯示畫面中各種符號信息正確、完整至關重要。但往往在其下屬很多儀表信息顯示過程中，常常出現某些刻度或者示數沒有顯示，畫面模糊，關鍵區域圖像信息未顯示[1]等缺陷，從而影響到飛行安全。

在傳統的飛機總裝測試過程中，對這些圖像未顯示缺陷的識別主要依靠人工判讀和傳統的機器學習，一旦在背景為復雜缺陷，微弱缺陷的場景下，這些傳統方法便存在一定局限性，測試效率低下。隨著機器視覺及計算機圖像識別技術的發展，近些年吸引了很多學者進行了缺陷檢測研究。Ruoxu Ren提出了利用深度學習進行表面缺陷特征檢測[2]，并將其用于工業上。Faghihi-Roohi提出的基于卷積神經網絡訓練從數小時視頻中提取缺陷圖像獲取特征，并用于鐵軌缺陷檢測[3]。此外，非線性神經網絡由于能夠自動學習高維度的目標特征，也大大提高了復雜場景下的識別性能[4]。但上述研究在圖像獲取和校正處理過程中均不可避免的存在像素偏移等缺陷，引起實際獲取的圖像與理論顯示圖像存在像素級的差異。為減小這種微弱缺陷帶來的像素級誤差，本文在傳統差影法的基礎上，通過分析飛機綜合顯示系統的關鍵儀表姿態儀的圖像前景顯示特點，研究了模糊差影算法，該算法通過改變差影的規則，從而增強了對顯示圖像缺陷判讀的容錯性，最后通過GL studio仿真的虛擬姿態儀與攝像機聯合進行實驗驗證，結果表明該方法能有效識別圖像顯示缺陷，為飛機總裝測試實現自動化奠定了基礎。

2 模糊差影算法研究

2.1 差影法分析

傳統的差影法是基于同一場景下兩幅圖像對應位置的像素值相減實現的，當兩幅圖進行相減時，相同時位置的背景點因為灰度值相同，結果變成全黑，位置不同時，相減后值不為0，處理后的圖像就只在兩張圖像的位置有像素點，背景變為全黑，因此在可控環境下，或者在很短的時間內，可以直接使用差分運算檢測變化或者運動的物體。其計算公式如下所示

C(x，y)=A(x，y)-B(x，y)

由上述差影法的計算公式可知，A(x，y)與B(x，y)兩張圖像要進行差影計算，就需要兩張圖像高度一致，對應位置像素級的相減。而在深度學習，包括機器視覺進行圖像缺陷檢測時，獲取的圖像往往存在不同大小的圖像變化，這種變換無論如何校正，都無法有效的完全消除目標圖像和原始設計圖之間的細微差異。為了更清晰的展示上述問題，在這里利用傳統差影法對姿態儀進行圖像處理，如圖1所示，從差影結果可以看到，發現其差影結果均存在像素點殘留痕跡，結果無法有效判別是否包含顯示缺陷，尤其是當顯示缺陷為形狀較小的符號時，其受到的影響更大。

了解到傳統差影法的不足，下邊將重點研究改進差影法中點對點的相減算法，即將差影法中判斷一致性的規則由點和對應點相減是否為零，轉化為點在其對應點周圍領域內是否能搜索到相同點。如果可以讓相減的位置有一定的容錯性，讓拍攝圖像中的某個點A(x，y)處的像素在對應的正常圖中的點B(x，y)周圍一定領域內尋找相同點。如果找到，就認為該點顯示完整，找不到就認為該點顯示缺失。從而可以通過像素點的模糊差影實現像素一致性檢測，進而判斷是否存在顯示畫面缺失。只要合理控制對應點領域大小，就可以有效的實現容錯性的像素一致性判斷，為了方便說明，本文將攝像頭獲取的圖像稱為目標圖像。

圖1 傳統差影效果圖

2.2 模糊差影算法分析

為了說明其原理，現以前景圖中一條線段符號的判定為例進行說明，其判定原理如圖2所示。

如上圖所示，左側模擬了一張攝像頭獲取的線段符號(灰色像素塊表示)，但是A1點和B1點由于成像過程和圖像矯正環節等可能的原因導致其消失。中間是對應的線段正常圖，右側是用傳統差影法求出的結果。這里以差影圖中的中心點A為例，說明模糊差影算法是如何消除由成像過程帶來的細微差異對結果判別產生的影響。具體的判定規則如下：

圖2 模糊差影法原理示意圖

1)如果在目標圖像中點A1的8鄰域內即點1到點8及其本身中存在某個前景像素點，則判定該點處正常圖和目標圖近似相同，此時得到模糊差影算法在A0點的判定結果為目標圖中點A1沒有缺失，這樣就消除了A點在拍攝過程中可能存在的偏移和缺失等細微差異性。

2)如果在目標圖像中點A1的8鄰域內即點1到點8及其本身完全沒找到前景像素點，則判定目標圖和正常圖之間在A0點處基本不可能相同，此時得到模糊差影算法在A0點的判定結果是目標圖中A1點缺失。

采用上述判定規則對差影圖中所有非零點進行逐一判定并修正，最終得到修正的模糊差影圖。然后再對經過模糊差影算法處理的差影圖進行判斷，如果基本上像素全部為零，則可以說明目標圖像和模板圖像一致，即顯示系統畫面顯示完整正確，不存在顯示符號的缺失。具體的算法流程如圖3所示，并對具體步驟做如下說明：

1)首先為增強圖像處理速度，對目標圖像和正常圖像進行灰度處理，并利用自適應閾值前景分割算法對灰度圖進行處理，獲取得到目標圖像前景提取圖和正常圖像前景提取圖。

2)復制拷貝一份正常前景提取圖，作為差影結果的待修改圖，即模糊差影正常基礎圖。

3)選擇正常圖像中的一點，判斷其在目標圖像中對應點及其鄰域是否存在相同點。如果存在則認為該點顯示正確，修正模糊差影正常基礎圖對應點像素值為0。如果不存在，則認為該點顯示不正確，即沒有顯示，保留模糊差影正常基礎圖對應點像素值不變。

4)重復步驟③的操作，逐個遍歷正常圖像中所有像素點，對其中的前景點進行逐個檢測和修正，最后即得到模糊差影結果圖。

分析流程圖可發現，模糊差影法的關鍵過程在于其前景的提取，而對前景的提取需通過設置合適的閾值對圖像進行前景和背景的分割，得到前景為255，背景為0的二值圖。常用的自適應閾值分割算法有全局自適應閾值和和局部自適應閾值兩類方法[6]。考慮到本文研究對象姿態儀，其包含各種各樣的顯示符號，特點各異，很難采用統一的閾值提取前景圖像，因此本文采用局部自適應閾值法[7]進行儀表畫面的前景提取，通過求其周圍鄰域內的灰度值來求解閾值。而在此過程中涉及兩個可變參數的選擇，即模糊差影的鄰域大小和局部自適應閾值分割的滑動窗口大小的選擇。

圖3 模糊差影法流程圖

2.3 可變參數的選擇

1)模糊差影的鄰域大小選擇

鄰域尺寸大小從根本上決定了正常圖像中某個前景點在目標圖中對應點周圍搜索范圍的大小，其搜索范圍越大，找到存在點的可能性就越高，同時誤判的可能性也隨之增大。而鄰域范圍越小，其搜素范圍越小，也就是算法對像素點偏移的包容能力下降，在這里通過實驗展示鄰域大小的選擇對處理結果的影響。首先設定其他條件一樣，只對模糊差影的鄰域大小做不同的設計。分別設置鄰域大小為5×5，7×7，9×9，11×11.以姿態儀俯仰角缺失為例，得到其實驗結果如圖4所示。

從圖中可以看出，隨著鄰域大小從5×5增加到11×11，模糊差影的結果越來越好，其能夠清晰的檢測出來缺失的俯仰角刻度線，同時干擾點也逐漸被全部消除，這對缺陷結果的判斷非常有利。而隨后繼續增大鄰域大小會發現差影的結果變化不大。這是因為當已經檢測出來目標圖和正常圖之間所有的差異像素點之后，搜索區域的繼續增大，無法改變兩者之間固有的差異，即缺少的符號本身。

圖4 不同鄰域大小的模糊差影效果圖

2)局部自適應閾值分割的滑動窗口選擇

考慮到正常圖在保證必要信息的前提下提取的前景像素點越少越好，這樣可以減少判斷的點，同時減少失誤的可能。而目標圖像中的前景像素點應該是越多越好，使得所有已經顯示的畫面符號都被捕捉到，有效避免因為前景提取不充分而造成的檢測不到的問題。因此在對正常圖和前景圖進行局部自適應閾值分割時，采用不同大小的滑動窗口，觀測其處理效果。結合對鄰域大小的選擇方法，發現當目標圖像的滑動窗口大小稍微大于正常圖像時，其差影效果最好。這是因為隨著滑動窗口的增大，圖像前景提取的能力在增強，從而提取了更多目標圖像中的細節，使得目標圖中所有已經顯示的前景符號都被提取出來了。但是當繼續增大窗口時，發現無論前景信息提取的再充分，都無法改變其存在符號缺失的事實，所以模糊差影的結果幾乎不再改變，只剩下缺失的符號。

綜合上述分析可以發現，前景提取時，應保證正常圖前景提取的局部自適應閾值法滑動窗口小于目標圖所用的滑動窗口大小，一般滑動窗口的大小選擇為奇數×奇數，保持正常圖所用的滑動窗口尺寸小于目標圖一到兩個差異即可。對于鄰域的大小，一般大于5×5就可以得到很好的效果，在面對具體的對象檢測時可以通過簡單的測試即可確定。

3 仿真驗證與分析

為了進一步驗證模糊差影法在圖像信息缺失自動識別中的效果，本節首先采用GL studio仿真軟件對姿態儀傾斜角刻度缺失、俯仰角刻度缺失、指示符號缺失、飛機模型缺失四種顯示缺陷進行了仿真。并選擇了一款型號為Lens Computar M2514-MP2 F1.4 f25mm 2/3的鏡頭，通過手動調整光圈和焦距，對姿態儀關鍵區域圖像進行連續拍攝，且拍攝圖像清晰。四種缺陷設計圖如圖5所示。

接著利用自適應閾值分割算法進行圖像的前景提取，正常圖采用的滑動窗口大小為7×7，其它目標圖采用的滑動窗口比正常圖較大，均為9×9大小的滑動窗口，最后對上述獲取的各目標圖像前景圖分別和正常前景圖做模糊差影計算，模糊鄰域大小選擇為5×5，各個差影結果如圖6所示。

圖5 四種顯示缺陷設計圖

分析上述檢測結果，可以看出姿態儀的四種顯示缺陷已經被清晰的檢測出來了。同時可以看到，傾斜角檢測的結果在其頂部出現了一點點畫面消融的誤差，這是由于頂部處圖像的前景符號呈現出極其密集的分布，導致一些缺失像素點被誤判定為已在目標圖像畫面中顯示，所以差影結果呈現出個別像素點消融的現象。但上述消融的現像只會在缺失符號的所有線條完全被非常近距離的線條或點集包圍的情況下發生，而在實際飛機綜合顯示系統中，不存在這種完全被近距離線條包圍的現像，所以模糊差影法能夠滿足實際檢測需求。

圖6 不同缺陷圖畫面檢測結果

4 結束語

文中通過對飛機綜合顯示系統的常見圖像顯示缺陷進行分析，研究了模糊差影算法，解決了傳統差影法在圖像獲取跟矯正環節由像素偏移帶來的差異性問題。最后通過對姿態儀常見的四種顯示缺陷進行了仿真驗證，證明了該算法的有效性和合理性，為飛機總裝測試過程中顯示系統圖像的自動判讀奠定了基礎。目前在飛機綜合顯示系統圖像自動識別方面，仍有許多問題有待解決，希望相關工作能為飛機顯示系統的自動化測試提供參考。