邊緣計算智能裝備技術在飛機檢修行為識別領域的應用

姚明 李君成 陳龍

摘要：本文描述了基于神經網絡深度學習的邊緣計算智能裝備，及其應用于飛機維修檢查行為識別的技術和場景，可實現飛機航線定檢維修流程跟蹤管控、提升維修檢查作業的安全質量和降本增效，減免人為因素所導致的不安全事件和運行事件，避免經濟損失。

關鍵詞：圖像識別；神經網絡；邊緣計算；維修；檢查

Keywords：image recognition； neural network； edge computing； maintenance； inspection

0引言

目前飛機維修檢查作業包括短停、航前、航后、定檢等類型，主要采用傳統人工目視檢查作業方式，按繞機檢查作業流程逐一檢查飛機機頭、發動機、起落架、輪機艙、機翼、機尾等不同區域的設備部件區域是否存在缺陷、故障和安全隱患，全程人工定位找點、紙筆記錄，靠工作單卡簽署確認檢查結果。

由于繞機檢查作業過程中需要檢查的飛機設備部件非常多，不同機型間結構差異大，作業時間窗口期短，傳統人工目視檢查方式的作業質量完全依靠維修人員的技術、經驗和責任心，故存在諸多問題。例如，無法追溯檢查完成情況、無法確認是否存在漏檢、對于故障缺陷無法實時指導排故、人工復檢費工費時等。

基于飛機維修檢查行為識別的邊緣計算智能裝備，其為維修人員提供實時作業指引，避免漏檢和違規行為，提高作業效率和質量；為安全、質量管理人員提供有效監管工具，實現安全事故溯源和大數據分析，做到風險規避；能有效提升飛機維修的綜合管理能力，減免人為因素所導致的不安全事件和運行事件，避免經濟損失。

采用基于神經網絡圖像識別技術的邊緣計算智能裝備，實現智能化維修檢查作業，具有行業領先性，其比傳統方式具有實時、準確、完整、可追溯的先進性。通過邊緣計算智能裝備的應用，實現飛機航線定檢維修流程跟蹤管控、安全質量提升和降本增效，助力科技創新數字化轉型和智慧維修推廣。

1邊緣計算智能裝備技術

1.1 神經網絡圖像識別

圖像識別技術是立體視覺、運動分析、數據融合等實用技術的基礎，能自動識別飛機設備部件以及缺陷故障、實時跟蹤分析維修檢查作業行為。基于圖像識別技術的邊緣計算智能裝備技術，是未來飛機智慧維修發展的必然趨勢。

目前基于飛機設備故障缺陷和維修檢查作業行為的智能圖像識別技術的應用裝備和系統非常少，究其原因如下：

（1）飛機部件結構繁多復雜；

（2）故障缺陷種類多、差異大；

（3）作業行為因人而異；

（4）質量要求精準無錯漏；

隨著計算機技術的迅速發展和科技的不斷進步，圖像識別技術已經在航空遙感、網絡通訊、物流交通、軍事公安、生物醫學、汽車機器人等眾多領域中大量應用。例如，交通方面的車牌識別系統；公共安全方面的人臉識別技術、指紋識別技術；農業方面的種子識別技術、食品品質檢測技術；醫學方面的心電圖、CT影像識別技術；汽車方面的無人駕駛、自動泊車技術；網絡通訊方面的視頻、圖文非法信息的檢測識別技術等。2015年微軟公布了一篇關于圖像識別的研究論文，在一項圖像識別的基準測試中，電腦系統識別能力已經超越了人類。人類在歸類數據庫Image Net中的圖像識別錯誤率為5.1%，而微軟研究小組的這個深度學習系統可以達到4.94%的錯誤率。由此可見，計算機在圖像識別方面已經有要超越人類的圖像識別能力的趨勢，而且計算機在很多方面確實已具有人類所無法超越的優勢。因此，隨著計算機圖像識別技術以及算法的不斷優化改進，采用深度學習神經網絡算法，具備機器視覺圖像識別分析能力的邊緣計算智能裝備，為實現飛機智能化智慧檢修提供了有效、可行的方法和工具。

深度學習以數據的原始形態作為算法輸入，經過算法層層抽象，將原始數據逐層抽象為自身任務所需的最終特征表示，最后以特征到任務目標的映射作為結束，從原始數據到最終任務目標，“一氣呵成”并無夾雜任何人為操作。深度學習除了模型學習，還有特征學習、特征抽象等任務模塊的參與，借助多層任務模塊完成最終學習任務。深度學習中的一類代表算法是神經網絡算法，包括深度置信網絡、遞歸神經網絡和卷積神經網絡等。卷積神經網絡（CNN）是一類特殊的人工神經網絡，其最主要的特點是卷積運算操作。在諸多領域應用特別是圖像相關任務上表現優異，諸如，圖像分類、圖像語義分割、圖像檢索、物體檢測等計算機視覺問題。

如圖1所示，對深度模型而言，其輸入數據是未經任何人為加工的原始樣本形式，后續則是堆疊在輸入層上的眾多操作層。這些操作層整體可看作是一個復雜的函數，最終損失函數由數據損失和模型參數的正則化損失共同組成，深度模型的訓練則在最終損失驅動下對模型進行參數更新并將誤差反向傳播至網絡各層。模型的訓練過程可以簡單抽象為從原始數據向最終目標的直接“擬合”，而中間的這些部件正起到了將原始數據映射為特征（即特征學習）隨后再映射為樣本標記（即目標任務，如分類）的作用。

神經網絡是模擬人腦神經系統功能的模型，具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統。神經網絡的學習是一個過程，在其所處環境的激勵下，相繼給網絡輸入一些樣本模式，并按照一定的規則（學習算法）調整網絡各層的權值矩陣，待網絡各層權值都收斂到一定值，學習過程結束。然后就可以用生成的神經網絡來對真實數據做分類識別。

基于深度學習神經網絡算法，將飛機部件、缺陷故障、檢查作業行為等視頻、圖像信息進行分類整理標注，通過監督學習的方式，完成飛機維修檢查行為識別的神經網絡模型訓練，并將訓練好的神經網絡模型植入邊緣計算智能裝備，用于實際應用場景的AI實時輔助識別，實現降本增效；同時，在應用過程中能夠不斷迭代升級神經網絡模型，從而實現飛機維修檢查的智能化和精準高效可靠，提升安全質量。

1.2 邊緣計算智能裝備系統的構建

總體思路是基于神經網絡深度學習和圖像識別技術，采用邊緣計算智能裝備實時采集航線飛機維修檢查作業行為的視頻圖像，自動智能識別飛機外部缺陷以及漏檢和違規行為，語音即時提醒和全程記錄；數據后臺系統實現遠程監控和輔助指導排故，并統一整合飛機基礎數據、缺陷和作業行為記錄等，實現飛機維修檢查行為的可視化數據分析。

由圖2所示，應用于飛機維修檢查行為識別的邊緣計算智能裝備，主要包括以下幾部分。

1）視頻采集模塊。視頻采集模塊用于實時采集航線維修檢查作業過程中的機頭、雷達罩、機翼、發動機、尾翼、起落架、輪機艙、艙蓋板、天線等飛機設備部件視頻影像，將4K高清分辨率連續幀截圖實時傳送至圖像處理引擎；裝備可采用機械防抖的耳帶攝像頭、手機或者手持攝像機等，由維修檢查人員在作業過程中隨身攜帶。

2）圖像處理引擎。連接視頻采集模塊獲取實時視頻流MJEPG連續幀截圖，基于神經網絡圖像識別分析算法，用預先訓練好的神經網絡模型，對輸入圖像信息的同步進行識別判定；其中預先訓練好的神經網絡模型包括分類識別模型和目標檢測模型，所述分類識別模型至少包括機頭、雷達罩、發動機、起落架、輪胎、輪機艙、機翼、尾翼、機身、艙蓋門等飛機設備部件的類型識別，通過連續多幀圖像畫面的分類識別率平均超過0.95的方式進行識別判定，確定當前所檢查的飛機設備部件類型和區域位置；所述目標檢測模型至少包括凹坑、雷擊、污漬、缺損、鳥撞等外部缺陷的檢測定位，通過掃描每幀圖像畫面中的飛機設備部件的圖像區域，識別判定可能存在的缺陷，當出現連續多幀圖像畫面檢測出目標缺陷的概率超過0.95，則對圖像進行目標缺陷定位紅框標記；結合已識別的飛機設備部件分類信息輸出缺陷識別結果，即時語音播報提醒并將缺陷識別結果實時傳送至數據后臺；所述缺陷識別結果至少包括飛機編號、飛機設備部件名稱、缺陷分類名稱、缺陷位置、帶定位標簽的視頻截圖圖像、時間戳和文字標注信息；裝備采用AI智能主機，具備神經網絡識別分析算法和GPU實時圖像處理計算能力。

3）數據后臺，連接圖像處理引擎實時獲取缺陷識別結果，與飛機缺陷索引數據庫中的記錄進行匹對，確認并記錄新識別的缺陷。并迭代更新飛機缺陷索引數據庫中的數據記錄，實現飛機維修檢查的缺陷記錄、歷史數據檢索和跟蹤分析；缺陷索引數據庫至少包括飛機編號、缺陷分類和等級、缺陷所屬飛機設備部件名稱和位置、缺陷定位圖像、缺陷標記起止時間等；采用服務器，通過網絡和圖像處理引擎遠程連接，實現遠程實時跟蹤飛機維修檢查過程中所發現的缺陷，及時查詢判定缺陷類型和輔助指導排故作業，以及大數據分析歷史缺陷信息數據。

1.3 邊緣計算智能裝備系統的優勢

通過分析邊緣計算智能裝備系統的構建機理，可以明顯看出此類系統在航線維修過程的應用優勢所在。

1）系統利用神經網絡圖像識別的技術，實現自動實時識別航線維修檢查作業過程中的飛機設備部件的缺陷故障，并全程語音即時提醒，提高了飛機部件缺陷的識別率，極大降低了人工識別的錯誤率和漏檢率。

2）系統實現飛機設備部件缺陷的視頻圖像數據的檢索查詢，能夠快速查看故障缺陷的歷史記錄，及時區分新舊缺陷，避免缺陷重復檢查確認，節省大量工時，極大地提高了維修檢查工作效率。

3）系統提升了數據管理能力，統一整合飛機航線維修檢查數據，建立航線飛機基礎數據庫和缺陷索引數據庫，實現航線維修的大數據跟蹤分析，極大地減免了飛行安全事故隱患。

4）系統實現對飛機部件缺陷狀態的實時追蹤監控，自動學習積累缺陷特征數據庫，對缺陷進行精準識別和快速驗證，促進航線智慧維修技術的應用發展。

2飛機維修檢查行為圖像識別應用場景

2.1 漏檢行為提醒

維修檢查人員在繞機檢查作業過程中，邊緣計算智能裝備能實時識別視頻中的飛機部件，并與工單流程要求進行配對，如未識別發現待檢部件，則自動即時提醒維修人員進行部件檢查，并能自動記錄檢查作業的時間和行為過程，每次作業結束后出具行為質量分析報告，從而有效減免人為因素的漏檢事件。

2.2航前安全檢查糾錯

航前檢查工作需要作業人員完成關鍵部位如跳開關、起落架安全銷、皮托管套、雨刮刷等檢測和拍照記錄，并上傳提交審核人員通過照片二次人工復檢。通過邊緣計算智能裝備系統，采用AI技術復檢，能自動識別并判定，將大大提高效率、節省人力，能有效提高飛機維修檢查效率。

2.3部件缺陷識別

維修檢查工作采用目視檢查方法，對于如垂尾表面、機翼上表面等飛機遠端或高處部件外部的細小缺陷、凹痕、破損等，通過邊緣計算智能裝備的變焦鏡頭，放大掃描部件表面，能夠自動識別缺陷并影像記錄位置區域和特征，此外還可以與后臺數據庫進行匹對，快速判定缺陷類型，從而提高飛機維修檢查效率和安全性。

2.4 遠程監控和大數據分析

通過邊緣計算智能裝備后臺系統，能實時監控飛機維修作業行為和維修專家遠程連線輔助指導排故；構建飛機基礎特征數據庫、檢查作業行為記錄數據庫、外部缺陷索引數據庫，實現大數據回溯分析。

3結束語

邊緣計算智能裝備系統能有效提升飛機維修檢查作業的效率和質量，降低維修人員的限制條件，實現智慧維修，能更可靠地保障航線維修安全性，通過歷史數據圖像對比分析，預判潛在故障的發展趨勢，實現大數據AI故障診斷和預測維修，意義重大。

參考文獻

[1]魏秀參. 解析卷積神經網絡—深度學習實踐手冊[M]. 電子工業出版社，2018-11.

[2]李開復，王永剛. 人工智能[M].文化發展出版社，2017.

[3]李玉鑑，張婷. 深度學習卷積神經網絡從入門到精通.[M].機械工業出版社，2018.

[4] 李旭冬，葉茂，李濤. 基于卷積神經網絡的目標檢測研究[J]. 計算機應用研究，2017（10）.

[5]劉全，翟建偉，等. 深度強化學習綜述[J]. 計算機應用研究，2018（1）.

[6]周志華. 機器學習[M].清華大學出版社，2016.