機器視覺在飛機結構損傷檢測中的應用進展與展望

(中國飛機強度研究所，西安 710065)

在無損檢測領域，目視檢測是指用人眼對被檢測目標表面進行直接觀察，或借助內窺鏡、鏡子等光學設備進行間接觀察。目視檢測具有門檻低、易操作、成本低等優點，是結構損傷檢測中應用較為廣泛的技術之一，如在空客系列飛機的外場運營維護中，其目視檢測程序文件的比例呈現遞增的趨勢，A350寬體客機的目視檢測程序比例已達到17%[1]。目視檢測與技術人員的能力、經驗等主觀因素密切相關，且極易受到站位、光線和溫度等客觀條件的影響，小尺寸損傷的檢出概率和檢測精度存在明顯不足。

近年來，隨著信息科學和人工智能等新興產業的蓬勃發展，計算機技術越來越多地應用于工業、農業和現代服務業等國民經濟生產的各個環節。機器視覺技術是在攝像機等圖像感知設備的基礎上，使計算機具有觀察、識別和認知世界的能力[2]。在一些不適用于人工作業的危險工作環境或人工視覺難以滿足測量或檢測要求的場景，機器視覺已得到了廣泛應用。對于現代規模化工業生產，人工檢測產品質量效率低且精度不高，機器視覺技術則能夠有效提高生產效率和檢測精度，進而縮短產品生產周期，節約運營成本[3]。

筆者在梳理國內外機器視覺技術發展過程的基礎上，重點綜述了機器視覺技術在結構損傷檢測中的研究成果和應用進展，并結合飛機結構損傷原位檢測的工程需求，對機器視覺技術的未來發展趨勢進行了探討和展望。

1 機器視覺的基本概念和發展歷程

1.1 機器視覺的基本概念和典型構成

機器視覺是一種集成攝像機、光源、處理器和檢測算法等軟硬件的非接觸式光學傳感系統，能夠自動從采集到的圖像中獲取信息或產生控制動作[4]。利用計算機及其外設能夠模擬人眼的視覺功能和大腦的初級判斷功能，從圖像或圖像序列中提取信息，并進行處理，最終用于檢測、測量和控制中。典型的工業機器視覺系統構成如圖1所示，該系統主要由視覺、機械和數據處理3大模塊構成，其中，視覺模塊利用光源、鏡頭、工業相機和圖像采集卡等硬件設備實現圖像的采集，機械模塊負責視覺模塊或被檢目標的運動和控制，數據處理模塊則是利用工控機運行測量算法或檢測算法，實現檢測結果的處理和輸出[5]。在典型的機器視覺檢測過程中，首先使用工業相機采集被測目標的二維或三維圖像，圖像數據采集卡將模擬圖像信息轉換為數字信號傳送至上位機，隨后集成測量或檢測算法程序的數字圖像處理系統會根據圖像的像素分布、亮度、標志點和顏色等信息，運算出被測目標的損傷、缺陷、位姿和形態等信息，最后根據運算得到的信息輸出測量或檢測結果。

圖1 典型的工業機器視覺系統構成示意

1.2 機器視覺的發展歷程

機器視覺的起源最早可追溯到20世紀60年代，1965年，ROBERTS等通過計算機程序從數字圖像中提取出立方體、楔形體、棱柱體等多面體的三維結構，并對物體形狀及空間關系進行描述，開創了以理解三維場景為目的的機器視覺研究。20世紀80年代以來，隨著激光技術、CCD(電荷耦合元件)技術的相繼問世和計算機科學的飛速發展，機器視覺技術隨著工業自動化和智能化的發展而日趨完善。到了21世紀，機器視覺技術已經大規模地應用于圖像處理[6]、醫學診斷[7]、智能交通[8]、無人駕駛[9]、工業測量[10]和無損檢測[11-13]等多個領域。

回顧機器視覺技術的發展歷史，大致可分為以下3個階段:① 理論探索階段,20世紀90年代以前，眾多高等院校和研究所已逐步開展面向圖像處理和模式識別的理論研究，如DAVID提出了著名的計算機視覺理論(Marr視覺理論)，成為機器視覺研究領域中的重要理論框架，隨后基于感知特征群的物體識別理論框架、主動視覺理論框架、視覺集成理論框架等新概念、新理論不斷涌現，為機器視覺技術的工程化應用打下了堅實基礎；② 逐步應用階段，20世紀90年代至21世紀初，機器視覺技術逐步開始得到推廣，并逐步應用于機加工、汽車零部件裝配、機械零件表面粗糙度的測量、金屬焊接質量檢測及電路板尺寸標定等諸多工業領域；③ 高速發展階段，進入21世紀以來，隨著高清工業相機、高性能計算機和人工智能等新興技術的涌現，機器視覺已突破了傳統的檢測模式和應用領域，向著更深層、更為多樣化的領域擴展。從二值圖像采集到高分辨率、多灰度級的圖像處理，從二維特征提取到三維信息解耦，機器視覺在遷移學習、支持向量機和卷積神經網絡等人工智能技術的驅動下，正逐步涉足和突破更多復雜的目標識別、高精度測量和高效檢測任務。

2 機器視覺在結構損傷檢測中的應用進展

機器視覺技術在工業領域的應用主要體現在以下3個方面：視覺測量、視覺引導和視覺檢測[2]。視覺測量主要用于精度要求較高(毫米級和微米級)、人眼觀察無法實現的一些零部件尺寸的精確測量，如精密螺栓加工過程中采用機器視覺技術對零件尺寸進行實時測量，用以控制連接間隙，保證加工精度；視覺引導是利用機器視覺快速準確地找到目標零件，引導機器人機械臂準確抓取，如視覺引導自動化裝配，通過掃描工具箱內隨機分布的零件得到三維圖像，采用模式識別的方式，在三維圖像中獲取機械臂抓取工件的最佳點，實現自動化裝配生產；視覺檢測則是圖像采集和邏輯判定算法的綜合應用，用于檢測產品或構件有無質量問題，如對裂紋、表面劃傷、凹坑、斷釘等結構表面損傷的檢測和定量表征。

總體而言，機器視覺技術已廣泛應用于機械加工、裝配、檢驗檢測和狀態監測等多個工業領域，極大地提高了工業生產中的柔性和自動化程度。國內外學者在機器視覺測量、引導和檢測方面開展了大量研究工作。筆者以機器視覺技術在飛機結構損傷檢測中的應用為切入點，重點介紹了該技術在飛機結構損傷視覺巡檢、原位在線視覺監測及智能視覺檢測等方面的應用進展。

2.1 飛機結構損傷實時視覺巡檢

飛機結構的周期性檢測一直是外場飛機運營維護的重點環節，蒙皮、機翼和操縱面等飛機結構長期暴露在惡劣的外界環境中，飛行中飛機承受復雜的交變載荷和外物沖擊，極易出現裂紋和各種沖擊損傷，給飛行安全帶來重大安全隱患。針對這一問題，BAHR等在美國聯邦航空局的支持下，研發出了基于真空吸盤機器人的視覺巡檢系統ROSTAM，首次實現了飛機蒙皮結構表面裂紋的自動視覺巡檢。新西蘭航空與Invert Robotics公司合作研發了用于機翼和操縱面檢測的遠程視覺巡檢系統,該系統如圖2(a)所示，技術人員只需將搭載高清攝像頭的機器人布置在巡檢區域，即可通過遠程控制實現巡檢區域的高清圖像采集，進一步結合識別算法可實現飛機結構表面裂紋和沖擊損傷的有效檢出，巡檢效率和可靠性較傳統目視檢測有了巨大提升。為解決外場飛機人工檢測周期長、成本高、可達性差和漏檢率高等問題，空客公司開發了基于機器視覺的新型無人機視覺檢測系統，該系統如圖2(b)所示，用于機庫內飛機機身的檢測，該系統配備了激光傳感器，可攜帶視覺檢測硬件系統，根據預設路徑進行巡查，僅需0.5 h即可獲得整架飛機的外部結構圖像，并將圖像實時上傳至視覺分析系統，與原始圖像進行對比匹配，可實現表面損傷的有效檢出，極大地提高了飛機結構表面損傷的檢測效率和檢測精度。

圖2 機器視覺系統外觀

圖3 5G離朱損傷巡檢機器人外觀及結構損傷巡檢系統

目前，國內在飛機結構損傷視覺巡檢方面的應用研究還處于起步階段，相關工作主要聚焦于機器視覺理論、方法和需求調研等試驗性研究中，缺少與工程現場相結合的應用成果。筆者單位將視覺巡檢技術應用于飛機全機結構周期性檢測中，開發了面向國產C919全機結構疲勞試驗的新型損傷視覺巡檢系統——5G離朱(見圖3)。巡檢系統通過軌道和機械臂在機艙內移動，利用超高分辨率相機成像采集系統，結合特征提取算法，可實現0.2 mm以上損傷的有效檢出和定量測量，并通過5G技術將數據高速上傳至云端服務器。該系統可24 h不間斷地巡檢全艙百余個重點檢測點位，有效覆蓋機艙內近80%的疲勞薄弱部位，并對損傷進行定期跟蹤拍攝，有效提升了全機重點結構損傷檢測的效率和智能化程度。

2.2 飛機結構原位損傷在線視覺監測

在飛機結構損傷容限和耐久性試驗過程中，對疲勞裂紋擴展進行跟蹤監測是金屬結構損傷容限設計和壽命預測的重點任務之一。對于傳統目視檢測，為保證檢測人員的安全，會將疲勞試驗與其表面裂紋觀測獨立開來，即當載荷循環一定次數后停止加載，通過直接目視或借助內窺鏡、反光鏡和放大鏡等工具進行目視檢測。傳統目視檢測是在一定的循環周次后進行，難以實時連續地跟蹤、記錄裂紋擴展的全過程，且觀測時需頻繁裝卸組件，十分繁瑣和費時。近年來，隨著機器視覺技術的不斷成熟，其實時性強、成本低、精度高和適用范圍廣等優勢日益凸顯，國內外許多科研機構和試驗生產單位已將機器視覺技術應用到飛機結構表面裂紋檢測中。VANLANDUIT等[14]提出了一種基于數字圖像相關技術的裂紋在線監測方法，通過對不同時間點采集的圖像進行目標匹配和紋理對比分析，實現了航空鋁合金構件疲勞裂紋擴展過程的不停機實時監測。VINCITORIO等[15]利用非均勻熱載荷代替均勻熱載荷作為激勵源，提出了基于一種無透鏡傅里葉數字全息干涉技術的光學在線裂紋檢測方法，克服了在相位展開圖中無法觀察到干涉條紋位移的問題，有效改善了粗糙表面裂紋檢測的在線檢測精度。

在國內，高紅俐等[16]設計了基于機器視覺的疲勞裂紋擴展測量系統，系統組成如圖4所示，主要由疲勞試驗機、圖像采集裝置、攝像頭安裝裝置及攝像頭運動控制器、計算機及其攝像機標定相關軟件等模塊構成。測量過程中，首先將試驗件裝夾到疲勞試驗機上，打開照明光源，調節高清攝像機至需要監測的位置，通過圖像采集卡將圖像實時傳輸至計算機，即可在裂紋測量軟件平臺上完成疲勞裂紋的實時在線視覺監測。筆者單位將機器視覺技術應用于某型號翼身組合體疲勞試驗中，開發了用于預制裂紋擴展實時監測和高精度測量的視覺監測系統VIS-20(見圖5)，系統的硬件模塊用于圖像的實時采集，由高清工業相機、定焦鏡頭、藍光光源、夾具和工控機等組件組成；軟件部分則主要負責拍攝時間設置、幾何坐標系標定、曲面校正、裂紋長度精確測量和統計分析等工作。該視覺監測系統在節約大量人力和時間成本的同時，有效解決了飛機疲勞試驗過程中裂紋擴展難以實時監測的瓶頸問題。

圖4 疲勞裂紋擴展測量系統組成

圖5 視覺監測系統VIS-20的攝像模塊和裂紋擴展時序圖

2.3 基于深度學習的原位損傷智能視覺檢測

隨著視覺檢測技術應用場景的不斷擴展，傳統基于圖像處理和簡單機器學習算法的檢測技術在處理多特征、多語義和復雜約束問題時出現了明顯不足。許多國內外學者已經將深度學習，特別是深度卷積神經網絡的方法應用于裂紋檢測領域。郭亞萍等[17]利用SegNet網絡實現了對工件表面裂紋的檢測；DENG等[18]提出了卷積神經網絡(CNN)與基于變分模式相結合的裂紋檢測方法，解決了電纜早期裂紋的檢測問題。根據處理表面裂紋檢測問題方式的不同，基于深度學習的智能視覺檢測技術(見圖6)可分為基于圖像分類、基于目標檢測和基于像素級分割方法3大類[19]。基于圖像分類的方法能夠很好地避免原始圖像分辨率低、質量差的影響，但此類方法只能做到有無裂紋的分類，無法對裂紋的形狀、大小及其位置等進行判斷；與基于圖像分類的方法相比，基于目標檢測的裂紋檢測方法的識別精度和粒度大幅度提高，但裂紋的大小及紋理等重要信息仍然無法得到；基于像素級分割方法是3類方法中精度最高的，通過對輸入圖像中的每個像素點都劃分相對應的類別，既可對目標進行分類，又可得到裂紋的精確位置和結構。

圖6 典型智能視覺檢測技術

對于結構損傷檢測，特別是飛機結構損傷檢測，不僅關注損傷的有無，還要求對損傷的大小和位置進行精確測量，因此采用基于像素級分割的深度學習算法是最為合適的。目前，此類方法已被用于道路、橋梁和飛機結構裂紋的視覺檢測。針對背景紋理較復雜，噪聲干擾大且分布無規律的裂紋圖像，李良福等[20]提出的與滑動窗口算法相結合的基于卷積神經網絡的深度橋梁裂紋分類(DBCC)模型，可用于橋梁背景面元和橋梁裂紋面元的識別，通過添加局部響應值歸一層和概率區分閾值，在一定程度上避免了圖像亮度不均勻和噪聲所帶來的誤檢與漏檢問題。為實現疲勞試驗中飛機結構裂紋損傷的快速識別檢測，筆者單位提出了一種改進的全卷積網絡(FCN)模型，網絡模型的可視化結果如圖7所示,該模型采用類似U-Net的編碼器-解碼器結構，以ResNet-34為骨干(在ImageNet數據集上預訓練)。模型對原始的ResNet-34做了兩處修改，使其能夠適應目標提取的像素級預測任務，刪除了ResNet-34中的平均池化和全連接層，刪除了最后一個殘差塊，因此最終的特征圖大小為輸入圖像的1/16，Dblock模塊主要由級聯和并聯模式的擴張卷積組成，進一步擴大了神經網絡的感受野。基于試驗采集到的34張圖像進行驗證，從可視化結果來看，深度學習模型能夠準確提取和識別出裂紋損傷，損傷識別準確率已達到90%以上，但是裂紋在邊緣處有明顯外擴，即存在圖像過分割現象。在裂紋邊緣處預測結果不理想也是目前分割任務普遍存在的問題，原因主要有網絡的下采樣過多，原始標簽不準確，缺乏邊緣保持策略等。

3 結語與展望

在計算機科學和高性能硬件設備的驅動下，機器視覺技術得到了前所未有的發展，筆者在簡要梳理國內外機器視覺技術發展歷程的基礎上，重點綜述了機器視覺技術在結構損傷檢測中的研究成果和應用進展。總體而言，機器視覺技術已成為結構損傷檢測領域最具潛力的發展方向之一，特別是在人工智能技術的推動下，智能視覺技術有望大規模替代人工目視，用于結構表面損傷的快速精細化檢測。新興技術的應用和普及必然是一個機遇與挑戰并存的發展過程，對于飛機結構而言，機體結構表面存在大量鉚釘、拐角和多細節復雜結構區，加之光線條件、試驗加載和偶發震動等不利因素的影響，機器視覺技術在飛機結構損傷檢測領域的成熟應用還有以下關鍵問題需要解決。

(1) 微觀裂紋的檢測能力有待提高。在結構損傷早期，結構表面初始裂紋的尺寸很小，存在視覺特征較弱、裂紋與背景之間對比度低、收集到的裂紋圖像信息少等問題。采用常規的視覺檢測技術很難實現百微米量級微小裂紋的及時有效檢出，容易出現誤檢和漏檢的情況。

(2) 損傷數據庫有待進一步擴充。在裂紋檢測算法的實際飛機結構檢測應用中，部分場景本身存在的裂紋數目少，而且裂紋數據標注工作量極大，導致現有飛機結構損傷數據庫體量偏少，很難有效支撐智能視覺檢測中深度學習模型的訓練和優化，檢測系統的泛化能力和檢測精度較差。

(3) 實際應用中的實時檢測問題有待解決。相比于傳統圖像處理或機器學習算法，現有智能視覺檢測系統的損傷檢測算法大多采用全卷積操作，計算量較大，需要足夠的硬件資源作為支撐。