基于5G 的工業AI視覺檢測系統應用

郭 熹，李 斌，馬文輝，賀 鳴，陳亞峰（.中國聯通研究院，北京 0076；.珠海格力電器股份有限公司，廣東珠海 509070）

0 前言

機器視覺檢測是指利用機器替代人工實現檢測和判斷［1］。典型的機器視覺檢測系統包括相機、鏡頭、光源、工控機、圖像處理系統、執行機構、被測物等。其檢測原理是通過相機對被測對象進行圖像拍攝，然后將圖像數據傳送至圖像處理系統。圖像處理系統通過檢測算法對圖像進行特征提取、識別，輸出檢測結果并執行相應操作［2］。機器視覺檢測在工業領域具有廣闊的市場空間，主要應用場景包括目標檢測（如對產品外觀瑕疵檢測、對產品零部件的有無檢測等）、目標識別（如文字識別、顏色識別等）、目標定位（如PCB 加工定位、標簽定位等）和目標測量（如對指針儀表的長度、角度測量、對零部件的尺寸測量等）。

傳統方式的機器視覺檢測主要以人工特征提取、分類、識別為主，檢測方法具有針對性，系統魯棒性差［3］。常見的處理方法包括如圖像灰度處理、濾波算法、圖像算數、圖像二值化、霍夫變換等。隨著人工智能技術的不斷發展，以神經網絡為代表的深度學習技術正逐步應用在機器視覺領域。深度學習利用機器模仿人類思考，實現對圖像的理解，被用來解決復雜場景的模式識別［4］。其典型應用領域包括目標檢測、圖像分類、圖像分割等。與傳統方式相比，深度學習可以在訓練過程中自學習相關屬性，省去特征工程環節，識別精度更高、更加靈活［5］。但是對硬件的內存和計算能力要求較高，通常需要額外的硬件投入。此外，在應用開發過程中，需要收集大量的樣本數據進行模型訓練以提高模型精度。雖然機器學習相對于傳統方式有諸多優勢，在實際工業應用場景中，既需要基于深度學習的視覺檢測，又需要傳統的視覺檢測方式。如對表計尺寸的測量、條碼識別等場景，傳統方式簡單而高效，使用機器學習方法則費時費力。

通過在5G 試點項目的大量實地調研發現，工業企業在現有視覺檢測應用上存在諸多不足，具體表現在以下4個方面。

a）部分企業采用傳統方式依靠人眼做視覺檢測，存在效率低，漏檢率高等問題。

b）部分企業采用一體化智能工業相機做視覺檢測，但單點設備成本高，不適合規模應用，且無法有效管理。

c）部分企業采用基于云端的視覺檢測系統，存在響應慢、數據安全性低等問題。

d）企業缺乏AI 視覺相關專業技術人員，難以滿足視覺檢測項目建設需求。

基于上述分析，認為支持多場景應用、平臺化的視覺檢測系統是工業視覺的重要發展方向。隨著互聯網+制造業轉型升級步伐的不斷推進，5G、AI、大數據等高新技術手段將為工業視覺檢測技術的發展注入新動能，推進工業視覺檢測技術變革。

1 格力視覺檢測需求分析

視覺檢測貫穿零件加工、組裝、包裝等各個環節，是企業產品質量的關鍵保障，提升視覺檢測水平能有效降低企業經營成本。格力空調在生產過程中存在大量視覺檢測場景，包括壓縮機線視覺檢測、外機自動電氣安全檢測、整機外觀檢測、印刷品質量檢測等。當前存在大量依靠人眼做視覺檢測的現象，檢測效率低，漏檢率高，容易帶來產品質量隱患。因此，格力急需一套自動化、平臺化的視覺檢測系統替代人工檢測。一方面，需要滿足各生產環節的多場景檢測需求，有效提升檢測效率，降低檢測成本，實現智能檢測管理。另一方面，為應對消費者個性化產品需求，新系統需要具備易擴展、易操作性，能靈活快速適應新場景檢測要求。

2019 年，中國聯通與格力電器開展5G 智慧工廠暨全業務戰略合作，基于5G、工業互聯網、物聯網、大數據、人工智能等新型技術，打造家電產業5G 智慧工廠示范區。5G 作為新一代無線通信技術，在帶寬、時延、連接數等網絡性能上較上一代蜂窩網絡實現全方位提升，可為工業網絡連接提供高可靠服務保障［6］（見表1）。通過5G 網絡可構建平臺化的視覺檢測模式，實現多檢測點并行檢測、智能管理。移動邊緣計算（MEC）是5G 重要能力之一，可在移動網絡的邊緣提供IT 服務和計算能力，支持將業務處理卸載到移動網絡邊緣節點［7-8］。利用MEC 本地分流能力，可極大降低端到端通信時延，同時保證生產數據安全。基于5G 技術的平臺化視覺檢測系統，將為企業帶來更多價值。

表1 工業無線網絡指標對比

2 基于5G的工業AI視覺檢測系統解決方案

基于5G 的工業視覺檢測系統是平臺化、支持多檢測點并行的工業檢測系統。通過5G +MEC 的工廠內網架構與現場瘦客戶端進行交互，實現企業整體視覺檢測體系，可同時滿足多場景、多檢測點并行的檢測及智能化管理需求。通過將主要算力及算法放置于平臺端，極大提升分析處理能力，現場端僅需普通工業相機等少數設備即可實現AI視覺檢測，有效降低單點檢測成本，提升部署靈活性。此外，平臺側支持對檢測點的能力配置，單一檢測點僅需微調即可適配新檢測場景，可滿足對不同產品的快速檢測需求。

如圖1 所示，基于5G 的工業AI 視覺檢測系統架構包括現場設備端和智能監測平臺。

2.1 現場設備端

現場設備端負責與產線聯動，包括系統觸發與結果反饋。需將圖像采集并上傳至服務端，并獲取服務端的處理結果。現場設備由以下3個部分組成。

a）工業相機系統，包括工業相機、鏡頭、光源等，工業相機系統主要負責現場端圖像獲取，需根據不同檢測場景及檢測需求進行適配及選型。

b）現場工控終端，一般為工控機，負責控制工業相機系統及現場設備，實現圖像上傳、控制指令下發、運行現場客戶端軟件等功能。

c）現場設備，包括傳感器、急停開關、三色燈、掃碼槍、顯示器等，負責信號檢測及結果顯示，實現系統觸發、運行控制、結果顯示等功能。

2.2 智能檢測平臺架構

智能檢測平臺是視覺檢測系統的核心，可部署在企業數據機房或云端服務器，主要負責處理視覺檢測流程，完成包括場景管理、業務管理、算法模型訓練、算法管理、檢測業務編排、檢測結果分析等功能。平臺提供狀態查看和統一管理接口，可適配不同場景的檢測需求。智能檢測平臺通過5G 網絡與各檢測點相聯，實現1對n的檢測管理與應用服務支持。

智能檢測平臺可以滿足的各類制造企業對工業視覺檢測業務的需求，為上層應用提供服務。智能檢測平臺架構如圖2所示。

a）基礎能力層。通過統一的接口為上層應用提供基礎檢測能力。

圖2 智能檢測平臺架構圖

b）編排器層。通過編排器的方式將基礎能力進行組合、協同及調用，用以完成對下層基礎檢測能力的封裝；同時，針對特定場景的檢測需求（如暗光），可以通過對基礎能力的封裝形成特定場景下的解決方案，形成功能更強大、更具針對性的基礎檢測能力庫。

c）編排流程庫層。針對不同的應用，需要建立一套支持將基礎能力編排用以解決應用實際檢測需求的編排流程庫。

d）應用層。通過使用編排器及編排流程庫調用基礎檢測能力，滿足全部檢測業務需求，并通過輸入輸出接口，向現場設備及人員提供工業檢測應用服務。

e）云計算平臺。根據實際情況，使用Kubernetes或Docker技術構建上層應用的部署平臺。

f）基礎設施層。包括CPU 服務器、GPU 服務器及GPU推理單板機等計算資源。

g）輸入及輸出適配器。通過插件化的方式支持主流工業相機通信協議及工業總線協議，便于快速與工裝環境對接。

2.3 關鍵技術

2.3.1 平臺化的系統設計

現階段工業視覺檢測產品大多數是以工業智能相機或傳統視覺檢測方式為主。傳統單點檢測系統通常由光源、相機、圖像采集單元、圖像處理單元等模塊組成，各模塊分散部署在現場側，多為針對單一檢測場景定制化開發，體積較大系統復雜，難以升級維護［9］。智能相機是一種高度集成化的微小型機器視覺系統，將圖像的采集、處理與通信功能集成于一體［10］。相對于傳統視覺檢測系統，智能相機在部署上更加靈活便捷，但是由于體積限制，其處理能力通常較差，只能運行簡單算法且單機成本高昂。

相對于現有視覺系統，基于5G 的AI 視覺檢測系統是基于C/S 架構設計的視覺檢測PaaS 平臺，將主要處理能力集中在后端智能檢測平臺，各檢測點通過現場終端將圖片發送至智能檢測平臺并實時獲取檢測結果。智能檢測平臺內置多類算法能力，包括傳統的機器視覺算法以及更為復雜的深度學習模型算法等。通過平臺化的系統設計可支持多場景并行的視覺檢測并實現算法能力的復用。

2.3.2 深度學習視覺能力平臺

缺少專業AI 技術人員是企業視覺發展面臨的難題，本系統搭建了基于深度學習的視覺檢測能力平臺，支持視覺檢測模型訓練的全部流程，提供包括數據集管理、樣本標注、模型訓練、模型發布、模型管理等功能。深度學習是傳統機器學習的延伸，廣泛應用在圖像識別，目標檢測諸多領域。典型的深度學習模型主要有卷積神經網絡（CNN——Convolutional Neural Network）、深度置信網絡（DBN——Deep Belief Networks）、堆棧自編碼網絡（SAE——Stacked Auto-Encoder Network）模型等。CNN 是一類包含卷積計算且具有深度結構的前饋神經網絡［11］，通過卷積和池化操作自動學習圖像在各個層次上的特征。DBN 是一種生成模型，通過訓練其神經元間的權重，可以讓整個神經網絡按照最大概率來生成訓練數［12］。SAE與DBN類似，區別在于其結構單元為自編碼模型［13］。其中，CNN 是在圖像識別領域應用最為廣泛的神經網絡之一，基于CNN 模型的視覺檢測典型算法包括用于如目標檢測的RCNN、Fast RCNN、Faster RCNN、YOLO、SSD等，用于圖像分類的LeNet、AlexNet、VGG、GoogLeNet算法等［14-15］。

當前系統深度學習視覺能力平臺已部署YOLOv3、SSD、Fast RCNN、RetinaNet 等算法主要應用于目標檢測場景。平臺支持用戶模型自訓練使用，通過設計標準化操作流程，降低了場景應用開發難度，無需專業開發人員即可完成模型訓練、校驗與部署，實現新視覺檢測應用的快速上線。

2.3.3 算法能力集成

工業視覺檢測場景復雜多類，檢測需求從簡單的尺寸測量到復雜的多目標識別。因此，需要依據場景實際情況合理選擇算法能力，既需要傳統的視覺檢測方法又需要基于深度學習的視覺檢測方法。在算法層面，平臺提供開放、可擴展的視覺檢測算法能力庫，支持集成第三方算法能力，當前提供深度學習檢測能力庫、OpenCV 檢測能力庫、Halcon 檢測能力庫等。平臺提供標準的接口能力單元，用戶也可將企業原有視覺檢測算法自行移植到平臺中使用。

2.3.4 能力編排引擎

能力編排引擎是視覺檢測系統的核心能力之一，針對多場景應用需求，通過檢測能力編排引擎為用戶提供可視化集成編排開發環境，用戶可針對新檢測場景對視覺檢測算法、檢測業務流程等進行編排及配置，快速形成新的視覺檢測能力。

2.3.5 基于5G＋MEC網絡的承載方案

格力對生產數據安全有嚴格要求，為實現生產數據不出園區，在網絡建設上需要支持5G+MEC 網絡架構，一方面利用5G 網絡作為設備連接手段，提供高可靠數據傳輸保障。另一方面，借助MEC 本地分流能力，關鍵生產數據直接分流至本地數據中心視覺檢測平臺，確保生產數據不出廠，保證數據安全性。同時，通過本地分流還能降低端到端通信時延，提升系統響應速度。

3 系統測試

結合格力5G 試點工廠的實際生產視覺檢測場景檢測需求，在試點工廠對系統進行整體測試。測試內容分為2個部分：網絡架構測試及系統測試。

3.1 網絡架構測試

格力試點工廠在園區部署3 臺5G 基站實現園區網絡覆蓋，同時部署MEC 服務器實現本地業務分流控制。為驗證系統網絡架構可行性，在格力試點工廠進行了系統測試及驗證（見圖3）。其中，現場終端設備通過CPE 接入5G 網絡，在園區部署MEC 服務器，車間采集的圖像數據經MEC 分流至格力數據機房。測試結果表明，在5G +MEC 網絡承載環境下，系統可正常運行，且數據傳輸通信時延可滿足企業檢測需求。

3.2 系統測試

針對格力視覺檢測需求，以空調外機為檢測目標，進行空調外機整體外觀檢測，通過在測試環境下模擬產線運行，空調進入檢測區域后觸發器產生觸發信號，同時觸發4臺工業相機拍照，工控機將圖像文件通過5G 網絡上傳至視覺檢測平臺并實時讀取檢測結果，輸出顯示檢測內容并下發控制指令。

圖3 網絡架構

空調外機視覺檢測場景具體檢測內容包括螺絲釘數量識別、接線盒ROHS標識有無、接線盒警告標識有無、空調銘牌有無、空調銘牌文字識別（重點識別名稱、型號、制造日期、出廠編號）、標簽上冷媒型號是否正確、空調2個防塵帽有無等。

現場測試環境如圖4所示。

圖4 現場測試環境

現場測試結果表明系統可在規定時間內完成對空調外機進行4面多目標檢測，并實時反饋檢測結果，在檢測效率和識別準確度上均達到預期要求（見表2）。

3.3 應用效果

基于5G 的工業AI 視覺檢測系統，將5G、MEC、AI技術與視覺檢測相結合，打造平臺化、智能化的工業視覺檢測系統，實現了多場景并行的視覺檢測。相較于企業現有視覺檢測能力單一、成本高、管理差等問題，該系統成本低，適合大規模部署；系統算法能力強，支持集成主流算法庫；管理能力強，支持對檢測流程及檢測結果進行大數據分析；提供標準化操作流程，能有效降低人員準入門檻。該系統的應用可有效提升企業視覺檢測智能化水平，滿足多場景視覺檢測需求，減少人員成本投入，提升生產效率，助力企業數字化、智能化轉型。

表2 空調外機4面視覺檢測結果

4 價值分析

4.1 產品自身價值分析

在成本層面，相對于現有的工業智能相機，平臺化的視覺檢測系統，現場端無需復雜硬件及高算力要求，可極大降低視覺檢測規模部署成本，實現新檢測場景快速批量部署。

在算法層面，平臺化的視覺系統具備更強的算法能力和算法復雜度，可擴展性強、易維護，具備更高的檢測效率和識別精度。

在使用層面，利用模型訓練平臺及業務編排能力，無需專業開發人員即可實現新檢測場景快速部署，有效降低了用戶使用門檻。

在管理層面，平臺化的視覺檢測系統可以支持多場景并行接入，可實現全場景視覺檢測的精細化管理，解決傳統視覺檢測數據孤島問題，可實現工業視覺檢測整體管控與數據分析，提高生產工藝。

4.2 產品工業應用價值分析

基于5G 的工業AI視覺檢測系統可以為企業提供端到端視覺檢測解決方案，建立全場景視覺檢測接入及監控管理體系，實現低成本、智能化、高效率的視覺檢測應用，有效提升生產效率及產品質量，降低生產成本，為企業帶來更多利潤。

同時，系統基于5G+MEC 所構建的企業內網來承載數據業務，為5G 工業網絡的建設帶來了應用價值，使5G 網絡能更好地服務工業生產，帶來新業務點，該模式具備復用推廣價值，可以擴展到其他5G 工業應用場景之中。

5 結束語

本文基于5G、AI 等新興技術，結合格力視覺檢測需求，設計了平臺化的視覺檢測系統，該系統契合企業智能化發展需求，能夠有效解決企業工業視覺檢測當前面臨的成本高、開發難、管理差等問題，該系統具備通用性及可復制性，通過微調即可復制推廣到其他工業企業，具有一定的行業示范及推廣意義。