基于視覺(jué)技術(shù)集成的車輛防錯(cuò)系統(tǒng)開(kāi)發(fā)及應(yīng)用

靳智豪，顧金龍，徐 俊，俞炳良，萬(wàn)文濤

（吉利汽車集團(tuán)有限公司，浙江 寧波 315300）

繼德國(guó)提出工業(yè)4.0之后，我國(guó)于2015年提出了《中國(guó)制造2025》計(jì)劃，在這份計(jì)劃中，智能制造工程作為五大工程之一被提出。自此，在國(guó)內(nèi)汽車制造行業(yè)，智能化、自動(dòng)化設(shè)備開(kāi)始作為新技術(shù)被研究，并逐漸推廣。當(dāng)前在汽車裝配的沖壓車間、焊接車間、噴涂車間，自動(dòng)化普及率較高，并傾向智能化發(fā)展，而在零部件裝配車間，仍采用較多的人員作業(yè)，在設(shè)備投入上，自動(dòng)化智能化投入程度較低。本文將著重介紹總裝車間在車輛質(zhì)量控制方面所研究，并推廣應(yīng)用的外觀質(zhì)量視覺(jué)自動(dòng)化檢查系統(tǒng)及應(yīng)用案例。

1 車輛外觀質(zhì)量傳統(tǒng)控制與視覺(jué)檢查系統(tǒng)控制方法

1.1 傳統(tǒng)控制方法

傳統(tǒng)控制方法有以下幾點(diǎn)：

（1）待檢查車輛行至檢查工位；

（2）檢查人員從車內(nèi)拿出檢查事項(xiàng)紙質(zhì)清單，然后確認(rèn)車輛配置；

（3）確認(rèn)車輛配置所要求的差異件、個(gè)性化定制件信息；

（4）依照檢查事項(xiàng)紙質(zhì)清單中所要求的順序、檢查項(xiàng)開(kāi)展檢查工作；

（5）在檢查事項(xiàng)紙質(zhì)清單上記錄過(guò)程檢查結(jié)果及最終檢查結(jié)果；

（6）交付檢查車輛然后開(kāi)始下一輪的檢查工作。

1.2 視覺(jué)檢查系統(tǒng)控制方法

視覺(jué)檢查系統(tǒng)控制方法有以下幾點(diǎn)：

（1）待檢查車輛行至檢查工位；

（2）上層制造企業(yè)生產(chǎn)過(guò)程執(zhí)行系統(tǒng)（Manufacturing Execution System, MES）推送車型配置信息給智能化檢查設(shè)備（此系統(tǒng)預(yù)留與MES系統(tǒng)互聯(lián)端口）；

（3）待檢車輛行至信息采集點(diǎn)，觸發(fā)光電開(kāi)關(guān)，光電開(kāi)關(guān)發(fā)送信息給檢查設(shè)備；

（4）設(shè)備啟動(dòng)前、后、左、右、上等5個(gè)攝像頭對(duì)檢查區(qū)域進(jìn)行拍照；

（5）從數(shù)據(jù)庫(kù)中調(diào)取檢查零部件正確的配置圖片及其它信息；

（6）提取整車照片中的待檢零部件外觀、顏色等信息與數(shù)據(jù)庫(kù)信息進(jìn)行對(duì)比、判斷；

（7）對(duì)檢查結(jié)果通過(guò)工位顯示屏及聲光報(bào)警器進(jìn)行顯示（OK/NG采用不同的警示、顯示、音樂(lè)提醒等）；

（8）檢查結(jié)果（OK/NG）上傳MES系統(tǒng)進(jìn)行存檔（檢查數(shù)據(jù)要可查、可導(dǎo)出）并開(kāi)始下一輪的檢查工作。

2 視覺(jué)檢查系統(tǒng)的架構(gòu)模型及設(shè)備需求說(shuō)明

2.1 視覺(jué)檢查系統(tǒng)機(jī)械架構(gòu)模型

圖1是視覺(jué)檢查系統(tǒng)的架構(gòu)模型，此系統(tǒng)由硬件控制系統(tǒng)、軟件控制系統(tǒng)、視覺(jué)系統(tǒng)和機(jī)械架構(gòu)等部分構(gòu)成。

2.2 視覺(jué)檢查系統(tǒng)網(wǎng)絡(luò)架構(gòu)模型

視覺(jué)檢查系統(tǒng)網(wǎng)絡(luò)模型架構(gòu)如圖2所示，主要包括輸入層、應(yīng)用層、輸出層。

輸入層：用戶通過(guò)機(jī)械臂夾持視覺(jué)系統(tǒng)多角度、多維度采集工件待測(cè)區(qū)域圖片，采集后的圖像存入圖像數(shù)據(jù)庫(kù)。

應(yīng)用層：采集圖像導(dǎo)入后，進(jìn)行相關(guān)項(xiàng)目檢測(cè)。系統(tǒng)通過(guò)調(diào)用應(yīng)用層的功能、協(xié)議、查詢工具等進(jìn)行一系列圖像分析，并針對(duì)每一次工件測(cè)試，導(dǎo)出測(cè)試分析報(bào)告。針對(duì)不同用戶（操作員、系統(tǒng)維護(hù)員、算法開(kāi)發(fā)人員），設(shè)定不同權(quán)限。

輸出層：針對(duì)每次工件測(cè)試，輸出測(cè)試結(jié)果（合格/不合格），并在相應(yīng)位置做出標(biāo)記。根據(jù)測(cè)試結(jié)果，確定工件方向及處理意見(jiàn)。工件在經(jīng)過(guò)人工處理/復(fù)檢后，進(jìn)行二次檢測(cè)。

2.3 視覺(jué)檢查系統(tǒng)設(shè)備需求

視覺(jué)檢查系統(tǒng)設(shè)備需求如表1所示。

2.4 視覺(jué)檢查系統(tǒng)功能說(shuō)明

視覺(jué)系統(tǒng)具備以下功能模塊，可以實(shí)現(xiàn)如下功能，如表2所示。

3 視覺(jué)系統(tǒng)各控制系統(tǒng)的原理及功用

3.1 硬件系統(tǒng)

3.1.1 工控機(jī)

在視覺(jué)檢查系統(tǒng)中，該工控機(jī)的控制原理：當(dāng)車輛由傳送帶傳送到檢測(cè)位置時(shí)，傳感器發(fā)送信號(hào)給工控機(jī)，同時(shí)，工控機(jī)給相機(jī)發(fā)送觸發(fā)信號(hào)和作業(yè)切換信號(hào)，接收到工控機(jī)信號(hào)的相機(jī)開(kāi)始采集圖片并執(zhí)行各界面的檢測(cè)程序，相機(jī)再將各界面的檢測(cè)結(jié)果傳回工控機(jī)。

工控機(jī)（如圖3所示）有實(shí)現(xiàn)整個(gè)系統(tǒng)的運(yùn)動(dòng)控制部分功能，具體如下：檢測(cè)被測(cè)件到位信號(hào)；供電控制；聲光報(bào)警器控制；上位機(jī)通信光源控制及相機(jī)控制。

3.1.2 顯示器

顯示器的作用是為了便于檢測(cè)員查看實(shí)時(shí)生成的檢測(cè)報(bào)告，觀察并手動(dòng)處理相關(guān)區(qū)域或調(diào)整工件姿態(tài)而設(shè)。

3.2 軟件系統(tǒng)功能目標(biāo)

3.2.1 功能概述

當(dāng)車輛到達(dá)檢查工位時(shí)，攝像頭對(duì)整車（檢查區(qū)域）進(jìn)行拍照，并對(duì)該區(qū)域的待檢項(xiàng)目進(jìn)行圖片分割、提取。

車輛到待檢查工位時(shí)，視覺(jué)系統(tǒng)獲取這個(gè)車上待檢零件的配置信息，調(diào)取信息庫(kù)中的圖片信息。

通過(guò)信息庫(kù)中圖片信息與分割提取的圖片進(jìn)行比對(duì)，正確項(xiàng)與不正確項(xiàng)分別用綠框和紅框同步顯示在工位邊的顯示器上。

檢測(cè)完畢后，生成和存儲(chǔ)外觀檢測(cè)報(bào)告，并存儲(chǔ)相關(guān)圖片供以后檢查調(diào)用。

3.2.2 工件測(cè)試圖庫(kù)管理

測(cè)試完成后，自動(dòng)根據(jù)工件ID建立工件檔案，并將相關(guān)測(cè)試圖片存儲(chǔ)在特定位置，針對(duì)每一項(xiàng)檢測(cè)內(nèi)容，建立相應(yīng)的文件路徑，方便用戶隨時(shí)查看與統(tǒng)計(jì)。

3.2.3 工件測(cè)試結(jié)果的統(tǒng)計(jì)分析

隨著該光學(xué)測(cè)試平臺(tái)對(duì)不同工件的測(cè)試積累，用戶可以針對(duì)每項(xiàng)檢測(cè)內(nèi)容進(jìn)行統(tǒng)計(jì)分析，列出較為多發(fā)的“不合格項(xiàng)”以及“瑕疵項(xiàng)”，為人工復(fù)檢提供檢測(cè)重點(diǎn)。根據(jù)測(cè)試結(jié)果文件，對(duì)測(cè)試結(jié)果進(jìn)行統(tǒng)計(jì)，供生產(chǎn)管理參考使用。

3.2.4 用戶管理

不同用戶具有不同的操作權(quán)限，管理員可以設(shè)置和增加操作員的權(quán)限，非管理員只能更改自己的權(quán)限，非管理權(quán)限不能對(duì)測(cè)試序列的編輯及設(shè)備相關(guān)參數(shù)進(jìn)行更改。運(yùn)維用戶可以在軟件中管理門(mén)戶，對(duì)軟件設(shè)置、權(quán)限和數(shù)據(jù)庫(kù)進(jìn)行維護(hù)。負(fù)責(zé)算法開(kāi)發(fā)的人員，可以使用遠(yuǎn)程部署的應(yīng)用工具訪問(wèn)標(biāo)準(zhǔn)庫(kù)中的原始數(shù)據(jù)，通過(guò)代碼對(duì)原始數(shù)據(jù)進(jìn)行分析，并形成優(yōu)化的分析算法。

3.2.5 軟件測(cè)試執(zhí)行

測(cè)試執(zhí)行界面顯示測(cè)試項(xiàng)結(jié)果，測(cè)試產(chǎn)品圖片、測(cè)試人員、測(cè)試時(shí)間、測(cè)試執(zhí)行的序列版本、設(shè)備系統(tǒng)狀態(tài)，如設(shè)備故障要有明顯的提示。

3.3 視覺(jué)系統(tǒng)

3.3.1 視覺(jué)相機(jī)

視覺(jué)相機(jī)可以有效覆蓋整車的所有細(xì)節(jié)。同時(shí)相機(jī)通過(guò)以太網(wǎng)通信協(xié)議與工控機(jī)之間進(jìn)行通信。

3.3.2 輔助光源

由于整車尺寸較大，為了保障良好的照明效果和均勻性，采用定制光源（含條形光源及面陣光源），光源與金屬結(jié)構(gòu)通過(guò)專用夾具固定。通過(guò)調(diào)節(jié)發(fā)光尺寸、位置及發(fā)散角，優(yōu)化整車照明效果。

3.4 機(jī)械結(jié)構(gòu)

機(jī)械結(jié)構(gòu)是采用型鋼材料，搭建一個(gè)類似于燈廊的結(jié)構(gòu)。左右上三個(gè)方面布置視覺(jué)鏡頭、輔助光源、安全光柵及檢測(cè)開(kāi)關(guān)等，其作用是為視覺(jué)檢查系統(tǒng)搭建架構(gòu)，實(shí)現(xiàn)電器件安裝。

3.5 網(wǎng)絡(luò)架構(gòu)

該系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

MES系統(tǒng)作為上層網(wǎng)絡(luò)系統(tǒng)，通過(guò)交換機(jī)向該系統(tǒng)傳遞車輛配置差異信息；控制系統(tǒng)下達(dá)指令到光源控制器、運(yùn)動(dòng)單元控制器及相機(jī)陣列；運(yùn)動(dòng)單元控制器控制相機(jī)支架根據(jù)車輛位置調(diào)整相機(jī)姿態(tài)；光源控制器結(jié)合環(huán)境因素判斷是否對(duì)檢查車輛進(jìn)行補(bǔ)光；相機(jī)拍攝后，信號(hào)傳遞服務(wù)器進(jìn)行數(shù)據(jù)處理、對(duì)比等計(jì)算后，通過(guò)控制器傳遞給工位顯示系統(tǒng)。

3.6 實(shí)際應(yīng)用示例

圖5是應(yīng)用示例，整車外觀配置錯(cuò)漏裝檢查側(cè)重于對(duì)后視鏡、外飾件、輪輞型號(hào)、輪胎型號(hào)、制動(dòng)卡鉗型號(hào)等檢查，圖中所示是對(duì)后視鏡、輪胎等檢查的一個(gè)案例展示。

4 結(jié)語(yǔ)

本系統(tǒng)基于機(jī)器視覺(jué)的智能光學(xué)檢測(cè)平臺(tái)，利用光電技術(shù)、機(jī)器視覺(jué)、圖像處理、運(yùn)動(dòng)控制等技術(shù)，實(shí)現(xiàn)整車外觀多類指標(biāo)與配置的實(shí)時(shí)檢測(cè)與評(píng)估。測(cè)試平臺(tái)主要由傳感器模塊、光源照明模塊、機(jī)器視覺(jué)模塊、工控機(jī)模塊、圖像處理模塊和軟件系統(tǒng)構(gòu)成。待檢車輛傳送至檢查工位時(shí)，傳感器發(fā)送信號(hào)至工控機(jī)，然后對(duì)外觀特定區(qū)域拍照。同時(shí)，智能檢查設(shè)備自動(dòng)讀取識(shí)別車輛配置信息，然后對(duì)配置差異件的拍照、數(shù)據(jù)庫(kù)比對(duì)、合格或不合格判斷、結(jié)果展示等實(shí)現(xiàn)整車配置智能檢查。

本系統(tǒng)基于機(jī)器視覺(jué)的自動(dòng)化檢測(cè)平臺(tái)，可以實(shí)現(xiàn)整個(gè)檢測(cè)流程的全智能化、自動(dòng)化，以達(dá)到減少手動(dòng)操作、提高測(cè)試可靠性與穩(wěn)定性的目的，從而提高生產(chǎn)效率。