基于機(jī)器視覺的鍛造渦輪葉片工件號(hào)自動(dòng)識(shí)別

徐健，張浩喆，周筆文，袁明圓

（1.中國航發(fā)動(dòng)力股份有限公司，陜西西安，710000；2.南昌航空大學(xué)，江西南昌，330063）

0 引言

在航空工業(yè)領(lǐng)域，鍛造渦輪葉片作為航空發(fā)動(dòng)機(jī)的核心組成部件，無論是在生成制造過程中，還是檢測(cè)維修過程中，都需要根據(jù)工件號(hào)進(jìn)行有序的編排，工件號(hào)相當(dāng)于每一個(gè)鍛造渦輪葉片的ID，可以方便記錄和查詢?nèi)~片在生成制造過程的相關(guān)信息以及檢測(cè)維修過程中發(fā)現(xiàn)的缺陷信息。因此，航空發(fā)動(dòng)機(jī)鍛造渦輪葉片的工件號(hào)識(shí)別尤為重要。現(xiàn)階段，大部分鍛造渦輪葉片的工件號(hào)識(shí)別工作仍然是通過人眼來完成，受鍛造溫度等制造工藝的影響，鍛造渦輪葉片表面光滑，對(duì)光的反射率較強(qiáng)，導(dǎo)致目標(biāo)與背景之間的對(duì)比度較低，人眼識(shí)別效率下降，且人眼容易產(chǎn)生疲勞，造成工件號(hào)識(shí)別出錯(cuò)。

近年來，機(jī)器視覺的技術(shù)日益發(fā)展，因其智能高效等優(yōu)勢(shì)逐漸受到人們青睞，已成功應(yīng)用于工業(yè)生產(chǎn)、醫(yī)療教育等各個(gè)領(lǐng)域。為此，本文擬設(shè)計(jì)一個(gè)基于機(jī)器視覺的鍛造渦輪葉片工件號(hào)自動(dòng)識(shí)別系統(tǒng)，通過機(jī)器視覺技術(shù)代替人工視覺檢測(cè)，提高工作效率，避免工件號(hào)識(shí)別出錯(cuò)，實(shí)現(xiàn)鍛造渦輪葉片工件號(hào)的自動(dòng)識(shí)別。系統(tǒng)首先通過工業(yè)相機(jī)采集得到高分辨清晰圖像，然后對(duì)圖像進(jìn)行預(yù)處理，接著繪制ROI區(qū)域，再根據(jù)字符紋理特征提取字符并建立字符庫，隨后完成對(duì)待測(cè)圖像的工件號(hào)識(shí)別，最后通過C#和Vision Master（后面直接用VM指代）完成上位機(jī)界面的設(shè)計(jì)。經(jīng)過實(shí)際的測(cè)試表明，該系統(tǒng)能夠滿足航空發(fā)動(dòng)機(jī)鍛造渦輪葉片工件號(hào)自動(dòng)識(shí)別的需求，并且性能穩(wěn)定，具有良好的實(shí)用性和可行性。

1 識(shí)別系統(tǒng)組成

該系統(tǒng)包括系統(tǒng)硬件和軟件兩個(gè)重要的組成部分。系統(tǒng)硬件部分由載物臺(tái)、支架、環(huán)狀光源、PC、工業(yè)相機(jī)及鏡頭構(gòu)成，整體識(shí)別系統(tǒng)的結(jié)構(gòu)如圖1所示。其中兩大關(guān)鍵的成像部件：工業(yè)相機(jī)采用的是型號(hào)為MV-CE200-10GM的海康相機(jī)，分辨率最高為5472×3648；鏡頭則是采用型號(hào)為MV-DK1116-20MP的海康鏡頭。PC端則主要負(fù)責(zé)完成對(duì)圖像數(shù)據(jù)的存儲(chǔ)、處理及識(shí)別等操作。最后，基于VS2017C#和Vision Master平臺(tái)進(jìn)行設(shè)計(jì)上位機(jī)軟件部分，對(duì)相機(jī)采集到的渦輪葉片圖像，根據(jù)機(jī)器視覺和圖像處理方法，識(shí)別圖像的字符信息，并自動(dòng)以字符信息對(duì)圖像進(jìn)行命名和保存。

圖1 系統(tǒng)硬件結(jié)構(gòu)示意圖

2 軟件識(shí)別流程

在識(shí)別系統(tǒng)軟件方面，設(shè)計(jì)流程如圖2所示。首先在VM建立流程，在流程中引入圖像源模塊用以獲取相機(jī)采集到的渦輪葉片葉榫部位圖像；然后應(yīng)用圖像濾波模塊對(duì)圖像進(jìn)行濾波處理；接著通過快速特征匹配模塊確定感興趣區(qū)域；隨后使用字符識(shí)別模塊提取字符特征，生成字符庫；接下來運(yùn)行方案中的流程，在結(jié)果窗口查看識(shí)別到的字符信息；最后利用C#對(duì)VM進(jìn)行二次開發(fā)，設(shè)計(jì)出上位機(jī)界面，用以顯示渦輪葉片圖像以及圖像中葉榫部位的工件號(hào)信息。

■2.1 圖像采集

VM平臺(tái)集成了機(jī)器視覺的多種視覺組件，適用于多種應(yīng)用場(chǎng)景。其通過組件拖放式操作，靈活性較高，大大降低了使用門檻。為獲取鍛造渦輪葉片圖像，首先將工業(yè)相機(jī)與PC端連接，打開光源，在硬件布置完之后，打開VM軟件，通過相機(jī)管理添加已連接的工業(yè)相機(jī)，應(yīng)用相機(jī)管理中的實(shí)時(shí)取流預(yù)覽圖像。根據(jù)圖像的效果來調(diào)節(jié)相機(jī)鏡頭的光圈和對(duì)焦環(huán)，待圖像清晰完成對(duì)焦后，鎖定光圈和對(duì)焦環(huán)，防止誤碰。如圖3所示，在新打開的方案流程中，引入圖像源模塊ImageSourceModuleCs用以獲取圖像。算子中的基本參數(shù)設(shè)置如下：圖像源設(shè)置為相機(jī)，表示圖像源模塊將通過工業(yè)相機(jī)采集的方式來獲取圖像；像素格式設(shè)置為MONO8，表示模塊將輸出格式為MONO8的灰度圖像。

圖3 圖像源模塊

■2.2 圖像濾波

由于受光照、工件抖動(dòng)等環(huán)境因素影響，圖像本身不可避免地會(huì)增加一定的背景噪聲，這些噪聲表現(xiàn)為邊緣梯度明顯，而待提取的目標(biāo)區(qū)域邊緣同樣表現(xiàn)為邊緣梯度明顯，因此在圖像預(yù)處理的過程中應(yīng)該盡可能消除背景噪聲，從而提高后續(xù)的圖像處理效果，下面簡(jiǎn)單介紹以下四種常用的濾波算子。

（1）高斯濾波

高斯濾波是一種線性平滑濾波，廣泛應(yīng)用于圖像處理的減噪過程。通過高斯核對(duì)整幅圖像中的像素點(diǎn)進(jìn)行卷積操作，從而得到高斯濾波后的像素值。為了獲取較好的濾波效果，可自行對(duì)高斯核大小進(jìn)行合理設(shè)計(jì)。高斯濾波的公式如下：

式中：(,)G x y是高斯濾波處理后輸出的灰度值。

（2）中值濾波

中值濾波是一種非線性濾波，也被稱為統(tǒng)計(jì)排序?yàn)V波器，通過一個(gè)n×n中值濾波器處理圖像像素點(diǎn)得到n×n個(gè)數(shù)值，對(duì)這些數(shù)值從小到大排序，取其中的中值代替原圖中的像素值，從而達(dá)到抑制背景噪聲的效果。中值濾波的公式如下：

式中：f(x,y)是圖像中目標(biāo)像素點(diǎn)的原始灰度值，f(x-i,y-j)是目標(biāo)像素點(diǎn)鄰域各像素點(diǎn)的灰度值，G(x,y)是中值濾波處理后輸出的灰度值。

（3）均值濾波

均值濾波是一種典型的線性濾波算法，設(shè)置中值濾波模板，這里將模板設(shè)置為3×3大小（濾波模板大小可調(diào)），通過將圖像中的目標(biāo)像素與周圍鄰近的8個(gè)像素的灰度值進(jìn)行求和運(yùn)算，再將求和結(jié)果除以9得到平均值，即為中值濾波后的像素值。均值濾波的公式如下：

式中：(,)x y為待處理的當(dāng)前像素點(diǎn)，(,)G x y為處理后圖像在該點(diǎn)上的灰度值，S為模板，M為該模板中包含當(dāng)前像素在內(nèi)的像素總個(gè)數(shù)。

（4）引導(dǎo)濾波

引導(dǎo)濾波是一種相對(duì)上述三種濾波算子較新的濾波算子，其具有良好的保邊平滑性，現(xiàn)被廣泛研究用于圖像處理領(lǐng)域。引導(dǎo)濾波也被視為一種圖像的多尺度轉(zhuǎn)換法，通過結(jié)合圖像的像素值和控件信息來構(gòu)造權(quán)重圖。引導(dǎo)濾波的公式如下：

式中：G為引導(dǎo)圖像，用于指導(dǎo)輸入圖像I進(jìn)行濾波，得到輸出結(jié)果O;Wij(G)為I在(i,j)處的像素點(diǎn)權(quán)重值，其根據(jù)G在(i,j)處的局部窗口wk中的所有像素計(jì)算得出。

考慮到渦輪葉片上的工件號(hào)對(duì)比度較低，字符特征主要為紋理特征，而引導(dǎo)濾波器能夠很好地保留字符邊緣信息，消除背景噪聲。因此本文在VM中自定義引導(dǎo)濾波算子GuidedFilter，并將其與VM濾波模塊中的高斯濾波、中值濾波、均值濾波進(jìn)行了對(duì)比。如圖4所示，應(yīng)用VM中的圖像濾波模塊以及自定義GuidedFilter模塊，分別對(duì)圖像進(jìn)行濾波操作。從四種濾波算子處理后的效果上來看，引導(dǎo)濾波達(dá)到了預(yù)期的效果，保留了字符紋理特征，平滑了背景噪聲，而其他三種濾波算子處理效果不明顯，如圖5所示。

圖4 圖像濾波操作

圖5 原圖及各濾波算子處理后的圖像

■2.3 確定感興趣區(qū)域

圖像濾波之后，運(yùn)用快速特征匹配模塊IMVSFast FeatureMatchModuCs確定圖像的感興趣區(qū)域。在模塊中通過調(diào)節(jié)特征尺度和對(duì)比度閾值建立合適的特征模板，使得該模板能夠快速匹配到不同測(cè)試圖像中的感興趣區(qū)域，便于接下來字符識(shí)別能夠在圖像局部目標(biāo)區(qū)域進(jìn)行識(shí)別，提升識(shí)別的準(zhǔn)確率。如圖6所示，應(yīng)用快速特征匹配模塊，首先需要對(duì)其進(jìn)行模板配置，在模板配置過程中通過自定義框選確定ROI區(qū)域，即目標(biāo)區(qū)域，然后點(diǎn)擊生成后模塊會(huì)自動(dòng)提取到目標(biāo)區(qū)域的特征，即完成模板的生成，最后在特征模板中查看已建立的特征模板，可以創(chuàng)建多個(gè)模板，方便測(cè)試獲取匹配效果更佳的特征模板，同時(shí)支持特征模板的保存、加載和刪除操作，極大地方便了模板匹配的操作。

圖6 快速特征匹配

■2.4 字符識(shí)別

通過快速特征匹配模塊確定感興趣區(qū)域之后，應(yīng)用字符識(shí)別模塊IMVSOcrModuCs對(duì)目標(biāo)區(qū)域的工件號(hào)進(jìn)行識(shí)別。在字符識(shí)別模塊中通過字符庫訓(xùn)練來提取工件號(hào)對(duì)應(yīng)的字符，從而建立字符庫。工件號(hào)是由26個(gè)大寫字母和10個(gè)阿拉伯?dāng)?shù)字中的部分字符組成，因此為了使得字符庫具有良好的泛化性能和識(shí)別準(zhǔn)確率，字符庫中包含全部的26個(gè)大寫字母和10個(gè)阿拉伯?dāng)?shù)字，并且為了提高魯棒性，對(duì)不同圖像中的同一字符進(jìn)行了字符提取。如圖7所示，將字符識(shí)別模塊拖放至方案流程中已完成關(guān)鍵的識(shí)別任務(wù)。首先需要進(jìn)行字符訓(xùn)練，自定義框選出目標(biāo)區(qū)域字符所在的大致位置，然后根據(jù)字符大小等信息調(diào)節(jié)好提取參數(shù)之后對(duì)字符信息進(jìn)行提取，彈出字符訓(xùn)練窗口后，對(duì)應(yīng)輸入字符信息用以訓(xùn)練字符建立字符庫，最后將字符信息添加至字符庫完成字符訓(xùn)練操作。至此，成功地在VM中建立了針對(duì)渦輪葉片工件號(hào)識(shí)別的方案流程。

圖7 字符識(shí)別

■2.5上位機(jī)界面設(shè)計(jì)

完成了方案流程的制作之后，為了提高系統(tǒng)的實(shí)用性，本文以VS為開發(fā)平臺(tái)，對(duì)VM進(jìn)行二次開發(fā)，設(shè)計(jì)上位機(jī)界面，如圖8所示。在VS上配置好VM的二次開發(fā)環(huán)境之后，通過VmSolution下的Import方法導(dǎo)入方案；然后實(shí)例化一個(gè)流程Process，由于流程歸屬于方案，因此通過VmSolution下的Instance屬性綁定方案中的具體流程；接著使用流程Process下的Run方法運(yùn)行方案中的流程，為了實(shí)現(xiàn)實(shí)時(shí)的效果，將流程Process下的Continuous RunEnable屬性設(shè)置為真；隨后再通過Process下的GetString OutputResult方法來獲取流程運(yùn)行后的輸出結(jié)果，即識(shí)別到的字符信息；最后實(shí)例化一個(gè)SaveFileDialog文件保存控件用以保存圖像，并自動(dòng)以工件號(hào)信息命名圖像。

圖8 上位機(jī)界面

3 測(cè)試結(jié)果分析

由于某航空廠所能提供的渦輪葉片樣件有限，為此本文采取傳統(tǒng)的數(shù)據(jù)擴(kuò)充的方法對(duì)現(xiàn)有的有限圖像進(jìn)行數(shù)據(jù)擴(kuò)充，得到50張用于建立字符庫的訓(xùn)練圖像以及100張與此前不同的測(cè)試圖像，每張圖像中的工件號(hào)由21個(gè)字符組成，總測(cè)試字符為2100個(gè)。分別統(tǒng)計(jì)誤檢字符個(gè)數(shù)和漏檢字符個(gè)數(shù)，計(jì)算字符識(shí)別的準(zhǔn)確率和識(shí)別耗時(shí)來表征系統(tǒng)的性能優(yōu)劣，具體結(jié)果如表1所示。

表1 字符識(shí)別結(jié)果統(tǒng)計(jì)表

分析表明，系統(tǒng)完成100張測(cè)試圖像的字符識(shí)別耗時(shí)為30s，字符識(shí)別的準(zhǔn)確率高達(dá)98.86%，由此可見，該系統(tǒng)具有較高的效率和字符識(shí)別準(zhǔn)確率，然而系統(tǒng)仍存在有待改進(jìn)的地方。由于0和D的紋理特征相似度較高，系統(tǒng)錯(cuò)誤地將少部分字符0識(shí)別為了字符D；對(duì)于僅有的一個(gè)漏檢字符A，查看原圖發(fā)現(xiàn)該字符激光雕刻的不完整。針對(duì)該系統(tǒng)存在的不足，后續(xù)將通過優(yōu)化字符提取參數(shù)以及豐富字符庫中0和D兩個(gè)字符的特征模板來進(jìn)一步提升系統(tǒng)的識(shí)別準(zhǔn)確率。

4 結(jié)論

就人眼識(shí)別航空發(fā)動(dòng)機(jī)鍛造渦輪葉片工件號(hào)存在工作效率低，易識(shí)別出錯(cuò)等問題，本文設(shè)計(jì)了一個(gè)基于機(jī)器視覺的鍛造渦輪葉片工件號(hào)識(shí)別系統(tǒng)。該系統(tǒng)采用先進(jìn)的機(jī)器視覺技術(shù)代替人眼，通過高分辨相機(jī)采集圖像，再引用引導(dǎo)濾波算子對(duì)圖像進(jìn)行預(yù)處理，接著確定感興趣區(qū)域，最后完成識(shí)別工作。總體來說，該系統(tǒng)滿足了工業(yè)現(xiàn)場(chǎng)高效的識(shí)別需求，且具備良好的交互性能。