基于單視角圖像處理的刀具磨損檢測研究

劉禮平，胡昊，李頌，李子昂，朱學明，夏平鋒

(1.中國民航大學航空工程學院，天津 300300；2.天津職業技術師范大學機械工程學院，天津 300350；3.天津威懇德測控設備技術有限公司，天津 300356)

0 前言

在制造業中，刀具是關系工件制造成本和質量的關鍵因素之一，刀具磨損制約刀具使用壽命和加工效率，因此對刀具磨損量進行檢測必不可少。刀具磨損檢測有直接測量法和間接測量法。刀具磨損的間接檢測法主要有切削力信號、聲發射信號、振動信號以及電流信號檢測等。LUO等通過車削力學模擬和經驗模型建立了刀具后刀面的磨損率模型，對刀具后刀面的磨損寬度進行了預測。呂楊研究TC4鈦合金的高速切削時發現，刀具磨損嚴重影響切削力，通過切削力的變化可以監測刀具磨損程度。席劍輝、林琳分析聲發射序列熵值的變化，采用最小二乘法建立熵值預測模型，提高了預測精度和檢測工作效率。黃鶴翔等采集高速刀具銑削時不同軸向的聲發射和振動信號，提出一種基于3-KMBS深度學習的新算法進行刀具磨損建模，刀具磨損檢測準確率高達95%。趙帥等人采集不同加工條件下主軸電機的電流信號和銑削加工參數，利用小波包分解、時域分析、頻域分析提取信號特征，最后利用主成分分析和隨機森林回歸方法得到刀具磨損的分級評估結果。針對基于圖像處理的刀具磨損直接檢測，國內外采用的檢測方法多為顯微鏡測量，此方法存在檢測速度慢、效率低、檢測結果易受干擾等問題。丁玉輝等對圖像處理應用于刀具磨損檢測進行了綜述，認為圖像處理技術在刀具磨損檢測中發揮著重要的作用，但該研究中的直接檢測方法大多數是離線檢測，在線檢測技術匱乏，且存在非智能化的問題。遲輝等人設計了圖像處理檢測方案，但該方案為離線檢測，需要人工尋找磨損點，且存在采集圖像精度較低的缺點。張飛等人對銑刀磨損量進行基于機器視覺的離線檢測，總結出圖像特征的提取算法，但其采集圖像沒有經過融合，圖像前后景模糊，影響最終檢測精度。

為實現更高的經濟效益必須提高檢測效率。以此為切入點，本文作者提出一種單視角圖像處理檢測方法，使用相對低廉的顯微鏡進行圖像采集，研究適應于普通CCD相機單視角圖像處理的刀具磨損檢測方法。文中的刀具測試方法具有高的測量精度和自動化程度。

1 整體實驗設計

實驗裝置簡圖如圖1所示，對磨損刀具進行圖像采集。

圖1 實驗裝置簡圖

利用CCD相機分別采集刀具磨損前后同一角度、不同景深的圖像，將采集的圖像進行融合形成磨損前后的兩張清晰圖像，提取刀具磨損前后清晰圖像的特征點，以磨損前圖像為基準對磨損后圖像進行配準和圖像互減，經過灰度變換、濾波去噪、區域形態學處理配準時圖像變形的影響，得到清晰準確、信息完整的磨損區域圖像，最后通過算法將提取到的磨損區域像素值轉換為實際的磨損數據(面積，邊長，長，寬)。

2 單視角圖像的磨損檢測

2.1 基于小波變換的圖像融合

以Mallat快速小波變換為基礎，對CCD相機采集到的不同圖像在-1尺度上進行小波分解：

(1)

設和分別為、的共軛轉置矩陣，得到重構圖像：

(2)

(1)圖像融合算法

在不同景深下采集圖片，無法采集出前景和后景同時清晰的圖像，所以需要進行圖像融合。融合都是基于像素點進行，但是圖像的特征并不是只由一個像素解決，往往都是基于一個像素集群體現，且局部區域特征內各像素都有較強的相關性。為克服簡單像素融合規則的不穩定性，提高融合效果，提出了根據窗口的融合規則。本文作者利用BURT所提出的加權平均規則進行窗口融合?；诖翱诘娜诤弦巹t使用了周圍像素與目標像素的相關性，所以吸取了更多的源圖像的細節信息，簡單像素融合的錯誤特征將大幅度減少。圖2(a)為前景清晰、背景模糊圖像；圖2(b)為前景模糊、背景清晰圖像；圖2(c)為融合后所得圖像。

圖2 圖像融合結果

(2)圖像融合評價標準與分析

評價融合圖像效果可以采用熵和互信息量兩個參數標準。熵反映圖像細節信息復雜程度，互信息量反映融合前后兩幅圖像相關信息量。

熵值計算公式：

(3)

式中：為灰度級數(一般取256級)；為第灰度級的像素個數與圖片的總像素數的比值。

互信息量計算公式：

(A,B,F)=

(4)

式中：(,)為圖像A、B的聯合灰度直方圖；(,,)為圖像A、B、F的聯合灰度直方圖。

融合受到分解層數和窗口大小的影響，文中實驗取窗口大小為3×3，取分解層數為1～8進行實驗。選定分解層數，圖像互信息量與窗口選取呈正相關，忽略熵值影響，考慮到運行效率所花費的時間成本和圖像精度，最合適的窗口大小可選取7×7。

分解層數對信息量的影響存在一個閾值，層數增加導致與源圖像的互信息量減低，表明此時產生了不必要的細節信息，所以分解層數只需要取到閾值即可。結合實驗作者選取合適的分解層數為3，融合時具有足夠的細節信息，運算時間也在較小范圍內。

2.2 圖像配準

基于計算機視覺對磨損前后圖像進行配準，可解決圖像細節信息在圖像坐標系上不對應的問題。作者以Python為開發平臺，采用OpenCV庫中ORB(Oriented FAST and Rotated BRIEF)特征點匹配算法對磨損圖像進行快速配準。

2.2.1 圖像特征提取

ORB使用的是 FAST(Features from Accelerated Segment Test)算法進行特征點檢測。如圖3所示，為選取的圖像上某一像素點，以該點為圓心，3像素為半徑的圓周所穿過像素點為檢測點。檢測點有3種信息狀態，當=時則可以判定該點為特征點。

圖3 特征點檢測

(5)

式中：為檢測點的信息狀態；為閾值；d、s、b分別代表較暗、相似、較亮；為中心點的灰度值；為檢測點的灰度值。

為加快匹配檢測速度，先對圓周的垂直方向點1和點9進行計算，若滿足檢測點信息狀態，則進行水平方向的點5和點13計算，若有大于等于3個點滿足標準，則對剩下的12個點依次檢測，并記錄滿足標準的個數。公式表示：

(6)

文中取FAST-9為判別特征點標準：當≥9，則判定中心點為特征點。

2.2.2 生成特征點描述子

ORB使用BRIEF(Binary Robust Independent Elementary Features)特征描述子算法來對提取出的特征點，以為圓心，以一定的窗口框選出一個區域，在所框選出的區域中以固定的提取方式提取對點對。文中采取占用內存為32字節，為256對(為簡化原理說明這里取=4)。

如圖4所示，當前取到的四組像素點對可分別標記為：(,)、(,)、(,)、(,)。

圖4 描述子選取

設像素點對為(,)，對提取到的像素點對作如下處理：

(7)

式中：()為的灰度值。

由上式得到一組由0和1組成的關于特征點的特征描述子數組，該數組具有減少實際匹配時間、占用內存小的優點。

2.2.3 特征點匹配和配準

現假設上面得到的特征點和的描述子為1101011和1001010，對特征點數組進行異或運算可以得到數組1011110，統計結果中0的個數并與設定的閾值進行比對，若小于閾值則代表兩點相似度符合要求，是兩幅圖片的同一特征點。實際匹配時需將其中一張圖進行旋轉拉伸等變形以對準另一張圖，確定兩特征點之間位置映射關系可用單應性矩陣來表示。

現假設兩張圖片的同一特征點的齊次坐標為(,,1)和(,,1)，并定義單應性矩陣：

(8)

則特征點坐標的關系可表示為

(9)

將矩陣展開并分離變量可得：

(10)

對上式作等價變換：

++---=0

++---=0

(11)

將等式改寫為向量積的形式：

=(,,,,,,,,)

(12)

由于單應矩陣是一個齊次矩陣，可以將直接設為1，特征點對數量越多則單應矩陣越準確。將待配準的圖片所有坐標點與單應矩陣相乘，得到最終配準后的圖像。配準后的效果如圖5所示。

圖5 圖像配準結果

2.3 磨損區域提取與測量

磨損圖像的提取可以通過配準后的兩張圖像進行相減實現，但直接相減會產生負數，負數在計算機視覺中會被直接置0，從而損失很多細節，為此對兩張圖像進行互減，互減之后的兩張圖像再相加，可保留圖像細節信息；然后對提取的磨損圖像進行灰度變換和中值濾波處理，去除圖像中的噪點，使圖像信息更清晰；最后對圖像進行二值化處理，因為圖像是經過配準后進行計算的，為防止旋轉產生的影響進行去邊界處理。圖6所示為刀具磨損區域圖像的最終處理結果。

圖6 刀具磨損區域圖像的最終處理結果

磨損量以磨損區域的面積和周長表示。通過圖像中物體尺寸和實際物體尺寸計算出單個像素所表示的實際面積或邊長，進而計算出圖像中實際磨損區域的面積和周長。相關數據可由下式進行計算：

磨損區域的面積

(13)

磨損區域的周長

(14)

磨損區域的長寬、

=

=

(15)

式中：為單個像素表示的實際面積；為單個像素表示邊長；為范圍內的所有點的集合；為磨損區域在水平方向的投影長度；為磨損區域在豎直方向的投影長度。

測量精度與圖像的尺寸有關，以 1 000像素×1 000像素的圖形為例，如所拍攝物體尺寸為20 mm，則一個像素所能到的精度為0.02 mm，面積精度為0.000 4 mm，圖像尺寸越大，拍攝物尺寸越小，則精度越高。

以第2.3節提取出的磨損為例，設刀具規格為12 mm，對圖像中的像素點進行標定可知，每個像素代表的面積為0.000 326 mm，代表的長度為 0.018 1 mm，即刀具磨損理論檢測精度為0.000 326 mm/像素以及0.018 1 mm/像素。由此可計算出磨損的相關數據為下：磨損區域面積=0.143 44 mm，磨損區域周長=3.1 132 mm，磨損區域長=0.289 6 mm，磨損區域寬=1.502 3 mm。

3 結語

以Python為開發平臺，基于單視角圖像處理，利用CCD相機采集磨損前和磨損后的刀具圖像，通過小波變換對刀具磨損前、磨損后圖像進行分解和融合，得到刀具磨損前、磨損后的全景深圖像。提取刀具磨損前、磨損后全景深圖像中的刀具部分，并將磨損前后刀具部分的圖像配準。配準后對磨損前后刀具圖像進行布爾運算得到磨損區域，將刀具磨損區域進行灰度變換、中值濾波去噪、二值化處理，以提高刀具磨損區域的圖片質量。最終將刀具磨損區域的圖像像素轉化為刀具實際磨損量，刀具磨損檢測長度精度和面積精度理論上分別約為0.02 mm、0.000 3 mm。該方法在提高檢測速度、降低檢測成本的同時，滿足刀具磨損檢測精度的要求，可應用于生產實際。