基于U-Net分割與弧支撐線段擬合的鍛件直徑在線檢測

鄒家豪，黃志開*，王 歡，王榮杰，蓋黎霞

（1.南昌工程學院 信息工程學院，南昌 330099；2.無錫派克新材料有限公司，無錫 214000）

0 引言

目前，各領域對于大型環形鍛件的應用需求增加，對精度的要求也日益提高。但鍛件直徑越大，鍛件加工的廢品率越大，降低了企業的生產效率，因此迫切需要一種更高效的鍛件檢測方法。如今國內外大型鍛件的尺寸檢測方法可以分為接觸式和非接觸式。接觸式測量法采用點對點測量，但誤差大、精度低，而且對操作人員的傷害較大。非接觸式測量法則有效避免操作人員與高溫鍛件直接接觸，提高了測量精度，因此在學術領域成為研究熱點。李雪嬌[1]等人研究了基于機器視覺的大型零件尺寸測量系統，該系統由小波去噪去除復雜環境引起的噪聲，使用SIFT和加權平均算法進行圖像拼接，得到工件的整體圖像，從而實現對其尺寸測量，但其計算過程復雜且需要對新環境重新標定降低了檢測效率。王邦國等[2]對大型鍛件的熱態尺寸測量系統進行了研究，該系統利用光源與熱態鍛件輻射出射度波長的關系確定相機的光譜，進行圖像采集，以主動視覺標定為基礎解決車間環境復雜相機難以標定的問題，但標定精度對尺寸檢測的精度有較大影響。ZHU S[3]等人研究了基于機器視覺的大型結構件表面橫切特征點三維坐標的測量方法，該方法采用立體視覺技術采集檢測目標的左右兩張圖像，實現對橫切特征點坐標的測量，但是整個過程檢測速度較慢。WANG Z[4]提出的大尺寸工件的尺寸測量方法，該方法利用圖像拼接技術獲取大尺寸工件的完整圖像，但受環境的干擾較大。

橢圓的檢測一般可為兩類：

1）霍夫變換檢測圓、橢圓。如連志強[5]等基于霍夫變換算法設計了一種自動壓鉚對位系統。但計算量大且內存消耗多，直接應用不切實際。

2）邊緣搜索，其使用了邊緣像素之間的連通性、弧段的凸性和幾何約束，一般先使用Canny[6]或Sobel[7]邊緣檢測獲得的二進制邊緣和相應的梯度，然后細化二進制邊緣弧段以進行橢圓擬合，但是檢測較慢。

環形鍛件檢測面在不同觀測角度都可表示為橢圓環，且基于譚仁虎等[8]基于輪廓邊緣的直線擬合算法的研究，本文提出一種基于U-Net網絡分割與弧支撐線段擬合相結合的方法，有效且能在線測量環形鍛件直徑。

1 有效區域的分割提取

Unet 網絡以往應用在醫學細胞分割中，相比于DeepLab系列等經典網絡其訓練數據量少且精度高，也可用到鍛件分割領域。Unet網絡可分為主干特征提取網絡結構與加強特征提取網絡結構，在主干網絡中使用3×3卷積+ReLU激活提取特征以及逐步對特征圖進行2×2最大池化下采樣，使得特征圖的尺寸逐漸減小、通道數逐漸增加。在加強特征提取網絡中對特征圖進行2×2轉置卷積以及1×1卷積，逐步恢復圖片細節，使得特征圖的尺寸逐漸增加，通道數逐漸減少，最終輸出語義分割標簽，標簽歸一化乘以原圖可分割提取有效區域。在該分割模型中，特征圖融合由解碼器與編碼器之間跳躍連接實現，其網絡構如圖1所示。

圖1 Unet網絡結構原理

2 圖像預處理及鍛件標定

相對于RGB空間，HSV空間能夠非常直觀的表達色彩的明暗，色調，以及鮮艷程度[9]。如圖2所示，HSV色彩空間變化并調整閾值后圖像二值化，亮度影響減小，使邊緣更加清晰，便于邊緣的線段提取。假設RGB圖像的閾值范圍為[0,1]，Max=max(R,G,B)，Min=min(R,G,B)，則轉換到HSV空間的計算為式(1)～式(3)接著使用opencv中的inRange函數調整閾值：

圖2 HSV空間變換

在經過變換后，為精確得到圓環的直徑，需要對得到的圖像進行尺寸標定，為此本文通過計算圖像中固定參照物的像素尺寸的方法，間接標定算出橢圓環的內外徑。

大姐一走了之。妻子心里有氣，專門對付我。晚上睡覺，妻子的胳膊腿不再搭在我身上，卻要我翻側身，伸兩只胳膊摟她睡。我說，這樣我的兩只胳膊放松不下來，怎么睡得著？妻子說，剛結婚那一陣子，哪一夜你不是這樣摟我睡覺。我無話可說。

假設參照物的實際長度與像素長度分別為l和lp，則標定系數k為式(4)：

可在機床上設置一固定長度且區別于鍛造臺與目標鍛件的直線來作為參照物，在實際場景中可設置一根區別明顯的鋼棒。參照物直線由色彩空間變換得到。具體如圖3所示。

圖3 參照物的提取

提取參照物后，計算其像素長度。其計算流程如圖4所示，其中houghpeaks和houghlines為MATLAB的函數。

圖4 參照物的尺寸計算流程

3 弧支撐線段擬合

3.1 橢圓擬合的疊加原理

一個橢圓由若干個弧支撐線段擬合，這些線段表示為n個點的集合Γ={(x1,y1)，(x2,y2)...，(xn,yn)}，首先計算集合Γ的散點矩陣S=DTD，D如式(5)所示，其次求解廣義特征方程S-1C，其中C是常數約束矩陣如式(6)所示。得到的具有正特征值的特征向量是點集Γ擬合出橢圓中的幾何參數。但屬于一個橢圓的點集有多個，需要計算這些點集來擬合出最合適的橢圓，計算過程在之前的計算結果上不斷疊加。

3.2 橢圓直徑檢測過程

鍛件圖像預處理之后，其直徑檢測過程及所用參數說明如下：

1）弧支撐線段提取，先使用Canny算子提取鍛件的若干邊緣，這些邊緣所在的區域為弧支撐區域。目標橢圓的某個橢圓弧的整體梯度方向和弧支撐區域方向一致，如圖5(a)所示，則線段極性為正且弧支撐線段上像素點的角度逆時針改變，如圖5(b)所示，反之相反。設弧支撐線段質心為C如圖5(b)所示，則該區域的主方向角度∠AB由公式7求得，其中Pi為弧支撐區域的像素點，如圖5(a)水平線角度m為該點梯度方向順時針旋轉90°得到。角度∠AC、∠CB也可由該公式求得。若∠AB、∠AC和∠CB同時為順或逆時針變換且{∠AB，∠AC}和{∠AB，∠CB}的角度間隔大于Tai，則弧線段滿足條件被提取為弧支撐線段，其余線段被濾除如圖5(b)的直線AB所示，從邊緣中篩選出若干條有相同方向和極性的弧支撐線段。

圖5 弧支撐線段提取

2）若干個弧支撐線段組成若干個弧支撐組。支撐像素點的水平線角度與弧支撐區域主角度的偏差應小于α，具有相同的幾何特性且連續的弧支撐線段才能形成弧支撐組，兩個連續的弧支撐線段主角度偏差小于2α。Si表示弧支撐組中每兩個連續弧支撐線段的間隔角度累加除360°，Si越大，弧支撐組對橢圓的顯著性越大，越可能為擬合橢圓的組成部分。

3）若干個弧支撐組對擬合出初始橢圓集。TSS表示目標橢圓跨越角度除360°，弧支撐組可以優先選擇擬合到大于TSS的目標橢圓。如跨越角度360°的目標橢圓顯著性TSS為1，可優先被擬合。兩個弧支撐組配對，則他們在相互的有效區域內，滿足式(8)，如圖6所示，其中為弧線段首尾組成的向量順時針旋轉90°。

圖6 弧支撐組生成初始橢圓示意

4）橢圓集的聚類，用mean-shift[11]聚類方法去除橢圓集中重復的橢圓。初始橢圓集的參數由5維轉為3維，在橢圓集的基礎上逐步按中心、方向和長半軸聚類。

5）橢圓集的驗證。聚類后的每個橢圓，由若干個弧支撐線段組成，這些弧支撐線段連成的長度與目標橢圓的周長比為Tr，弧支撐擬合線段連接處角度間隔累加的跨越角度為Tac。L為每個橢圓上線段長度之和，S為目標橢圓的周長，G為優度評分如式(9)所示，依據G驗證并篩除橢圓集中優度評分較低的橢圓。

6）最終橢圓集由橢圓疊加原理可求出每個橢圓幾何參數的特征向量包括長軸，再經過參數賦值、三角函數變換將其轉換為一般形式，從而得到橢圓的長軸即鍛件的內外環直徑像素長度。

橢圓擬合檢測過程示意如圖7所示。

圖7 檢測實例目標橢圓擬合的過程

假設檢測到和實際鍛件的直徑為r和R,則他們之間的絕對誤差可表示為M，如式(10)所示：

4 實驗結果

模型在Inter酷睿i5-10400F 16GB的CPU和 NVIDIA GeForce RTX3060 12GB的GPU設備上訓練，在windows10系統上配置pthon3.8、torch1.8.0、cuda11.1和cudnn8.0.4。U-Net模型訓練使用的是6類不同狀態290張數據集和對應用labelme工具標注的標簽，按9:1分配訓練集和驗證集，數據集包括實地鍛造點采集的2類數據和模擬場地的4類數據。模擬場景中鍛件在700℃～1000℃之間，攝像頭距鍛件約為1.2m。訓練過程設置步長為12的凍結階段和解凍階段各300次疊代。測試集使用的是此6類不同狀態鍛件的745張圖片，前4類為模擬場景，后2類為實際場景。其中訓練集和測試集圖片大小均為512×512。該模型在不同亮度場景分割效果較好，如韓振浩等人對果園路徑的分割[12]，因此后面不對分割指標進行分析。整個實驗基本流程如圖8所示。

圖8 基本的橢圓直徑檢測流程

在測試集分割出鍛件后，測算其內外直徑,該方法引用LU等人[13]，主要參數設置如下：

1）Tai為2.25°。2）α設置為22.5°。3）TSS設置為0.25。4）ρd固定為-3。5）ε設置為2個像素。6）Tr設為0.2～0.6。7）Tac設為90°～165°。

流程結束，6類鍛件檢測結果如表1，測得各類鍛件內外徑的像素、實際長度和算得內外徑絕對誤差、總時間均由各類鍛件各自總和取平均值。

表1 鍛件檢測結果

與其他方法比較，結果如圖9所示，除方法4在Visual Studio Code平臺運行，其他方法都在MATLAB平臺運行：

圖9 鍛件檢測方法的比較

1）LU C等人提出的方法，會檢測出多余的鍛件；

2）方法ELSDc[14]，只能檢測出一系列弧段。

3）方法RHT[15]，存在鍛件漏檢和誤檢；

4）opencv庫的函數不能有效檢測鍛件；

5）本文方法在方法(1)基礎上，加上語義分割和色彩空間變換，可以很好的擬和檢測出鍛件，且檢測速度較快。(1)與其他的檢測方法不同，沒有進行色彩空間變換是因為其他的方法在RGB圖像空間的檢測性能沒有(1)好，而方法(5)在方法(1)上創新，因此(5)方法較其他的方法綜合性能更好。

由以上檢測結果可知，檢測鍛件內外環直徑的絕對誤差較小，檢測速度較快。在復雜的背景下，且鍛件件處于高溫高亮狀態，能較好的剔除背景，提取出鍛件邊緣，非接觸地擬合檢測出鍛件的直徑。

5 結語

本文利用U-Net語義分割提取有效區域，HSV色彩空間變換調整閾值銳化邊緣，利用弧支撐線段的局部區域整體梯度方向、弧支撐方向和極性等多種幾何特征對直線段進行濾除，最后利用魯棒性的橢圓疊加擬合原理生成初始橢圓集，提高了鍛件直徑檢測的效率。橢圓的驗證既保證了高的定位精度和魯棒性，又減少了最終橢圓漏檢或誤檢的情況。在實時直徑測量中，無需傳感器和人為的目測，可根據鍛件的直徑反饋，控制輾環機的啟動、鍛造力度以及停止。因此在非接觸式鍛件直徑測量鄰域具有借鑒意義。但在具體的鍛件直徑檢測過程中，由于參照物與目標物存在著圖像景深的差別，所以個別檢測出的鍛件直徑存在著一定的誤差，后期會對此問題進一步研究。