張帥兵 任亞飛 張寶池 尹振漢 石義彬



摘 ?要:針對企業在實際鋼球生產過程中的計數問題,在對現有圖像計數方案研究后,提出了一種基于機器視覺的鋼球計數系統。通過黑白面陣相機進行圖像采集、自適應直方圖均衡化對圖像進行增強,對比基于距離變換的分水嶺圖像分割和局部自適應閾值算法對鋼球計數的準確率,最終識別出鋼球數量。經樣機試驗證明,所設計的系統達到了企業所要求的標準,可以快速準確的識別鋼球數量,減小了企業計數的成本和誤差,提高了企業的生產效率。
關鍵詞:鋼球計數系統;自適應直方圖均衡化;局部自適應閾值
中圖分類號:TP391.4 ? ? ? 文獻標識碼:A文章編號:2096-4706(2022)05-0101-04
Research on Image Segmentation Based on Distance Transform and Watershed Algorithm
ZHANG Shuaibing, REN Yafei, ZHANG Baochi, YIN Zhenhan, SHI Yibin
(School of Electrical Engineering and Automation, Luoyang Institute of Science and Technology, Luoyang ?471023, China)
Abstract: Aiming at the counting problem of steel balls in actual production process, a steel balls counting system based on machine vision is proposed after studying the existing counting scheme of images. Through collecting images by the black and white face array camera and enhancing images by the adaptive histogram equalization, this paper compares accuracy of the watershed image segmentation based on distance transformation and the local adaptive threshold algorithm for steel ball counting, and the number of steel balls is finally identified. The prototype test proves that the designed system meets the standards of enterprises and it can quickly and accurately identify the number of steel balls, reduce the cost and error of enterprise counting, improve the production efficiency of enterprises.
Keywords: steel ball counting system; adaptive histogram equalization; local adaptive threshold value
0 ?引 ?言
隨著工業5.0計劃的提出和中國智造2025的發展,各行各業對軸承的需求不斷增加,鋼球是軸承的重要組成部分,鋼球的質量、生產效率也成了大家關注的一部分。在企業調整鋼球生產關系、提高生產效率過程中,鋼球計數是很重要的一環。大型鋼球主要用于風電軸承、回轉支承等方面,目前國內仍有很多的大型鋼球生產線采用人工計數或機械計數的方法,人工計數效率低下,易發生錯誤計數的情況,計數精度易受個人狀態影響,機械計數則需要搭建復雜的機械結構,更改原有生產線方案,產生額外的費用。因此,利用機器視覺實現對鋼球的計數是企業最為需要的,也是對企業最為有利、高效的方法。
目前,圖像處理技術已經廣泛應用到各種物體的數量統計方面,李彥清[1]等研究了鋼球的精確計數與尺寸識別系統,通過設計機械結構,讓鋼球能夠整齊地排列,使用雙灰度閾值算法對采集的圖像進行二值化處理,計數準確率可以達100%。崔明[2]等利用基于距離變換的分水嶺算法成功分割草莓粘連和重疊的圖像,實現草莓數量的實時檢測。李詠豪[3]針對粘連谷物分割問題,提出基于超像素的粘連谷粒分割算法,準確率達94%。劉家軍[4]等使用自適應直方圖均衡化對采集的接觸網支柱號牌進行處理,圖像整體對比度效果大大增強,使號牌上數字的易提取性大幅增強。
1 ?系統及軟件設計
圖像處理目前還很少應用于生產線上大型鋼球的數量統計,針對人工計數效率低下、精度不穩定的問題,結合企業生產需要,提出了面向大型鋼球生產線的視覺計數方法,在大型鋼球廠的一條生產線上搭建了鋼球計數系統。首先,提取圖像的目標區域,并通過自適應直方圖均衡化來對圖像進行增強,通過比較基于距離變換的分水嶺算法和基于閾值分割算法兩種方法對鋼球計數的準確率,選擇了基于閾值分割的方法應用于系統上,最后把統計數據顯示在生產線大屏上,并保存在本地的數據庫中。經實際測試,本系統能夠準確地對鋼球進行計數,準確性、魯棒性和實時性滿足了鋼球生產要求,提高了企業的信息化水平。
鋼球生產過程復雜,棒材在經過加熱、空冷、淬火、回火等步驟后,生產的一批鋼球會送入鐵籃中,需要及時對籃子中的鋼球進行計數,生產線現場是一個相對開放的環境,光線變化大;場地環境復雜,不時有員工、車輛和其他物體在籃子周圍移動;由于生產需要,籃子上會有很多橢圓形的孔洞;部分鋼球表面有凹凸不平的斑點,這些都會增加鋼球計數的難度。針對現場的復雜環境,本系統分別在硬件和軟件進行了抗干擾和濾波處理。系統主要由圓形高亮度LED面板、黑白面陣CCD相機、工業控制計算機(圖形工作站)以及圖像處理算法控制軟件組成。當系統檢測到籃子運送過來后,相機向高亮度LED面板發送控制信號,控制燈光閃爍并采集圖像,計算機獲取到圖像后進行分析、處理,得到鋼球數量,將統計數據顯示至大屏上,同時會將生產時間、數量等各種生產信息保存至數據庫中,以便后期的查詢和追溯。具體軟件計數流程如圖1所示。
2 ?鋼球圖像分割研究
2.1 ?圖像增強
針對現場生產環境復雜、生產車間內存在各種干擾的問題,在分析圖像前,必須對獲取的圖像進行預處理,截取ROI區域,提高圖像的質量,使其更適于后續算法的分析和處理。本文首先截取圖像的ROI區域,針對圖片明暗分布不均、圖像細微處對比度低的問題,采用對比度受限的自適應直方圖均衡化方法(CLAHE)[5]對圖像進行增強。傳統直方圖均衡化是在圖像全局增強對比度,它對數據的處理不加選擇,由于本系統采集的圖像常會出現部分區域對比度較好,部分較差,CLAHE算法更適用于對比度不均的情況,CLAHE在增強對比度的同時能抑制圖像的噪聲,可以更好地突出圖像的細節,以下為算法具體流程:
(1)圖像分割:將ROI區域分成M行N列的圖塊,分割數量根據圖像特點而定,假設每個圖塊區域大小為(a,b)。
(2)計算灰度閾值:計算每個圖塊的直方圖,將直方圖的灰度級標記為r,可能出現的灰度級個數為K,每個圖塊直方圖函數為Hm,n(r),0≤r≤K-1。通過以下方法得到灰度閾值β。
(1)
式中,參數為α為截止系數,是我們每個灰度級所允許一個像素的最大程度百分比。
(3)均衡處理:對每個圖塊進行常規的直方圖均衡化處理。
(4)插值運算:為了避免圖像呈現塊狀效應,使用雙線性插值法對圖像進行插值運算,合并相鄰圖塊,以消除人工形成的邊界。
采用CLAHE方法對ROI區域進行處理,處理結果如圖2所示,原圖圖像和利用直方圖均衡化處理后的圖像分別如圖3和圖4所示,通過CLAHE處理后圖像質量有明顯改善,與普通的直方圖均衡化方法相比,提高了局部對比度,讓圖像細節更加清晰,也更有利于后期對圖像分割。
2.2 ?鋼球檢測
圖像通過CLAHE處理后,需要對圖中鋼球進行計數,為了達到較好的效果,本文采用了兩種方案進行對比識別,分別為基于距離變換的分水嶺圖像分割和基于閾值的圖像分割。
2.2.1 ?基于距離變換的分水嶺圖像分割
方案一采用基于距離變換的分水嶺圖像分割。距離變換描述了圖像中某像素點與某塊區域之間的距離大小,它可以將二值圖像轉化為距離圖像,即灰度圖像,常用于粘連物體的分離、骨架提取、目標細化等。距離變換的算法分為歐式距離和非歐式距離,歐式距離精度高但計算復雜,時間復雜度高,非歐式距離計算簡單,但不易滿足精度要求,本系統對時間復雜度要求不高,故采用歐式距離,將ρ定義為點(i,j)與(k,l)之間的歐氏距離,公式為:
(2)
分水嶺算法,又稱模擬浸水法,分水嶺分割所采用的原理主要有兩種,模擬降水過程和模擬浸水過程。其基本思想是把圖像看成是測地學的拓撲地形圖,地形中存在“山峰”和“山谷”,地勢低的區域為盆地,地勢高的為做山脊,無論是通過模擬浸沒法還是模擬降水法,最終都會將盆地區域覆蓋,被覆蓋的區域即為分割出的圖像區域,從而實現了圖像分割的目的。
算法流程為:
(1)基于重建的開閉操作:運用數學形態學的基于開和基于閉的重建運算對圖像進行分析重建,去除小的“突刺”,填充洞孔,在不影響對象全局形狀的同時去除細節和噪聲,得到前景和背景標記。
(2)標記前景物體:對重建后的圖像在每個對象的內部創建單位極大值。
(3)計算背景標記:通過二值化操作,將背景置為黑色,計算二值圖像的歐幾里得矩陣,如圖5所示,再進行分水嶺變換,取出相鄰區域間的分界線構成背景標記,如圖6所示。
(4)計算分割函數的分水嶺變換:結合前景和背景標記,修改梯度幅度圖像,讓區域最小值出現在標記上,最后進行基于分水嶺的分割。
(5)可視化輸出:將分割對象邊界、前景標記、背景標記疊加到增強后的圖像上,如圖7所示,統計輪廓個數,對輪廓大小、周長等參數進行限定,即為鋼球數目。
2.2.2 ?基于閾值分割的圖像分割
方案二采用基于閾值分割的圖像處理,它是最常用的圖像分割措施之一。鋼球生產環境復雜,在不同的工作時間采集的圖像光照分布不同,使用全局閾值很難為圖像確定最佳閾值,最大類間方差法(Otsu算法)根據圖像的最小類內方差確定最佳全局閾值,但在圖像局部過曝或欠曝時,會出現無法正確分離出鋼球的情況。因此本文采用局部自適應閾值算法對圖像進行二值化,能夠更多地分割出前景目標,再根據面積大小和長短軸大小進行濾波,便能夠較好地分離出前景鋼球。
局部自適應閾值法,該算法對每一個像素點的閾值是不一樣的,與Otsu算法和普通的閾值方法相比計算量較大,可以更好地解決光線分布不均勻的問題。該算法的主要步驟為以目標像素點為中心選取一塊面積為w×h的區域,使用均值算法對圖塊里面的像素點計算,如果當前所遍歷像素的值比平均值低t%,則把當前值為0,否則為255。本文w和h分別選取圖像長寬的1/8,t取35。局部自適應閾值法將一個像素與周圍像素平均值進行比較,通過設置局部范圍內的硬性條件來減小圖像整體光照變化的影響,能夠較好地分離出前景目標。
閾值分割算法流程為:
(1)自適應二值化:使用局部自適應閾值對圖像進行二值化,通過像素局部均值強度計算每個像素的閾值,系統選取局部區域約為圖像大小的1/8,敏感因子為0.35。
(2)孔洞填充:二值化后有許多微小的孔洞,使用以下過程對孔洞進行填充。
(3)
式中,B為填充所用的結構元素,Ac為集合A的補集,填充從全黑圖像X0開始迭代,至Xk=Xk-1結束。
(3)形態學開操作:先腐蝕運算,再膨脹運算,去除比掩膜小的前景對象,本文選用半徑為8的圓盤形狀的掩膜。以下為開運算公式:
(4)
式中,X為被處理圖像,B為結構元素,-表示腐蝕操作運算符,+表示膨脹操作運算符。
(4)篩選濾波:根據處理后連通分量的面積、長軸長度和短軸長度進行濾波,統計最終的連通分量個數,即為鋼球數目。面積通過統計連通分量邊界內部像素點為1的像素個數,長軸和短軸則通過計算連通分量的最小外界矩形得到。
(5)可視化輸出:將濾波后的掩膜合成為3通道的BGR圖,疊加至原圖上,如圖7所示。
3 ?實驗結果與分析
在Visual Studio平臺下利用C#編寫人機交互界面,方便對于鋼球計數實驗的進行以及在實際場景中的應用,整個交互系統可以選擇對導入的圖片進行計數,以及自動識別計數,另外也可以分別使用兩種方式來實現鋼球計數。
在實驗過程中為驗證鋼球計數的準確性,使用兩種方式針對不同的鋼球數量進行多次檢測,具體運行效果如圖8所示,部分結果如表1所示。從統計結果來看:方案一誤差較大,分析原因為籃底反光、部分鋼球位置原因,造成圖像部分亮度分部不均,采用分水嶺分割易出現過分割和欠分割現象,不正確分割會直接導致計數錯誤。方案二誤差較小,計數錯誤的原因為鋼球數量較少時,籃底有大面積反光的情況,造成對圖像的誤分割,鋼球數量較多時,鋼球堆疊遮擋造成部分前景鋼球被濾除。
4 ?結 ?論
本文提出了基于機器視覺的鋼球計數方案。鋼球圖像通過黑白面陣CCD相機進行采集,運用圖像處理技術完成了鋼球的準確計數,解決了在不改動原有生產線的基礎上進行鋼球計數的難題,受到了使用單位的一致好評,具有較好的應用和推廣價值。經樣機試驗表明,該系統具有以下特點:
(1)系統使用CCD相機采集籃子中鋼球圖像,通過自適應直方圖均值化及局部自適應閾值算法識別出鋼球數量,達到企業要求的精度。
(2)系統硬件簡單,安裝方便,無須更改原來的生產線,降低了企業的生產成本。
(3)系統有一定的抗干擾能力,在周圍有移動物體或光線變化在一定范圍內仍能夠準確識別出鋼球數量。
參考文獻:
[1] 李彥清,何紹鑫,趙俊瀟,等.基于圖像技術的鋼球精確計數與尺寸識別系統 [J].吉林大學學報(信息科學版),2019,37(6):631-637.
[2] 崔明,蔣其友,薛小松.基于圖像處理的成熟草莓檢測計數研究 [J].農業與技術,2021,(23):15-18.
[3] 李詠豪.基于超像素的粘連谷粒分割算法 [J].數字技術與應用,2021,39(4):110-112.
[4] 劉家軍,鐘鳴睿,秦梓軒.基于對比度受限直方圖均衡化的夜間接觸網支柱號牌識別方法研究 [J].電氣工程學報,2021,16(3):70-76.
[5] Pizer S M,Amburn EP,Austin J D. Adaptive histogram eqalization and its variations [J].Computer Vision,Graphics,and Image Processing,1987,39(3):355-368.
作者簡介:張帥兵(2001—),男,漢族,河南周口人,本科在讀,研究方向:機器視覺。