基于監(jiān)控視頻流的手持探針探測位置檢測算法的設計

張建鵬，徐 云，楊承翰，林奇洲

(1.浙江理工大學 信息科學與工程學院，杭州 310018；2.浙江理工大學 機械工程學院，杭州 310018)

0 引言

智能制造水平直接關乎著一個國家制造業(yè)發(fā)展的水平[1]。目前，計算機視覺、工業(yè)控制數據、物聯網技術等極大化地推動了制造業(yè)的發(fā)展。制造業(yè)數字化轉型、網絡化協同、智能化變革是制造強國建設的主攻方向。隨著智能工廠中監(jiān)控設備的普及，針對工廠監(jiān)控視頻開展生產流程的有效性檢測，提高工廠的生產質量、生產效能、減少資源消耗是推動產業(yè)技術變革和優(yōu)化升級的必經之路[2-7]。

空調外機結構復雜，出廠前需人工探測空調外機中銅管焊接的可靠性，從而保障壓縮機殼體與儲液器的密封性。該過程中，人工檢測的不確定性將導致空調外機中銅管焊點的檢測存在漏檢、誤檢等情況的發(fā)生。利用工廠的監(jiān)控視頻設備，開展基于監(jiān)控視頻流的手持探針探測位置檢測算法的研究，利用計算機實時分析人工手持探針探測過程的有效性，對提高工廠的生產效能具有重要的研究意義[8-10]。

本文以空調外機氣密性探測為研究背景，利用人工智能技術和機器視覺技術對空調外機生產企業(yè)的工廠監(jiān)控視頻流進行研究，采集監(jiān)控視頻流中人工手持探針的圖像并對其進行前景和背景分離研究，構建基于像素搜索的探針位置探測模型，對比理論應檢測的真實位置，從而判斷人工手持探針檢測的有效性，保障出廠前空調外機銅管焊點氣密性檢測的有效性。

1 基于機器視覺的探針識別算法

空調外機出廠前，機身上銅管的焊縫(如圖1(a)所示)需進行氣密性檢測，從而保證空調外機壓縮機殼體與儲液器的密封性。一般而言，需人工對其焊縫點進行手工探測。該過程中監(jiān)控視頻捕獲的圖像如圖1(b)所示。

圖1 空調外機焊縫檢測

圖1(a)可以看出，外機待檢測的焊縫數量多、分布零散、背景復雜，且部分待測焊點相對較密集，極大化地增加了手持探針探測的難度。圖1(b)給出的工廠監(jiān)控視頻流捕獲的圖像中，工人手持探針進行探測時，探針細長，圖像背景復雜，探針特征難以直接提取，不利于開展手持探針探測位置的檢測。

針對上述問題，本文設計了基于前景背景分類模型和目標檢測相融合的手持探針探測位置檢測方案，探測流程如圖2所示。

圖2 探針有效性探測算法流程

圖2所示的探測算法流程主要可分為4大部分：1)前景背景分類模型；2)探針目標識別部分；3)探針位置推算部分；4)探測位置有效性辨別。

在前景背景分類模型中，需要提取視頻流中前100幀的圖像，然后利用KNN分類模型對該100幀圖像進行訓練與分析，KNN分類模型具備精度高的優(yōu)勢，利用該前景背景分類模型對實時采集的監(jiān)控視頻中前后幀視頻圖像進行前景和背景的分離，捕獲工人手持探針的前景圖像，并將其應用于后期探針的目標識別。

探針目標識別部分，旨在實現視頻圖像中人工手持探針的識別。基于Yolov5算法對工廠監(jiān)控視頻流采集的圖像中人工手持探針進行目標跟蹤與識別。該算法主要包括輸入端、主干網絡層、頸部層以及預測端層。根據工廠監(jiān)控視頻流采集的圖像，利用主干網絡層、頸部層實現人工手持探測的圖像特征加強，從而最終實現監(jiān)控視頻流采集的圖像中人工手持探測的識別與跟蹤。

探針位置推算部分是實現探針有效性辨別的核心。本文提出基于像素搜索的探針位置推算的算法。該算法基于像素搜索的方式對視頻圖像中人工手持探針探測位置進行搜索與推算，在此基礎上利用最小二乘算法對搜索與推算獲得的探針位置進行擬合，在保證擬合相關系數的前提下，對監(jiān)控視頻流采集的圖像中手持探針的長度進行補償，從而實現監(jiān)控視頻流采集的圖像中人工手持探針探測位置的判斷。

探測位置有效性辨別根據當前監(jiān)控視頻流采集的圖像中人工手持探針探測的位置，結合實際待檢測的位置進行判別，求解手持探針檢測的實際位置與待檢測位置的交并比，從而實現人工手持探針探測位置有效性的辨別。

下面針對上述各部分的模型和算法進行詳細闡述與分析。

1.1 前景和背景分類模型

前景和背景的分離旨在實現對監(jiān)控視頻流采集圖像進行前景和背景的分離，從而獲得人工手持探針探測的前景圖像。根據監(jiān)控視頻流中前后幀視頻圖像的時空特征，去除復雜的工作環(huán)境背景，即可獲得工人手持探針探測的前景圖像。本文監(jiān)控視頻流中的每幀視頻圖像像素為1 920×1 080。

1) 前景、背景分類模型訓練。提取當前視頻圖像的前100幀視頻圖像，利用KNN分類算法對每個像素的特征做前景、背景訓練，從而獲得視頻圖像中前景和背景的分離模型。

2) 前景提取。利用該前景、背景的分離模型對當前視頻圖像進行前景提取，設當前第i幀視頻圖像中第n個像素點像素為：

(1)

第i-100到第i-1幀視頻圖像中第j幀視頻圖像中第n個像素點像素為：

(2)

分別計算第i幀圖像與前100幀圖像中第n個像素點Xin和Yjn的歐式距離：

(3)

根據式(3)計算的100幀視頻圖像的歐式距離，尋找與第i幀像素點最近鄰的像素點。應用訓練得到的前景背景分類模型對第i幀圖像中所有的點進行前景和背景的分類，獲得當前第i幀圖像中的前景圖像，并將其應用于后續(xù)視頻圖像中的人工手持探針的識別。

1.2 探針目標識別

針對工廠監(jiān)控視頻中的人工手持探針，開展探針探測位置的有效性檢測。基于Yolov5算法對工廠視頻中的探針探測的位置進行跟蹤與識別，從而判斷工人進行空調外機銅管焊縫氣密性檢測的有效性。基于Yolov5算法的人工手持探針跟蹤與識別算法構架如圖3所示。

圖3 基于Yolov5算法的人工手持探針跟蹤與識別算法構架圖

基于Yolov5的算法具備快速高效、準確率高、模型輕量化、易于部署和使用的優(yōu)點。圖3中的算法構架主要分為4個部分。

1) 輸入端：采集監(jiān)控視頻中的圖像，并將其輸入至該算法的輸入端并進行輸入端的前期處理。輸入端進行前期處理的算法主要包括Mosaic數據增強算法、自適應錨框計算、自適應圖像縮放算法等預處理。其中，Mosaic數據增強算法通過隨機縮放、隨機裁剪、隨機排布的方式對輸入的圖像進行拼接以增強圖像數據，增加訓練集的多樣性和難度，同時提高檢測模型的魯棒性和泛化能力，降低過擬合的風險；在每次圖像訓練時，自適應錨框計算用于自適應地計算不同訓練集中的最佳錨框值，提高檢測的精度和魯棒性；自適應圖像縮放算法是將原始采集的圖像自適應地縮放到一個標準尺寸，再輸入到檢測網絡的主干網絡中進行處理。經過上述圖像的預處理，還能夠有效減少工廠監(jiān)控視頻因探測環(huán)境光照亮度不足對圖像采集的影響。

2) 主干網絡：由下采樣層、卷積層、瓶頸層和池化層組成。對于輸入為608×608×3的圖像而言，經過下采樣層的操作，可將其變?yōu)?04×304×12的特征圖。再經過卷積層，利用32個卷積核的操作，將其變?yōu)?04×304×32的特征圖。瓶頸層為Yolov5算法的重要部分，將輸入特征圖分為兩部分，一部分進行子網絡處理，先使用卷積層將輸入的特征圖像進行壓縮，然后再進行卷積處理，從而提取出相對較少的高層次的特征，另外一部分直接輸入頸部層進行處理。Yolov5算法中隨著網絡的不斷加深，可增加網絡特征提取和特征融合能力，因此圖3中主干網絡層采用了多層網絡。瓶頸CSP層1的作用可有效減少網絡參數和計算量，提高特征提取的效率。主干網絡旨在實現輸入圖像的特征提取。

3) 頸部層：由特征金字塔網絡(FPN，feature pyramid network)和聚合網絡(PAN，path aggregation network)組成。FPN為自頂向下的設計，通過上采樣操作，將高層的特征信息和底層的特征信息進行融合，計算出預測的特征圖。FPN中頂部信息流須通過主干網絡逐層往下傳遞，由于層數較多將導致計算量較大。PAN層在FPN層的基礎上提取網絡內特征層次的結果，引入自底向上的路徑，經過自頂向下的特征融合后，再進行自底向上的特征融合，實現底層位置信息的深層傳遞，從而增加多個尺度的定位能力，將底層的特征信息和高層特征進行融合，最后輸出預測的特征圖給預測端進行預測。頸部層利用瓶頸CSP層2加強網絡特征的融合能力。對步驟2)中提取的有效特征進行上采樣和下采樣的特征融合，實現視頻圖像中特征的加強提取。

4) 預測端：通過卷積層輸出特征后，利用CIOU_Loss損失函數計算預測框和真實框的損失值，采用加權非極大值抑制方法針對多目標框進行篩選，實現手持探針的識別與跟蹤。

1.3 探針位置探測推算

基于分離的前景圖像以及目標識別捕獲的手持探針的位置，開展人工手持探針位置探測的推算分析，本文提出基于像素搜索的探針探測位置推算算法，主要由以下5部分組成：

1) 設手持探針的初始位置為O(x，y)，記背景分離后的前景圖像中探針寬度所占像素為a。根據探針的方向，分別沿x軸和y軸搜索5個檢測框，每個檢測框的像素為a×a，共9個檢測框，如圖4所示。

圖4 探針位置探測搜索示意圖

2) 根據搜索的9個檢測框，分別計算各個檢測框中的像素之和Pn：

(4)

其中：Px(i)為背景分離后各檢測框中第i個點的像素值。基于像素搜索的方式開展探針探測位置的推算。

3) 判斷Pn是否超過設定閾值，如果未超過，則在起點位置的基礎上增加a個像素，沿探針所在的方向建立x軸和y軸繼續(xù)搜索。重復5次，仍然未超過設定的閾值，則跳出搜索轉向下一幀圖像處理；如果超過設定的閾值，判斷該檢測框對應的原視頻圖像中的顏色與探針的顏色是否相符，若相符，則認定該點為探針上的點，否則在起點位置的基礎上增加a個像素，并分別在探針所在的方向沿x軸和y軸繼續(xù)搜索。

4) 當該點判定為探針上的點時，則以當前探針上的點為起點O(x，y)，返回1)繼續(xù)搜索并進行探針探測位置的推算。

5) 采用最小二乘法對獲得的探針探測位置上所有點進行擬合，保證擬合的相關系數r值大于0.98。根據探針標準長度，對擬合算法獲得的探針長度進行補償，從而最終判定人工手持探針探測的位置。

1.4 探測位置辨別

在探針位置探測推算的基礎上，結合實際待檢測的位置進行判斷，求解探針位置和待檢測位置的交并比(IOU，Intersection over Union)，從而判斷人工手持探針探測的位置是否有效。

(5)

其中：TP為被判定為正樣本，實際也是正樣本。FP為被判定為正樣本，但實際是負樣本。FN為被判定為負樣本，但實際為正樣本。

2 實驗測試

2.1 實驗測試環(huán)境與說明

利用python3.7編寫探針探測有效性檢測算法的代碼，選用的主板為Inter(R) Core(TM) i7-11700，顯卡為RTX3070Ti，內存為16 GB，操作系統為Windows10的計算機開展實驗測試的研究。根據工廠提供的實時監(jiān)控視頻，選取其中一段監(jiān)控視頻數據，每秒提取一幀視頻圖像，共提取包含探針的1 645張圖像作為數據集。隨機劃分該數據集，其中訓練集、驗證集和測試集的比例為8：1：1。采用精確度、召回率、F1值對本文設計的人工手持探針的有效性檢測算法進行綜合評判。

根據人工手持探針有效性探測算法的流程，針對算法的測試效果進行測試，主要包括前景背景分類模型的效果測試，探針探測位置的有效性測試。1)前景背景分類模型的效果測試用于對監(jiān)控視頻流中采集的圖像進行基于KNN算法的前景和背景的分離，并對分離的效果進行測試和分析。2)探針探測位置的有效性測試用于對監(jiān)控視頻流中手持探針探測位置的有效性進行測試與分析。

2.2 前景背景分類模型的效果測試

分析監(jiān)控視頻中前后幀圖像的時序特征，去除復雜工作環(huán)境背景，采用KNN算法，獲得前景圖像。截取視頻中的一幀圖像，以圖5(a)為例，設前景圖像為白色，背景圖像為黑色，對其原視頻圖像進行前景、背景分離，效果如圖5(b)所示。

圖5 背景分離效果圖

圖5(b)可以看出，監(jiān)控視頻中的前景和背景圖像已充分分離，能夠獲得人工手持探針的前景灰度圖像。

2.3 探針探測位置的有效性測試

探針探測位置的有效性測試步驟如下：1)每秒采集監(jiān)控視頻中的圖像，基于每幀視頻圖像建立包含人工手持探針的數據集，按照Yolov5算法的要求對數據集進行探針的標注；2)隨機劃分數據集，其中訓練集、驗證集和測試集的占比為8：1：1；3)利用Yolov5算法對訓練集進行訓練，利用驗證集對訓練的模型進行效果驗證，從而獲得最優(yōu)的人工手持探針探測位置的檢測模型；4)在測試集中，采用訓練的人工手持探針探測位置的檢測模型進行測試，并輸出探針探測位置的辨識結果。

根據訓練獲得的人工手持探針探測位置的檢測模型，對工廠監(jiān)控視頻中工人手持探針探測的位置進行實時檢測。記工人手持探針的檢測框為Tool_box，目標概率記為Tool_score，其閾值設為0.5。篩選所有目標概率大于0.5的檢測框，并且篩選目標概率最大的兩個檢測框，區(qū)分左右手檢測框，并分別記為Tool_box_L和Tool_box-R，如圖6所示。

圖6 手持探針檢測效果圖

圖6可以看出，工人手持的探針能夠有效識別出該目標，為后續(xù)探針探測位置的檢測奠定了基礎。

根據分離的前景圖像以及基于Yolov5算法的手持探針檢測獲得的檢測框Tool_box_L和Tool_box_R，開展基于像素搜索的探針探測位置的檢測。根據1.3節(jié)給出的手持探針探測位置的推算流程，圖7給出了人工手持探針探測位置推算的示意圖。

圖7 探針探測位置推算過程圖

圖7(a)為利用分離的前景圖像，開展基于像素搜索的探針探測位置的推算過程圖。圖7(b)為搜索的檢測框與原始圖像中的探針進行對比的效果，其中小方塊的標注為探測的探針上的點。圖7(c)為采用最小二乘法對檢測到的探針進行擬合和補償的效果圖。圖7(d)為根據擬合與補償后的探針推算出的探針檢測的位置推算結果，圖中采用圓圈標注。

根據手持探針檢測的位置，對標實際待檢測的位置，求解探針檢測的位置與實際待檢測位置的交并比，若交并比大于50%，則視為檢測正確，否則視為檢測錯誤，最終實現人工手持探針檢測位置有效性的辨別。本文采用精確度、召回率、F1值對設計的手持探針有效性檢測算法進行綜合評判。召回率旨在評價探針探測位置為正確的待探測位置的概率，F1值是用于評價探針探測位置模型精確度的一種指標。精確度、召回率越高越好，F1值同時考慮精確度和召回率，讓兩者同時達到最高，取得平衡，F1值越大越好。

針對工廠提供的監(jiān)控視頻，計算機利用計時器對探針有效性探測算法進行測試，記錄一幀視頻圖像從采集到有效性檢測完成所需的時間，計算獲得探針有效性探測算法的平均檢測速度為9.66 fps/s。此外，對手持探針有效性的檢測進行了10組測試，檢測結果如表1所示。

表1 探針有效性檢測結果統計表

表1可以看出，采用本文所提的手持探針有效性檢測算法的檢測精確度達到93.26%，召回率約81.11%，F1值約86.76%，實現了工廠監(jiān)控視頻流中人工手持探針位置的有效性檢測，檢測精度和檢測速度均能夠滿足工廠實際的生產需求。

3 實驗數據分析

工廠實際監(jiān)控視頻的測試結果可以看出：1)采用工廠監(jiān)控視頻流訓練的基于KNN的前景背景分類模型能夠有效地實現視頻流中采集圖像的前景和背景分離，獲得人工手持探針的前景灰度圖像，為后續(xù)開展探針探測位置的檢測奠定了良好的基礎；2)探針探測位置的有效性測試中，根據分離的人工手持探針的前景灰度圖像，基于像素搜索的探針探測位置推算算法，結合最小二乘擬合算法能夠有效實現探針的擬合和補償，在此基礎上獲得人工手持探針探測位置的推算；3)基于人工手持探針探測位置推算的結果，結合實際待檢測的位置進行分析，最終實現了工廠監(jiān)控視頻中手持探針探測位置的有效性檢測。

4 結束語

以空調出廠前空調外機中銅管焊縫的氣密性檢測為研究背景，開展基于工廠監(jiān)控視頻中人工手持探針探測位置的有效性檢測算法的設計研究。首先，采用KNN算法對監(jiān)控視頻中前后幀圖像的時空特征進行提取，實現視頻圖像中前景和背景圖像的分離；其次，基于Yolov5算法開展探針探測位置的檢測模型研究，提出基于像素搜索的探針探測位置推算算法，結合最小二乘擬合算法實現探針檢測位置的有效推算；最后，對標實際待檢位置，判斷工人手持探針探測的有效性。工況實檢測試結果表明，本文設計的手持探針檢測算法的檢測速度可達9.66 fps/s，平均檢測精確度約為93.26%，召回率約81.11%，F1值約86.76%，能夠滿足工廠實際應用的需求。