電子監控部分遮擋目標單模態自監督信息挖掘技術

摘" 要： 針對電子監控視頻中受遮擋目標識別難度高的問題，提出一種電子監控部分遮擋目標單模態自監督信息挖掘技術。為了得到目標的狀態信息，利用遮擋檢測方法判斷監控視頻中是否存在部分遮擋目標。當監控視頻存在部分遮擋目標時，利用減法聚類方法進行特定目標的識別、跟蹤或描述，并提供更準確和詳細的目標特征信息。在此基礎上，將交叉熵損失函數與軟間隔三元組損失函數構建的監督遮擋目標特征學習判別損失函數作為部分遮擋目標信息挖掘的目標函數，在每個批次的電子監控樣本中，搜尋最小距離的負樣本對以及最大距離的正樣本對，并通過反向傳播優化參數。由此輸入電子監控圖像樣本，通過前向傳播輸出得到電子監控部分遮擋目標單模態自監督信息挖掘結果。實驗結果表明，所提出的技術可以有效挖掘電子監控部分遮擋目標，目標挖掘的mAP值高于0.9，能夠為提升監控目標識別精度提供可靠依據。

關鍵詞： 電子監控； 遮擋檢測； 單模態自監督； 信息挖掘； 交叉熵損失函數； 三元組損失函數

中圖分類號： TN911.23?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）10?0047?05

Single mode self supervised information mining technology for partially occluded

targets in electronic monitoring

Abstract： In allusion to the difficulty of identifying occlusive targets in electronic surveillance video， the single?mode self?supervised information mining technology for partially occlusive targets in electronic monitoring is researched. In order to obtain the state information of the target， the occlusion detection method is used to judge whether there is a partially occluded target in the surveillance video. When there are partially occluded targets in surveillance video， subtraction clustering method is used to identify， track or describe specific targets， and provide more accurate and detailed target feature information. On this basis， the supervised occlusion target feature learning discrimination loss function constructed by cross entropy loss function and soft interval triplet loss function is used as the objective function for partially occluded target information mining. In each batch of electronic monitoring samples， the minimum distance negative sample pair and the maximum distance positive sample pair are mined， and the parameters are optimized by the backpropagation. From this， the sample of electronic monitoring image is input， and the results of self?supervised information mining are obtained by means of the forward propagation. The experimental results show that this technology can effectively mine the partially occluded targets of electronic monitoring， and the mAP value of target mining is higher than 0.9， which can provide a reliable basis for improving the recognition accuracy of monitoring targets.

Keywords： electronic monitoring; occlusion detection; single?mode self?supervision; information mining;" cross entropy loss function; triplet loss funtion

0" 引" 言

電子監控在實際應用中，由于人體、樹木、車輛等遮擋物的存在[1]，監控攝像頭無法完全捕捉到目標的完整圖像，從而難以進行監控視頻分析。如何有效地識別和分析部分遮擋目標[2?3]，對于提高監控視頻的應用效果具有重要意義。

近年來，眾多學者針對監控視頻目標分析展開研究。張志遠等提出一種結合多注意力機制的自監督目標跟蹤方法，通過多注意力機制捕捉目標細節和上下文信息，提高了目標跟蹤的準確性[4]。但是該方法對目標初始化的依賴性較強，而初始化不準確可能會導致目標跟蹤失敗。張方方等將多特征自適應融合方法應用于目標識別中，采用快速特征匹配和更新機制識別目標[5]。但是該方法需要提取和融合多種特征，并實時匹配與更新特征，計算復雜度較高，對目標檢測實時性存在影響。F. Saffre等將遺傳算法應用于視頻監控的自適應調節中，該方法能夠根據環境變化自適應調整參數或策略，確保監控效果最佳化[6]。但是遺傳算法的性能高度依賴參數設置，如交叉率、變異率等，影響監控調節效果。M. U. Sreeja等提出利用聚合深度卷積遞歸模型進行監控視頻的目標檢測，該方法利用深度卷積網絡提取視頻特征，結合遞歸模型處理時序信息[7]。該方法處理大量視頻數據時更為高效，但是需要預設事件類別，對未知事件的檢測能力有限。

單模態自監督是一種通過無標簽數據進行自監督學習的技術，用于處理單個模態的電子監控數據。利用該技術可以從無標簽數據中學習有用的特征表示，實現目標信息的有效挖掘，提高部分遮擋目標的挖掘效果。基于此，本文提出一種電子監控部分遮擋目標單模態自監督信息挖掘技術，利用單模態自監督學習技術，從電子監控視頻中挖掘有用信息，實現部分遮擋目標的精準挖掘。

1" 電子監控部分遮擋目標信息挖掘

1.1" 目標遮擋部分判斷

監控視頻中的目標可能被其他物體或障礙物遮擋，導致部分目標無法完整展示或識別，這會給目標識別和跟蹤帶來困難，降低監控系統的準確率。通過目標遮擋部分判斷，可以得到目標的狀態信息，包括是否完整或者被遮擋的程度，這些信息可以用于目標動態的監測與預測，提供更全面和準確的目標行為分析和檢測。因此，本文利用遮擋檢測方法，判斷電子監控視頻可見光單模態圖像中是否存在部分遮擋目標。

本文方法用[fx]表示電子監控視頻可見光單模態圖像的檢測框區域內目標的概率分布；[posx]與[fmaxx]分別表示候選區域坐標以及概率分布最大值，概率分布最大值目標的位置用[posmaxx]表示；用[h]與[w]分別表示電子監控視頻圖像樣本[x]的高與寬；[α]與[β]分別表示遮擋判斷閾值以及目標面積因子。

在電子監控視頻圖像樣本最大值位置[posmaxx]的鄰域中，搜尋符合[αfmaxx]條件的像素點，求取該像素點對應的位置[posallx]。計算[posmaxx]與全部[posallx]之間歐氏距離的表達式如下：

[dis=posallx-posmaxx] （1）

利用變量[G]判斷電子監控視頻中是否存在部分遮擋目標，表達式如下：

通過公式（2）可知，當[G=0]時，表示目標受到部分遮擋；當[G=1]時，表示目標未受到遮擋。

通過電子目標遮擋部分判斷有助于解決監控系統中目標遮擋問題，提高目標識別和跟蹤的準確性，并為目標的狀態監測與預測提供更詳細的信息。

1.2" 部分遮擋目標特征聚類

目標在被部分遮擋時，目標區域的特征相對較少或難以提取，這是因為部分遮擋可能導致目標特征的缺失、模糊或受干擾，使得對目標的精確識別和特征描述變得更加困難。因此，在判定電子監控視頻目標存在部分遮擋時，利用減法聚類方法，更好地聚焦于部分遮擋目標區域，從而提供更詳細的目標特征分析。

設電子監控視頻可見光單模態圖像[wjt]與[wit-1]分別表示監控圖像的樣本權值以及聚類權值，將電子監控部分遮擋目標圖像的像素點設置為[N]，則單模態圖像的聚類中心表達式如下：

[C=Nμwjtwit-1]" " " " " "（3）

式中：[μ]表示部分遮擋目標特征點屬于聚類中心的模糊隸屬度。

設部分遮擋目標特征數據集為[X=x1，x2，…，xn]，利用單模態圖像的聚類中心[C]獲取特征密度指標[Di]，表達式如下：

式中[ra]表示[X]的鄰域半徑。

考慮電子監控視頻背景的復雜性[8]，對部分遮擋目標特征密度指標進行修正，公式如下：

式中：[rb]表示顯著減少密度指標函數的鄰域半徑；[DC]表示聚類中心的密度指標。

在上述公式計算的基礎上，設[ε]為部分遮擋目標的特征聚類閾值，[Dk-Di≥ε]時，表示遮擋目標特征聚類效果較為一般；當[Dk-Dilt;ε]時，表示電子監控部分遮擋目標特征的聚類效果較優。這有助于進行特定目標的識別、跟蹤或描述，并提供更準確和詳細的目標特征信息。

1.3" 目標的單模態自監督信息挖掘

在部分遮擋情況下，目標與遮擋部分之間可能存在邊界模糊的情況，特征聚類方法可能無法完全提取出遮擋目標的特征，從而限制了對部分遮擋目標的準確描述和分析。

因此，本文基于電子監控部分遮擋目標特征挖掘聚類[9]，對電子監控視頻單模態可見光圖像進行遮擋目標的單模態自監督信息挖掘。用[yi]表示遮擋目標信息挖掘的自監督信號，利用自監督信號學習所挖掘的電子監控部分遮擋目標特征[fi]，用[pi]表示目標挖掘概率。將應用于電子監控部分遮擋目標的單模態自監督信息挖掘的自監督特征學習判別損失函數表達式設置為[L=L1+L2]。其中，[L1]表示交叉熵損失函數，[L2]表示軟間隔三元組損失函數。

在單模態自監督信息挖掘中[10]，交叉熵損失函數可以用來約束網絡輸出與目標之間的匹配程度，使得學習到的特征在分類任務上具有良好的區分能力。交叉熵損失函數[L1]的表達式如下：

在單模態自監督信息挖掘中，軟間隔三元組損失函數可以用于約束網絡將同一目標的不同視角或時間段的特征樣本更近地靠攏，同時將與之不同的目標的特征樣本推遠，這有助于提高學習到的特征的區分性，使得目標之間的差異更加明顯。軟間隔三元組損失函數[L2]的表達式如下：

[L2=1+expdisha，hp-disha，hn]" " "（7）

式中：[ha]、[hp]與[hn]表示電子監控部分遮擋目標特征三元組集合內的錨點、正樣本、負樣本[11]；[dis]表示電子監控部分遮擋目標特征點之間的歐氏距離。

本文利用函數[1+exp?]將特征集內正樣本與負樣本對之間的間隔進行軟化處理。通過綜合使用交叉熵損失函數和軟間隔三元組損失函數，可以綜合考慮分類能力和特征之間的相似性關系，從而得到更具判別力和魯棒性的目標特征表示。

在此基礎上，設置[L]為電子監控部分遮擋目標單模態自監督信息挖掘的目標函數。首先選取樣本挖掘方法作為電子監控部分遮擋目標特征三元組的采樣策略，在每個批次的電子監控樣本中，搜尋最小距離的負樣本對以及最大距離的正樣本對[12?13]；然后使用采樣得到的樣本對作為訓練數據，根據設定的損失函數[L1]和[L2]，在每個批次中計算損失，并通過反向傳播優化參數；最后輸入電子監控圖像樣本，通過前向傳播輸出得到電子監控部分遮擋目標單模態自監督信息挖掘結果。

2" 實驗分析

2.1" 實驗設置

為了驗證所提出的技術挖掘電子監控部分遮擋目標的有效性，將其應用于某市某小區的車輛安全管理平臺中。選取該車輛安全管理平臺采集的某停車場的車輛監控信息作為研究對象，該車輛安全管理平臺選取華睿微品牌的4G6068電動調焦攝像頭作為電子監控抓拍設備。電子監控設備的具體信息如表1所示。

采集的目標存在部分遮擋的原始監控圖像如圖1所示。

如圖1所示的監控圖像分辨率為1 920×1 080，幀率為30 f/s。監控視頻圖像中存在明顯的部分車輛目標被樹木遮擋的情況，車輛目標被樹木遮擋時，在車輛安全管理平臺的目標檢測以及目標跟蹤等應用中，容易出現漏檢情況。

本文利用單模態自監督信息挖掘技術挖掘電子監控部分遮擋目標，挖掘過程中的相關參數設置如表2所示。

根據上述設置得到的部分遮擋目標信息挖掘結果如圖2所示。

由圖2實驗結果可以看出，本文利用單模態自監督信息挖掘技術，可以有效挖掘電子監控部分遮擋目標。單模態自監督信息挖掘技術通過自監督方式，學習單模態電子監控視頻圖像的內在表示，對于數據不平衡、特征選擇困難等情況，仍然具有較高的信息挖掘有效性。由此說明，本文技術在電子監控部分遮擋目標挖掘任務中，可以取得良好的效果。

2.2" 結果與分析

采用本文技術判斷圖1的電子監控視頻圖像中是否存在被遮擋的目標，目標遮擋判斷的響應信號圖如圖3所示。

由圖3可以看出，采用本文技術判斷電子監控視頻圖像中是否存在目標被遮擋情況時，依據監控視頻的響應信號圖，具有較高的遮擋判斷有效性。對比分析圖2與圖3的實驗結果，圖3的遮擋判斷響應信號圖中，高響應像素位置即遮擋判定位置，與圖2中的目標被遮擋位置相符。圖3實驗結果有效驗證了本文技術判斷電子監控遮擋目標的有效性。

mAP（Mean Average Precision）是衡量數據挖掘技術的重要評價指標，其更能夠反映挖掘技術的整體挖掘性能，更加綜合客觀。采用本文技術進行單模態自監督信息挖掘，不同電子監控視頻圖像變換方式時的mAP值統計結果如圖4所示。

由圖4可知，采用本文技術對電子監控部分遮擋目標進行單模態自監督信息挖掘，不同電子監控圖像變換方式時的mAP值均高于0.9。

圖4實驗結果證明，本文技術適用于不同類型的復雜場景下電子監控部分遮擋目標的有效挖掘，可為提升監控目標識別準確性與跟蹤精度提供可靠依據，具有較高的可行性。

3" 結" 論

為了提高電子監控視頻中受遮擋目標的識別準確性，本文基于單模態自監督學習進行部分遮擋目標的信息挖掘。實驗結果表明，該技術能夠在目標部分遮擋情況下精準挖掘目標，且具有較好的泛化能力，能夠在不同電子監控監控場景中應用。所研究技術對于提高電子監控視頻的應用效果具有重要意義，有望在實際中得到廣泛應用。

參考文獻

[1] 楊靜，張燦龍，李志欣，等.集成空間注意力和姿態估計的遮擋行人再辨識[J].計算機研究與發展，2022，59（7）：1522?1532.

[2] 姚英茂，姜曉燕.基于圖卷積網絡與自注意力圖池化的視頻行人重識別方法[J].計算機應用，2023，43（3）：728?735.

[3] 劉小波，肖肖，王凌，等.基于無錨框的目標檢測方法及其在復雜場景下的應用進展[J].自動化學報，2023，49（7）：1369?1392.

[4] 張志遠，楊帆.結合多注意力機制的自監督目標跟蹤[J].計算機工程與設計，2021，42（12）：3502?3509.

[5] 張方方，曹家暉，王海靜，等.基于多特征自適應融合的抗遮擋目標跟蹤算法[J].紅外技術，2023，45（2）：150?160.

[6] SAFFRE F， HILDMANN H. Adaptive behaviour for a self?organising video surveillance system using a genetic algorithm [J]. Algorithms， 2021， 14（3）： 74?77.

[7] SREEJA M U， KOVOOR B C. An aggregated deep convolutional recurrent model for event based surveillance video summarisation： a supervised approach [J]. IET computer vision， 2021， 15（4）： 297?311.

[8] 潘德倫，冀雋，張躍進.基于運動矢量空間編碼的視頻監控動態目標檢測方法[J].吉林大學學報（工學版），2021，51（4）：1370?1374.

[9] 張平，關麗紅.基于概率統計的多維關聯數據動態挖掘仿真[J].計算機仿真，2022，39（3）：402?406.

[10] 趙霖，趙滟，靳捷.基于局部注意力和位姿迭代優化的自監督單目深度估計算法[J].信號處理，2022，38（5）：1088?1097.

[11] 吳岸聰，林城梽，鄭偉詩.面向跨模態行人重識別的單模態自監督信息挖掘[J].中國圖象圖形學報，2022，27（10）：2843?2859.

[12] 陳亮，楊羽翼，張劍，等.基于特征增強與損失優化的水下遮擋目標檢測算法[J].探測與控制學報，2023，45（3）：109?115.

[13] 林正文，宋思瑜，范鈞瑋，等.改進YOLOv5的光伏組件熱斑及遮擋小目標檢測[J].計算機工程與應用，2024，60（1）：84?95.