基于音視頻深度學習技術的傳送帶保護系統

宋遠

[摘 ? ?要]隨著智能算法越來越成熟，深度學習技術也開始在大型輸送設備上應用。介紹基于視頻技術通過深度學習算法模型智能化解決客戶的現場皮帶設備的安全運行、皮帶巡視等需求的大塊異物檢測系統，以及基于音頻技術通過深度學習算法模型智能化算法監測和診斷皮帶傳送聲音狀態，實現事故發生報警，降低生產安全損失的聲音分析系統。通過這兩種技術，能有效地降低現場巡視人員的人數和勞動強度，能夠實時了解傳送帶的運行狀況，減少事故的發生。

[關鍵詞]深度學習;智能化;異物檢測;聲音分析

[中圖分類號]TP391.41 [文獻標志碼]A [文章編號]2095–6487（2022）01–00–04

[Abstract]As the intelligent algorithm becomes more and more mature， the deep learning technology also begins to be applied in large-scale conveying equipment. This paper introduces a large foreign object detection system based on video technology to intelligently solve the needs of customers for the safe operation of on-site belt equipment and belt inspection through deep learning algorithm model， and an intelligent algorithm based on audio technology to monitor and diagnose the sound state transmitted by leather belt through deep learning algorithm model， so as to realize accident alarm， Sound analysis system for reducing production safety loss. These two technologies can effectively reduce the number and labor intensity of on-site inspectors， understand the operation status of conveyor belt and reduce accidents.

[Keywords]deep learning; Intellectualization; Foreign matter detection; Sound analysis

1 系統設計原則

根據當前人工智能在企業應用上的技術狀況和發展趨勢，采用人工智能視頻識別方案、音頻識別方案、主流開發技術，進行高級應用開發。在保證高度安全可靠的前提下，使系統穩定高效、易用、易維護、易擴展。

1.1 先進性、成熟性原則

采用目前國際上先進而且成熟的系統設備、軟件技術，使系統具有較高的技術水平和較長的生命周期。它同時也保證了系統具有良好的開放性、可靠性及可擴展性，能夠滿足未來企業發展的需要。

1.2 經濟性、實用性原則

①盡可能保障現有的資源（包括硬件資源和軟件資源）能夠得到充分利用，在保證系統性能并達到要求的前提下，盡量使系統投資最省。②確保系統具有友好的用戶界面，使用戶便于掌握、使用和維護，且能解決具體的實際問題，同時，確保系統具有良好的性能、較高的處理效率，且配置和使用靈活。③以實際的管理業務流程為基礎，但不是成為手工系統的仿真，而是加以提煉并提高，對管理水平的提高有所幫助。

1.3 開放性、可擴展性原則

應用軟件保持開放性以便于系統的擴展，系統具備擴展的接口與手段，在應用的規模與功能需要增長時，能夠保證系統的平滑升級與擴充。體現在軟件的設計上表現為應用基礎平臺設計、數據結構設計、軟件構件化程度、軟件文檔的實用和規范，以及公共部件包括應用類庫的開放程度等方面。

1.4 安全性原則

系統設計滿足安全要求，數據定期備份保證數據安全。

1.5 標準性原則

系統設備、軟件、編碼、文檔、網絡協議等以及所采用的開發技術遵循相應的國際標準和國家標準。

2 大塊異物檢測系統

2.1 系統概述

大塊異物檢測系統：通過深度學習算法模型智能化解決客戶的現場皮帶設備的安全運行、皮帶巡視等需求。

具體來說，大塊異物檢測系統是一款面向工業的視覺AI開發系統，其提供面向客戶人員使用的全流程“0”代碼的模型訓練、優化與模型預測服務。具備數據對齊、模型訓練、模型測試、模型分發、模型管理和項目管理等AI功能，在皮帶設備安全運行、皮帶巡檢等視覺場景為客戶實現降本增效提質的AI應用能力。

本系統以自研的AI算法、模型和各類硬件算力為核心。通過在皮帶附近安裝的高清攝像頭對皮帶上的礦石進行分析，分析各種礦石外的雜質，如木塊，鐵板，鋼絲，大型石塊等。檢測出異物后對異物的直徑進行判斷，進行警報或者通過對接PLC設備對所屬線路進行停機。停機后大塊異物所停的位置要根據速度和時間計算，以方便維護人員檢出。后臺可靈活地配置對于大塊異物檢測標準。

2.2 系統架構

2.2.1 硬件系統

大塊異物檢測系統分為三層：信息采集層、AI數據識別層、皮帶控制層（圖1）。

（1）信息采集層：在現場布置高清防抖攝像頭以及補光燈，進行皮帶運行視頻數據采集，將采集數據實時傳輸至AI計算工控機。

（2）AI數據識別層。采用安裝有高算力GPU運算卡的工控機，收集實時視頻數據，運用自研的AI算法和模型，實時分析皮帶運行狀態。系統具備模型訓練、模型測試等完善模型功能。通過深度學習使系統越用越準確，效率越高。

（3）皮帶控制層。通過OPC通訊，與皮帶控制PLC建立通訊。一旦系統發現皮帶上有異物，下發控制命令控制皮帶電機停機。

2.2.2 異物檢測視頻分析技術架構

本系統結構以CAPI為界，將整個系統分為前端和后端兩個子系統（圖2）：

（1）前端系統。提供編程模型，負責構造計算圖;

（2）后端系統：提供運行時環境，負責執行計算圖。

2.2.3 皮帶控制系統聯動技術架構

皮帶控制系統聯動，大塊異物檢測系統和聲音分析系統分析發現影響皮帶設備運行的故障信息后，通過軟件平臺報警系統發出控制信號，通過網絡IO控制器，與皮帶控制PLC建立通訊，控制皮帶電機停機（圖3）。

2.3 系統特點

2.3.1 系統特點

系統配置高清防抖攝像機，安裝在皮帶附近，可以響應4～6m/s的皮帶運行速度。AI數據識別高速完成視頻幀解析，交由總控統一任務調度：①完成幀快速過濾，過濾掉空軌幀和無信息幀，將目標幀轉發至信息區域提取節點，完成異物目標識別提取，并根據對異物大小尺寸判定完成對異物的切分;②標記信息識別節點進一步完成詳細標記信息，識別結果反饋給總控節點，由總控節點完成各皮帶視頻點信息的綜合，得出最終識別結果;③由應用系統接口模塊將識別結果提供給業務應用系統。

模型可通過自迭代學習，其識別率可以快速增長。在運行效率上，系統采用高算力GPU運算卡設備，優異的模型算法，從而提供識別效率。

2.3.2 技術架構特點

（1）支持多語言的客戶端，方便用戶構造各種復雜的計算圖，實現所需的模型設計。客戶端以會話為橋梁連接后段的運行時，并啟動計算圖的執行過程

（2）分布式Master負責將計算圖拆分為多個子圖，以便在不通的進程和設備上并行執行

（3）Worker Service負責在硬件環境（如CPU或GPU）上調用OP的Kernel實現完成圖的計算，并從其他Worker Service接受計算結果或將計算結果發送給其他Worker Services

（4）數據操作層是OP在硬件設備上的特定實現，負責執行OP運算，如數值計算、多維數組操作、控制流、狀態管理等，每個OP根據設備類型都會存在一個優化了的Kernel實現。在運行時根據本地設備的類型，為OP選擇特定的Kernel實現，完成該OP的計算。其中，大多數Kernel基于Eigen：：Tensor實現。Eigen：：Tensor是一個使用C++模板技術，為多核CPU/GPU生成高效的并發代碼。

2.4 主要設備介紹

2.4.1 攝像頭

400萬像素、黑光、夜間全彩、防抖（或電子防抖）。

2.4.2 工控機

CPU：i7-9代;內存：16G;固態硬盤：M.2：256G+4T機械硬盤;顯卡：RTX308010G顯存;雙千兆網口、4COM、USB2.0×4;鍵盤鼠標。23.8寸顯示器

3 聲音分析系統-人工智能聲紋識別技術

3.1 系統概述

聲音分析系統通過從已有視頻服務器中提取音視頻流數據，通過深度學習算法模型智能化算法監測和診斷皮帶傳送聲音狀態，實現事故發生報警，降低生產安全損失。

3.2 視頻服務器分離音頻流

傳送帶周圍安裝的智能攝像機，獲取監控皮帶運行的視頻流（復合流），工控機讀取視頻服務器中的視頻文件，利用FFmpeg獲取服務器中視頻文件的媒體流（包括視頻流、音頻流）對應的軌道，從而獲取原始視頻文件的視頻信息以及音頻信息。

通過程序完成對視頻流中音頻信息的抓取，但此時獲取的音頻信息（包括采樣率、聲道數）不可靠，而且音頻文件不具有完備的音頻屬性。為了達到對異常聲音的有效識別，需要對音頻文件進行解碼處理：對音頻文件關鍵幀進行讀取，通過對音頻文件音頻幀解碼處理后，音頻文件具備具體的音頻屬性，之后對音頻進行分析處理。

3.3 分離出的音頻文件處理（排除其他雜音）

聲音事件分析識別技術作為機器聽覺系統中的重要一環，承擔了利用聲音信號感知環境并對環境中各類復雜情況進行分析判斷的任務。相比于視頻和圖像信號，聲音信號具有不受角度、光線以及地形等條件限制的優點。聲音事件分析識別技術本質上是音頻分類技術。

未經處理的聲音音頻是多維度、復雜性很高的數據。如果直接用來進行分析及分類處理，數據處理量非常巨大。因此需要對音頻文件進行預處理：剔除噪聲信號以及工頻信號。然后對音頻進行特征提取和分類，降低音頻信息數據維度，降低音頻文件的復雜性，降低聲音分析的工作量。

設備出現異常時，聲音發生變化，但聲音變化可能會不明顯，人耳也會無法分辨，所以需要通過對異常聲音進行預加重、濾波處理，突出異常聲音片段的特征。另外為了提高整套系統對工作環境的適應性和穩定性，需要積累異常聲音樣本的類型和數量。

3.4 聲音分析異常結果報警

控制軟件平臺接收到聲音分析系統的判斷結果，將該消息發布到報警處理模塊，向系統內用戶推送報警信息，從而實現自動報警處理。

3.5 利用深度學習識別故障聲音

深度學習是機器學習算法研究中的新的技術，其動機在于建立、模擬人腦進行分析學習的神經網絡。利用深度神經網絡將連續的音頻分割成一幀一幀的音頻片段，從這些音頻片段中提取該段對應的聲學特征，用這些特征對模型進行訓練，進而對目標進行識別。最終實現對音頻文件的分析以及音頻文件特征提取并且完成對聲音的分類。

深度神經網絡應用的其中一個方向是直接利用原始音頻文件對卷積神經網絡（CNN）進行訓練。卷積神經網絡模擬生物神經網絡結構，擁有很高的網絡層數，直接將原始音頻文件輸入網絡，發揮了卷積神經網絡的優勢，能夠更精確實現音頻分析和特征提取。

深度學習從數據中自動學習聲音特征，智能感知聲音目標類別，將設備正常運行的聲音特性進行保存，以設備正常運行的聲音特性作為基準，確定模型中各個參數，結合模型訓練實現深度學習，將故障狀態下聲音與正常運行時的聲音進行精確對比分析，如果出現與正常運行聲音特征不一致（主設備聲音異常變化），最終形成判斷，將判斷結果發送至控制軟件平臺。

3.6 音頻信號分析以及特征提取

從視頻服務器獲取的音頻文件中包含很多聲音：包括設備運行聲、講話聲、自然環境聲（如風聲、雨聲、雷電聲以及鳥叫聲等）。面對龐雜的聲音需要設計一套合理的算法，準確地提取并分析設備運行聲音。

聲音信號龐雜，無法直接對音頻提取特征。需要在剔除噪聲信號以及工頻信號后，應用MFCC梅爾頻率倒譜系數技術，降低聲音數據維度，并且保留信號的有效特征，最終實現對音頻信號的分析以及特征提取。

音頻信息特征提取之后，需要依據特征空間選擇分類器對音頻內容進行分類。不同的聲音具備不同的頻率信號，不同頻率信號所處的音調各不相同，基頻和音調聯系緊密，音調高低由相應的基頻曲線決定，因此利用音調的頻域進行特征提取，可以提高聲音分類的準確性，準確地區分設備運行聲以及其他聲音。

4 結束語

基于音視頻深度學習技術在傳送帶保護方面的應用還處于研究和試點階段，根據試點的案例來看，結合不同的項目具體環境，深度學習還需要一定的過程，相對于傳統的皮帶機保護裝置而言，存在一定的誤報警情況，而隨著時間的推移，積累夠一定的數據之后，誤報警情況會得到一定的改進。

參考文獻

[1] 李素娟.皮帶機智能檢測系統設計開發[J].中國科技博覽，2012（26）：348.