視頻質量智能檢測技術研究及其在鐵路中的應用

何百千 中國鐵路上海局集團有限公司科研所

1 概述

近年來，隨著現代化、數字化鐵路的建設，視頻監控已成為現代化鐵路必不可少的組成部分，同時也是保障鐵路運輸、行車人員、施工作業安全的重要手段。在視頻監控設備規模性投入使用后，信號丟失、雪花干擾、偏色、畫面抖動等各類視頻質量問題隨之而來，面對海量的視頻數據，人工巡查已無法滿足現場生產的需要。

視頻質量智能檢測技術結合了圖像處理、機器視覺、人工智能等前沿技術，可以有效解決視頻質量問題所帶來的困擾。本文針對常見的幾類視頻質量問題，開展了一系列關鍵技術研究，配套開發了視頻質量診斷系統，并在上海虹橋站、無錫站等客站進行了實際應用。

2 視頻質量檢測關鍵技術

視頻質量問題較為多樣化，常見問題主要有信號丟失、清晰度異常、亮度異常、偏色、雪花干擾、畫面抖動等，主要表現形式如圖1所示：

圖1 六種典型視頻質量問題

2.1 信號缺失檢測

在視頻監控系統中，當網絡無法連接，視頻傳輸線路接觸不良或者損壞時，監控客戶端將會呈現無法獲取碼流的現象，出現黑屏、白屏或“無視頻信號”字樣提醒。

根據信號缺失視頻圖像顏色值單一這一特點，可以從像素域的角度出發來進行診斷分析。本文采用了方差計算法進行分析，公式如下所示：

其中，W和H表示圖像的寬和高，μ表示灰度圖的期望值，ω表示方差。通過對不同類型信號缺失的單幀圖像進行方差計算，發現其值分布在0～0.15之間。

2.2 清晰度異常檢測

視頻圖像的清晰度是衡量視頻質量最主要、最直接的指標，清晰度表現良好的圖像包含了豐富的邊緣輪廓信息和細節信息。視頻圖像清晰度異常也即圖像模糊，是指視頻中空間細節的丟失和邊緣的清晰度減弱。圖像清晰度評價方法通常分為頻域和空間域方法，頻域方法區分度較好，但是其計算量大，運行效率低下；空間域方法中主要有熵函數法、平方梯度法、能量方差法、平方高斯梯度法等等，其中平方梯度法區分度較好，但是計算量大，實時性表現較差，不利于區分圖像的模糊與否和圖像模糊程度。

平方梯度法計算公式如下所示：

本文采用了一種改進的平方梯度法，用一種平方梯度聚焦評價函數（基于聚焦窗口模式）和圖像RGB色差（平均距離值）分析圖像幀的方法。這種方法能克服計算量大的缺點，并且在區分圖像清晰度上表現良好，兼顧了準確性和實時性。具體方法為：選取正常圖像的梯度變化值和RGB色差值作為閾值參考值；計算檢測圖像的RGB色差值和聚焦窗口的梯度變化值，并將其與設定閾值比較，判定其是否為模糊圖像。

2.3 亮度異常檢測

視頻亮度異常是指由攝像頭故障、增益控制紊亂或者照明條件異常等原因引起的視頻畫面總體偏亮或偏暗，而不包括天氣、晝夜變化等環境因素導致的視頻亮度異常。

本文采用了一種基于圖像亮度平均值的診斷方法。首先將圖像從RGB顏色空間轉換到HSV空間，通過大量實驗取得正常圖像的亮度平均值，作為算法的參考閾值，再計算檢測圖像的平均亮度值，將其值與參考閾值比較，若平均亮度值過大，則圖像偏亮；若平均亮度值過小，則圖像偏暗。同時，針對不同時間段自然光的變化，應設置相應的閾值，以保證診斷功能在晝夜都能正常運行。平均亮度值的計算公式如下所示：

2.4 偏色檢測

視頻圖像偏色是指視頻監控在遇到外界環境的強烈有色燈光干擾，或者其他外界無線電信號影響，可能會造成視頻圖像偏向與某一色系的情況。

本文采用了一種基于RGB三通道能量系數來診斷圖像偏色的方法，通過RGB三通道能量占比系數來判斷圖像是否發生偏色現象。具體方法為：計算出圖像的RGB三通道平均能量和整體平均能量；求出每個通道的能量系數；利用標準差公式得出RGB三通道在圖像整體平均能量所占比例（即偏色系數），將偏色系數與設定閾值比較，判斷該幅圖像是否發生偏色現象。

下面以R通道為例給出偏色計算公式：

2.5 雪花干擾

雪花干擾是視頻監控系統中出現頻率較高的故障，主要是由于線路老化、傳輸故障、接觸不良、電磁干擾等因素造成的視頻圖像疊加噪聲，畫面會出現雪花、條狀、帶狀條紋干擾等現象。

本文采用了中值濾波法來診斷雪花干擾。具體方法為：通過對圖像進行中值濾波得到清晰圖像，與原圖做幀差后得到疑似噪聲圖像；將疑似噪聲圖像分塊（本算法中分為8×8塊），統計每一塊中的噪點數值，并求出64個分塊噪點數值的均值和標準差；對原圖進行canny算子的邊緣檢測，將邊緣檢測圖像與疑似噪音圖像求并集，得到由邊緣而不是雪花產生的椒鹽噪聲圖像；在疑似噪聲圖像中去除邊緣噪聲，得到最后的噪聲圖像；計算噪點占比，并將其與閾值比較，若超過閾值則認為此圖像存在雪花干擾。

2.6 畫面抖動

視頻圖像畫面抖動主要是由于視頻信號傳輸線路受強電干擾或供電不穩定等因素形成而非視頻監控設備受振動影響而產生的畫面抖動現象。

本文采用了基于圖像灰度投影的運動估計方法。具體方法為：選擇一幀圖像作參考幀圖像；將當前幀圖像和參考幀圖像作灰度投影，計算兩者之間的互相關值，選取互相關值曲線的峰值為兩幀圖像的行列位移矢量值；根據此矢量絕對值判斷兩幀圖像相對運動的程度，通過與設定閾值比較，判斷是否發生圖像抖動。

2.7 分類判據動態優化

在視頻質量檢測技術的實際應用中，各類檢測算法無法做到百分之百的準確判斷，因此本文開展了分類判據優化，以提高檢測效果。具體方法為：設定初始分類判據，系統在檢出視頻異常事件后進行人工復核；將人工復核發現的機器誤判事件特征向量及類別自動導入分類數據集，利用機器學習技術對模型進行再訓練，得出新的分類判據。在視頻檢測的持續應用過程中，分類判據將自我學習與進化，持續提高檢測精度。

3 實際應用

基于上述圖像處理技術和人工智能技術，研發形成了一套視頻質量診斷系統。系統采用分布式結構，利用視頻診斷服務器實現視頻診斷，利用Web服務器完成用戶交互，利用數據庫服務器存儲診斷結果。系統的硬件架構如圖2所示：

圖2 硬件架構示意圖

系統包含用戶交互層、業務邏輯層和視頻數據源三層。用戶交互層可實現各種用戶交互操作，包括用戶登錄、系統管理、攝像頭管理、信息分析查詢、視頻診斷管理、故障處理等多個模塊。業務邏輯層可實現視頻數據接入、視頻質量診斷、業務邏輯控制、分析結果存儲等功能，包括Web服務、中央控制、邏輯控制、視頻質量診斷、視頻切換、數據庫等模塊。視頻數據源提供用于進行視頻質量診斷的視頻數據。系統模塊示意圖如圖3所示：

圖3 軟件模塊示意圖

系統自2017年起，于上海虹橋站和無錫站既有視頻監控系統相繼開展實際應用，共接入上千路攝像頭。經長期運行結果統計，系統檢測率≥98%，誤報率≤3%，每100路視頻通道狀態巡檢時間平均約為2 min。

4 結束語

視頻質量診斷系統能夠快速準確預警信號丟失、清晰度異常、亮度異常、偏色、雪花干擾、畫面抖動等圖像質量問題，可以及時預警工作人員進行處置，保障監控系統有效運行。同時，系統可以大幅度提高運維作業質量、效率，降低人工、時間成本，給大規模視頻系統的運用維護帶來極大便利，對于減員增效、保障鐵路安全運營具有重要意義。