視頻質量診斷系統的設計與應用

陳開活，羅曉波，李嘉良

（廣州大學計算機學院，廣州 510006）

視頻質量診斷系統的設計與應用

陳開活，羅曉波，李嘉良

（廣州大學計算機學院，廣州 510006）

0　引言

隨著現代社會視頻監控業務的快速增長，視頻監控系統的體量不斷增大，視頻監控系統暴露出在運維方面的不足。不少視頻監控系統由于攝像頭設備質量、設備壽命、運行環境、外部造成損壞以及傳輸線路等內部因素和外部因素，視頻監控畫面經常會出現不能高清還原實景的故障。這種情況視頻監控系統面臨著如下問題：

（1）如何管理大量攝像頭，快速準確排查攝像頭故障；

（2）如何以數字圖像處理技術對攝像頭畫面質量進行智能分析；

（3）如何及時發現故障并報警，讓維修人員及時處理，并且記錄故障。

因此，基于數字圖像處理技術的視頻質量診斷系統應運而生。視頻質量診斷系統應用于視頻監控系統中，能夠有效地對視頻故障進行分析和預警，它通過攝像頭傳入的視頻內容對視頻圖像進行分析處理，當出現視頻信號缺失、視頻清晰度異常、視頻亮度異常、視頻噪聲、視頻雪花、視頻偏色、畫面凍結、PTZ運動失控等常見故障時通過視頻質量診斷算法對以上問題做出及時準確的判斷并發出報警信息，這樣不僅便于管理視頻監控系統前端設備的運行情況，而且還能有效預防因硬件導致的視頻圖像質量問題，以及避免不必要的損失。

1　系統結構

視頻質量診斷系統采用模塊化的設計，包括五個模塊：截取視頻幀模塊、OpenCV圖像處理模塊、圖像異常檢測模塊、異常記錄和顯示模塊、異常報警模塊。

視頻質量診斷系統的工作流程主要為：首先，從存儲的監控視頻中獲取所需的視頻幀，保存為Mat實體；其次，借助OpenCV圖像處理技術，獲取能夠表示圖像內容的空間域結構信息；最后，把經過OpenCV處理過的圖像空間域結構信息交給設計好的針對不同故障的圖像異常檢測算法，實現對圖像異常的自動化檢測。視頻質量診斷系統結構圖如圖1所示。

視頻質量診斷系統各個模塊的主要功能如下：

（1）截取視頻幀模塊：該模塊的功能主要是截取存儲過的視頻圖像幀，獲取的彩色圖像信號經分色、分別放大校正后得到RGB，并將圖像基本信息和像素數據封裝好，作為待檢測的圖像數據；

（2）OpenCV圖像處理模塊：該模塊充分利用OpenCV所提供的圖像處理函數庫，對待檢測的圖像進行預處理，例如轉換灰度圖像、分割圖像通道、色彩聚類、圖像空間轉化等，并獲取圖像像素通道值和其他所需的圖像結構信息等；

（3）圖像異常檢測模塊：該模塊是整個視頻質量診斷系統的核心模塊，主要功能是檢測經過OpenCV處理過后的圖像數據信息，判斷檢測的視頻幀是否出現異常，異常種類包括：視頻信號缺失、清晰度、亮度、噪點、雪花、條紋、偏色、畫面凍結、PTZ運動失控等異常。每種圖像異常檢測都是由獨立的算法類完成，對輸入的一組視頻幀進行順序檢測，返回各種異常檢測結果。

（4）異常記錄和顯示模塊：該模塊接受圖像異常檢測模塊算法類的返回值，記錄、具體化描述并存儲到日志中，以便查詢檢測結果時調用。

（5）異常報警模塊：該模塊對檢測結果進行反饋，對檢測到異常圖像的攝像機根據異常類型標記提醒，提醒維護人員及時的解決故障。

圖1　視頻質量診斷系統結構圖

2　核心算法

視頻質量診斷系統最為核心的模塊是圖像異常檢測模塊，其他模塊只是常見的程序和數據的處理。所有傳輸進來的視頻圖像幀經過OpenCV處理過后，此模塊的圖像異常檢測函數對圖像幀進行順序檢測，并且每個異常檢測函數都返回一個表示圖像異常與否的值。

（1）視頻信號缺失檢測：該異常為前端攝像頭工作異常、損壞或視頻傳輸故障等問題而引起的間歇性或持續性的視頻缺失現象。當視頻信號缺失時，視頻幀圖像中某種顏色的像素點在圖像中占絕大部分，所以視頻信號缺失的檢測算法從視頻幀圖像的像素點顏色含量和分布入手，計算顏色熵和顏色分布熵，進行視頻信號缺失的識別。

（2）視頻清晰度異常檢測：該異常為前端攝像頭由于自動變焦功能故障、鏡頭模糊或攝像頭現場環境惡劣等問題而引起的視頻畫面清晰度下降，不能準確識別當前畫面內容。當視頻畫面出現清晰度異常時，幀圖像內容的邊緣信息越稀少，即畫面物體之間的輪廓不清晰，嚴重影響視頻監控畫面的質量。清晰度異常檢測的主要方法是梯度的統計特征，通常梯度值越高，畫面的邊緣信息越豐富，圖像越清晰。需要注意的是梯度信息與每一個圖像本身的特點有關系，如果圖像中本身紋理就很少，即使不失焦，梯度統計信息也會很少。因此對于清晰度異常檢測需要人工標定條件，由人告訴計算機某個攝像頭正常情況下的圖像紋理信息是怎樣的。

（3）視頻亮度異常檢測：由于攝像頭自身故障、增益控制系統紊亂、照明條件異常或人為遮擋等原因引起的視頻畫面過亮或過暗的現象。當視頻畫面出現亮度異常時，畫面物體的亮度與真實亮度有明顯的偏差。截取視頻幀得到待檢測的圖像的RGB空間模型后，計算圖片在灰度圖上的均值和方差，當存在亮度異常時，均值會偏離均值點，方差也會偏小。通過計算灰度圖的均值和方差，就可評估圖像是否存在偏亮或偏暗的問題，即過曝光或曝光不足的問題。

（4）視頻噪點異常檢測：由于傳輸信號線路受到干擾或攝像機CCD故障導致等導致的視頻畫面出現很多細小的噪聲點，影響人眼觀感。與雪花不同的是，噪點可能是彩色的異常像素點，雪花是灰度的異常像素點，黑白的居多。當視頻出現噪點時，圖像空間域中的通常體現為某個像素點的通道值與周圍像素點的通道值相差較大，因此，可以計算每個像素點和與其緊挨著的像素點的噪點向量和，當某個像素點的噪點向量和大于一定閾值時，則可以判斷該像素點為噪點。

（5）視頻雪花異常檢測：由于傳輸信號線路受到干擾或攝像機CCD故障導致等導致的視頻畫面出現很多細小的雪花狀噪聲點，影響人眼觀感。與噪點異常不同的是，雪花通常以黑白噪聲點的方式出現。當視頻出現雪花異常時，圖像空間域中的通常體現為灰度圖像的某個區域的像素點的通道值與周圍像素點的通道值相差較大，因此，可以根據像素點鄰近區域的通道信息來判斷是否出現雪花異常，方法與噪點異常檢測類似，不同的是每個像素點要增大鄰域的面積進行計算像素點的平均通道值和雪花向量和，并要針對邊緣像素點進行減少誤檢的優化。

（6）視頻條紋異常檢測：由于傳輸信號線路受到干擾或攝像機CCD故障導致等導致的視頻畫面出現很多條紋狀的干擾，影響人眼觀感。與噪點異常和雪花異常都不同，條紋異常不是單個點狀區域的噪聲異常，是較為長條的帶狀噪聲異常。當視頻出現條紋異常時，圖像空間域中通常體現為方向性條紋區域的像素點的通道值與周圍像素點的通道值相差較大。檢測條紋異常時，需要檢測原圖像的彩色條紋異常及其灰度圖像的條紋異常，因為二者可能不同時發生。原圖像也需要分割頭像通道，分別檢測R、G、B三個不同的單通道圖像的條紋異常現象，因為不同通道的圖像條紋異常也不同。檢測條紋異常，通常根據像素點以及8個不同的角度計算同一排像素點的通道值，再計算與之平行的一排像素點的通道值，最后計算兩排像素點對應位置上像素點通道值差的絕對和，若其該絕對和大于某個閾值，則可以判斷此處出現條紋異常。

（7）視頻偏色異常檢測：視頻畫面偏色現象也可能是由于信號傳輸線路受到干擾或攝像機CCD故障導致的一種異常現象，表現為畫面中的物體的顏色與其真實顏色有明顯的偏差，通常為整個畫面向某一種顏色的偏差。由于RGB顏色空間不能直觀的表示圖像的色度，因此利用圖像空間變換，使用Lab顏色空間檢測偏色異常，其中L*表示圖像亮度，a表示圖像紅/綠分量，b表示圖像黃/藍分量。通常存在色偏異常的圖像，在a和b分量上的均值會偏離原點很遠，方差也會偏小，因此，通過計算圖像在a和b分量上的均值和方差，就可檢測圖像是否存在色偏異常。

（8）視頻畫面凍結檢測：由于視頻傳輸系統出現故障而引起的視頻幀不再更新的現象，即視頻畫面凍結的現象，導致監控畫面得不到實時數據。當出現畫面凍結異常時，由于視頻幀不再更新，所以在一定時間段內視頻幀的圖像內容保持不變，畫面凍結檢測便可以利用這個特性。首先將圖像轉化為灰度圖像，再計算相隔一段時間的兩幅視頻幀圖像的像素點通道值差的絕對和，最后計算得兩幅圖像對應像素點通道值相同的個數N，以及圖像像素數M，若N/M大于某一閾值，則表示2張圖像對應像素點通道值相同的個數較多，2張圖像的差異極小，可判斷為視頻畫面出現凍結異常；否則，視頻畫面正常。

（9）PTZ運動失控檢測：PTZ運動失控即前端攝像機云臺因損壞或人為破壞引起的抖動或監控畫面異常移動的現象。為了檢測攝像機云臺運動的狀況，需要用到多幀的圖像數據。PTZ運動檢測的大致思路為：首先要向待檢測的攝像機云臺發出云臺控制指令，并每隔一小段時間截取視頻圖像幀作為待分析圖像；然后對待分析的圖像進行特征提取并分析，得出圖像畫面的變化狀態，確定待檢測云臺的變化狀態；最后判斷圖像畫面的運動狀態和云臺控制指令是否一致，據此判斷待測云臺是否工作正常。

3　實驗分析

圖像異常檢測模塊作為視頻質量診斷系統的核心模塊，為了保證此模塊的正常穩定運行，需要對此模塊的異常檢測算法進行測試。這個部分我們會給出針對每個算法給出典型的測試樣例和測試結果，以及用大量異常樣片圖像對每個算法進行算法準確性的測試，并給出各個算法測試的通過率和誤報率。

3.1典型測試 樣例

（1）視頻信號缺失檢測

圖2　視頻信號缺失測試圖像

測試結果：

視頻信號缺失計算值：

圖2（a）0.012；

圖2（b）0.996。

（非常接近1可判斷為視頻信號缺失，因為無信號時可能還會存在一部分文字說明，所以系統設定該數值大于0.900判斷為視頻信號缺失）

（2）視頻清晰度異常檢測

圖3　視頻清晰度異常測試圖像

測試結果：

視頻清晰度異常計算值：

圖3（a）22.695；

圖3（b）11.221。

（數值小于12為模糊，大于14為清楚，以這兩個界限判定）

（3）視頻亮度異常檢測

測試結果：

視頻亮度異常計算值：

圖4（a）case=0.073，da=2.171；

圖4（b）case=2.144，da=86.658；

圖4（c）case=6.052，da=-92.284。

圖4　視頻亮度異常測試圖像

（case值為計算出的偏差值，小于1表示亮度比較正常，大于1表示存在亮度異常；當case大于1時，再判斷da值，da大于0表示過亮，da小于0表示過暗）

（4）視頻噪點異常檢測

圖5　視頻噪點異常測試圖像

測試結果：

視頻噪點異常計算值：

圖5（a）0.086；

圖5（b）0.665。

（數值越大，表示噪點越多，異常出現的可能性越大，系統設定該數值在0.400以下為人眼噪點可接受范圍，大于0.400則判定為噪點異常）

（5）視頻雪花異常檢測

圖6　視頻雪花異常測試圖像

測試結果：

視頻雪花異常計算值：

圖6（a）0.901。

（對于雪花異常的圖片，檢測出來的結果通常比較接近1，系統設定該數值大于0.800則判定為雪花異常）

（6）視頻條紋異常檢測

圖7　視頻條紋異常測試圖像

測試結果：

視頻條紋異常計算值：

圖7（a）0.112；

圖7（b）0.435。

（數值越大，表示條紋越多，異常出現的可能性越大，系統設定該數值大于0.4則判定為條紋異常）

（7）視頻偏色異常檢測

測試結果：

偏色異常計算值：

圖8（a）cast=0.504，da=5.155，db=-0.031；

圖8（b）cast=3.832，da=26.074，db=-42.419；

圖8（c）cast=4.317，da=-38.577，db=35.409；

圖8（d）cast=2.770，da=39.699，db=15.971。

（cast值為計算出的偏差值，小于1表示顏色比較正常，大于1表示顏色存在偏色；當cast值大于1時，再判斷da值和db值。da值為紅/綠色偏估計值，da大于0表示偏紅，da小于0表示偏綠；db值為黃/藍色偏估計值，db大于0表示偏黃，db小于0表示偏藍）

（8）視頻畫面凍結檢測

圖9　視頻畫面凍結測試圖像

測試結果：

畫面凍結計算值：

對比圖9（a）、圖9（b）兩張一樣的圖，可檢測得兩張圖片對應像素點通道值相同的數量是一樣的，因此檢測得到的畫面凍結計算值為1.0。

（為了避免畫面凍結異常中短時間的不凍結情況使得對比的圖像有小部分不一樣的地方，該系統設定該計算值大于0.900則判定為畫面凍結）

圖8　視頻偏色異常測試圖像

（9）PTZ運動失控檢測

圖10　PTZ運動失控測試圖像

測試結果：

PTZ運動失控計算值：先檢測圖10（a），再檢測圖10（b）圖像，檢測得到的計算中間角度值為148°，則可判判斷攝像頭向右移動一定角度，該結果可與攝像頭移動指令進行對比，來判斷PTZ運動是否失控。

（中間角度值：用平面直角坐標系衡量，-145°～-45°為向上移動，-145°～145°為向右移動，45°～145°為向下移動，-45°～45°為向左移動）

3.2各個算法測試通過率：

表1　視頻質量診斷系統算法通過率

4　結語

視頻質量診斷系統應用在大型監控系統中，通過系統提供的檢測流程和檢測功能，可自動分析前端攝像機的監控視頻圖像質量，當出現異常時發出警告，讓運維人員進行監控系統的維護工作，滿足對監控系統自動化檢測的運維管理要求，為監控系統的正常運轉提供保障。

［1］Gary Bradski Adrian Kaebler.學習OpenCV［M］.于仕琪，劉瑞禎譯.北京：清華大學出版社，2009.

［2］任廣杰.智能視頻質量診斷系統在監控系統中的應用［J］.北京：電信技術雜志，2012.3，12～14.

［3］高揚.視頻質量診斷算法研究與實現［D］.東北大學.東北大學理學院.計算數學，2011.

［4］歐陽偉.基于圖像分析的監控視頻圖像異常診斷系統的研究與實現［D］.華中師范大學.教育技術學，2012.5.

［5］余燕飛.視頻質量檢測技術研究［D］.中國科學技術大學.信息科學技術學院.網絡傳播系統與控制，2012.5.

［6］邱銘杰.監控視頻圖像質量診斷方法研究及實現［D］.華東理工大學.數字圖像處理，2013.12.

Video Quality Diagnose；Video Monitoring；Image Analysis

Design and Application of Video Quality Diagnose System

CHEN Kai-huo，LIU Xiao-bo，KI Jia-liang

（School of Computer Science,Guangzhou University,Guangzhou 510006）

1007-1423（2015）32-0050-07

10.3969/j.issn.1007-1423.2015.32.013

陳開活（1994-），男，漢族，廣東陽西人，本科，研究方向為Web開發

羅曉波（1993-），男，漢族，廣東梅州人，本科，研究方向為Web開發

李嘉良（1994-），男，漢族，廣東廣州人，本科，研究方向為Web開發

指導老師：綦科（1972-），男，湖南衡陽人，博士，教授，研究方向為信息安全及視頻信息處理

2015-10-09

2015-11-10

視頻質量診斷系統是一種智能化視頻故障分析與預警系統，主要應用在大型監控系統的控制中心，通過控制監控中心矩陣主機的視頻切換輸出或連接數字視頻流媒體管理服務器來獲取前端所有攝像機的視頻信號，為視頻監控提供視頻圖像質量分析功能，對視頻圖像出現的噪點、雪花、模糊、偏色、畫面凍結、信號缺失等常見攝像頭故障做出準確判斷及發出預警信息，并提供故障的解決方案，對攝像頭產生及時保護的作用。

視頻質量診斷；視頻監控；圖像分析

Video quality diagnose system is an intelligent analysis and early warning system against video image fault,mainly apply in the control center of a large monitoring system.The diagnose system provides video quality analysis for video monitoring by acquiring signals from the output of the matrix mainframe on monitoring control centers or from video streaming media servers.Aiming to protect video cameras, the diagnose system is able to offer accurate detections,early warning messages and fault solutions according to different video image faults such as noise,snowflake,fuzzy,color cast,image frozen and signal loss.