方紫娟,謝正祥,馮 鵬,黃維娜
(1.重慶郵電大學工業物聯網與網絡化控制教育部重點實驗室,重慶400065;2.重慶醫科大學生物醫學工程研究室,重慶400016)
視頻增強技術目前主要分為空域增強法和頻域增強法兩大類[6]。空域增強法通常是對像素點進行操作,主要包括:直方圖均衡化、模糊邏輯增強和基于遺傳算法優化等,頻域增強法的基礎是卷積定理,利用信號處理的手段來處理圖像,如:低通濾波、高通濾波、同態濾波等,然而這些方法在應用上都有一定的局限性[7]。例如:直方圖均衡化容易丟失細節信息、對噪聲敏感、對比度增強力度相對較低。同態濾波模擬了人眼的視覺特性,增強效果較好,但實際情況下,同態濾波常常沒有計算反射圖像,增強效果不穩定[8]。
針對上述問題,我們提出一種望遠視頻圖像質量快速自適應最佳化的方法,即通過視頻圖像全譜變換、建立視頻圖像質量自適應最佳化模型來完成圖像質量最佳化。該方法既能提高視頻圖像質量,又能嵌入到望遠系統中。這種具有快速、自適應、最佳化的視頻圖像監控技術對于增強我國在遠距離夜視監控系統的技術儲備,提高國家的安防實力是非常重要的[9]。
人類視覺問題屬于心理物理問題,圖像質量評價也是心理物理問題。在對人類視覺感知圖像質量特征參數的基礎上,我們構建了一個通用的圖像質量評價函數U-IQAF(Universal Image Quality Assessment Function)表示為綜合圖像質量評價函數CAF(Comprehensive Image Quality Assessment Function)來評價一幅圖像質量[10],如下:

其中 AIE、APCL、AHF、NNF和 ABWF分別表示平均信息熵、平均物理對比度級、平均層次因子、平均亮度歸一化鄰近距離和平均帶寬因子。在視頻處理中,對單幀運用CAF評價,構建綜合視頻圖像質量評價函數,實現對視頻圖像質量的評價。CAF值越大,視頻圖像視覺質量越好,進而用CAF值來指導視頻圖像增強的方向,以達到視頻圖像質量的最佳化。
對于8 bit的灰度圖像和24 bit的彩色圖像,灰度譜和每一個顏色分量色度譜分別有0~255共256級,因此最大譜寬度為256。研究發現,譜帶的寬度不同,圖像的質量明顯不同;灰度/色度譜較寬的圖像,具有較好的視覺效果。全譜(譜寬為256)圖像具有最好的視覺效果。視頻圖像的全譜變換是由模糊數學中Zadeh變換而來的。Zadeh變換是指任意數據集映射到[0,1]區間的變換。

將[0,1]區間擴展到[0,255]就成了全譜變換:

Right和Left分別是視頻圖像的灰度/色度譜的右、左邊界值。i=0,1,2代表紅、綠、藍三通道的顏色成分。K稱為擴張或收縮因子。在此,為了使每一個顏色分量色度譜為全譜,即0~255共256級,令K=255。O(i,x,y)表示變換前某個像素點的灰度/色度值,T(i,x,y)代表 Zadeh-X 變換后的某個像素點的灰度/色度值,Tvist(i,x,y)表示經過全譜變換后某像素點i通道的灰度/色度值。全譜變換的實質是圖像的灰度/色度譜拉伸,但其較傳統線性拉伸[11]有所不同:傳統線性拉伸主要用來改善圖像的對比度,而全譜變換具有一定的圖像增強功能,并且變換的視頻圖像灰度/色度譜占有整個帶寬,我們稱其為標準化視頻圖像,為視頻圖像質量最佳化建立了統一的計算基礎,即根據標準化視頻圖像,建立視頻圖像質量最佳化模型。
對于靜態圖像,可以取不同變換參數進行比較,從而通過觀測不同圖像效果得到最佳化圖像。然而,對于連續的視頻圖像,由于每幀圖像變換參數值不同,變換參數值的大小直接影響最佳化的效果,考慮到連續性的要求,我們建立視頻圖像質量的自適應最佳化模型AOMVIQ(Adaptive Optimization Model of Video Image Quality)。
財務不僅是一項業務,更是一項管理。加強財務管理有利于醫院經濟管理水平的提高。第一,要有一個正規科學的預算管理制度,對醫療方面的活動要進行事前控制,并進一步加強和強化成本預算的監督。第二,要不斷加強和完善成本核算的機制,實現醫患收益平衡。第三,加強財務資金管理制度,對醫院的資金流動進行全程監督,確保對醫院的流動資金進行有序管理。
Zadeh-X 變換[12-13]如下:

Theta∈[0,255]和 Delta∈[1,∞]分別為原圖像的灰/色度起點和灰/色度分布范圍。研究發現Delta=255時的Zadeh-X變換的結果是原始圖像,Zadeh-X變換取適當的變換參數可以創建最佳質量圖像。同時,我們發現Delta的值與平均亮度值AL的關系可以用于獲取最佳質量圖像。根據大量不同環境照度下視頻圖像的實驗數據分析知,對于標準化視頻圖像,Delta與AL之間應當有下面等式關系:

式(4)和式(5)被稱為AOMVIQ的變換參數。由式(4)可知,Delta能自適應于視頻圖像視覺參數AL。
視頻圖像標準化是視頻圖像的最佳化變換VIQOT(Video Image Quality Optimization Transformation)的基礎。VIQOT由Zadeh-X變換改進而來,如下:

此時:

式中i=0,1,2代表紅、綠、藍三通道的顏色成分。K被稱為擴張因子或者收縮因子。在此,同樣令 K=255,O(i,x,y)和 Tviqot(i,x,y)分別代表最佳化變換前后的每個像素點的灰度/色度值,Tviqot(i,x,y)表示經過VIQOT變換后某像素點i通道的灰度/色度值。AL是一幅圖像的平均亮度。VIQOT在Zadeh-X變換的基礎上除了能處理AL<127.5的圖像外,還能處理AL>127.5的圖像,能夠達到真正意義上的自適應,通過VIQOT后的圖像具有最佳圖像質量。
為了進一步分析視頻圖像快速自適應最佳化算法在望遠視頻處理上的性能,采用Directshow[14]平臺搭建具有視頻圖像快速自適應最佳化功能的望遠實時監控系統。一方面,測試視頻處理實時性能,另一方面,將實時采集視頻存盤為AVI文件,運用視頻文件處理程序抓圖存取單幀圖像,采用綜合圖像質量評價方法測試自適應最佳化模型。
Directshow是Windows平臺下通用的視頻處理框架技術,是一套建立在組建對象模型(COM)基礎上的高效多媒體開發系統,廣泛應用于多媒體領域。在Directshow平臺上,編寫具有視頻圖像質量通用快速自適應最佳化功能的Filter,將Filter鏈入到本地視頻文件回放鏈表和視頻采集捕獲鏈表中,前端采用望遠USB接口攝像頭完成視頻采集,構建具有視頻圖像快速自適應最佳化功能的望遠系統。
望遠視頻實時監控的目標,一方面直接將原視頻存盤為一個視頻文件;另一方面期望以圖像幀的方式,采集RGB/YUV格式數據,當外部指令為最佳化時,對數據做快速自適應最佳化處理,可以分別預覽原視頻和補償后的視頻。
當既需要實時觀測效果,又需要將原視頻存盤時,構建鏈表如圖1所示。本文將采集的視頻分三路輸出,一路將采集的視頻實時回放,一路加入我們編寫的最佳化Filter,將采集的視頻實時的處理輸出,第三路實現對原視頻的存儲。
實時視頻采集系統,數據流格式為YUY2,分辨率為:640×480。望遠USB攝像頭采集幀率30幀/s,測試處理后顯示幀率在29幀/s以上,加入通用自適應最佳化算法后幀偏移時間在10 ms以內,視覺效果沒有延遲現象,滿足實時性要求。

圖1 望遠視頻通用快速自適應最佳化和存盤鏈表
分別截取望遠距離為200 m、400 m、800 m的不同監控視頻幀進行實驗,如圖2(a)、圖2(b)和圖2(c)所示。由于距離遠,一般的監控設備難以觀測圖像中汽車、籃球架、足球門(圖2(a)~2(c)中綠色圈位置),需要采用望遠設備實現遠距離采集。圖3(a)、圖4(a)、圖5(a)是利用望遠系統拍攝的視頻幀,由于望遠攝像頭傳感器的限制,視頻圖像雖然存在對比度,但依然無法分辨視頻圖像中的信息。
針對望遠監控視頻出現的對比度低等缺點,本文采用空域的直方圖均衡化、頻域的同態濾波算法以及通用自適應最佳化算法分別對圖3(a)、圖4(a)、圖5(a)進行了處理。分析可知,直方圖均衡化增強的效果不是很協調,并且灰度級較低部分出現了譜線丟失的現象,圖像信息有所損失如圖3(b)、圖4(b)、圖5(b)所示;同態濾波后的圖像雖然譜線較直方圖均衡化有所保持,增加效果也比較自然,但對比度仍然較低,許多信息依然無法辨別如圖3(c)、圖4(c)、圖5(c)所示;而本文算法處理后的圖像灰度譜為全譜而且分布趨向平坦,圖像對比度較同態濾波也得到了增強,并具有較好的顏色信息,更符合人眼的視覺感官,如圖3(d)右、圖4(d)右、圖5(d)所示。

圖2 不同距離下非望遠系統截取視頻圖像幀

圖3 圖2(a)望遠系統監控下的視頻幀處理效果對比圖

圖4 圖2(b)望遠系統監控下的視頻幀處理效果對比圖

圖5 圖2(c)望遠系統監控下的視頻幀處理效果對比圖
由表1數據分析可知,3種視頻圖像增強方法的對比度、平均亮度較原始視頻幀都有所增加、灰度譜也都有所拉伸,但綜合評價發現自適應最佳化后視頻圖像擁有最大的CAF值,即最好的視頻圖像質量。可以看出,圖3(d)、圖4(d)、圖5(d)分別和其對應的原始視頻幀相比,CAF值分別增加了13.916 67、88.676 7、80.272 7倍。綜合分析得知,視頻圖像的自適應最佳化可以使人類感知的視頻圖像信息更豐富,圖像層次更清晰。

表1 視頻圖像質量通用自適應最佳化對比數據
本文根據人們對遠距離視頻圖像觀察和監控等的需求,研究并實現了望遠視頻圖像質量自適應最佳化,首先分析了人類視覺感知圖像質量特征參數,提出了綜合視頻圖像質量評價函數,然后在視頻圖像全譜變換基礎上,構建了視頻圖像質量自適應最佳化模型,最后在Directshow平臺上實現了望遠視頻的快速自適應最佳化。實驗結果證明,該方法擴展了望遠系統的照度適應范圍,有效的提高了視頻圖像質量,為望遠視頻圖像處理提供了新的思路。
[1]張增林,黨革榮,郁曉慶,等.基于無線傳感器網絡的節水灌溉遠程監控系統[J].節水灌溉,2012,3(1):75-79.
[2]王珺,彭進業,李丹嬌,等.基于DSP的視頻人臉監控系統設計與實現[J].計算機測量與控制,2012,20(3):697-701.
[3]龔薇,斯科,葉秀清,等.一種強魯棒性的實時圖像增強算法[J].傳感技術學報,2007,20(9):2024-2028.
[4]李曉霞,李鋮果,鄒建華,等.一種新的低照度彩色圖像增強算法[J].計算機應用研究,2011,28(9):3554-3555,3558.
[5]侯雷,饒云波.一種亮度融合的視頻增強方法[J].光電工程,2011,38(8):52-36.
[6]Choudhury A,Medioni G.A Framework for Robust Online Video Contrast Enhancement Using Modularity Optimization[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(9):1266-1279.
[7]饒云波.夜間視頻增強的關鍵技術研究[D].成都:電子科技大學,2012.
[8]谷曙媚.視頻監控系統中的圖像增強技術研究[D].湖南:湖南大學,2012.
[9]李曉晨,姚素英,姚碧珍,等.一種應用于高動態范圍COMS圖像傳感器的曝光控制技術[J].傳感技術學報,2013,26(3):328-332.
[10]陳勇,李愿,呂霞付,等.視覺感知的彩色圖像質量積極評價[J].光學精密工程,2013,21(3):742-750.
[11]Osman M K,Mashor M Y,Saad Z.Contrast Enhancement for Ziehl-Neelsen Tissue Slide Image using Linear Stretching and Histogram Equalization Technique[C]//IEEE Symposium on Industrial Electronics and Application,ISIEA,2009.431-435.
[12]Xie Z X,Wang Z F.Color Image Quality Assessment Based on Image Quality Parameters Perceived by Human Vision System[C]//International Conference on Multimedia Technology,ICMT,2010.1-4,.
[13]Xie Z X,Wang Z F,Lü X F.Single Image Quality Assessment and Creation of the Best Quality Image[C]//2nd International Conference on Information Science and Engineering,ICISE,2010.4022-4025,.
[14]陳勇,楊佳義,謝正祥,等.DirectShow框架下對比度分辨率補償的視頻挖掘[J].激光與紅外,2011,41(8):932-941.