淺析視頻監(jiān)控領(lǐng)域圖像處理技術(shù)

□　文/曾峰

淺析視頻監(jiān)控領(lǐng)域圖像處理技術(shù)

□文/曾峰

圖像處理技術(shù)和人眼視覺的關(guān)系

圖像技術(shù)處理，image signal process，業(yè)內(nèi)簡稱為ISP技術(shù)。在了解ISP技術(shù)之前，我們要先了解人眼的視覺感知，這是因?yàn)槿祟悓D像信號的處理全部來源于對人眼的模仿，了解了人眼的視覺構(gòu)造，就可以和圖像處理部分的內(nèi)容一一對應(yīng)起來，更好地理解圖像處理的知識。從圖1可以看到人眼的構(gòu)造，居于眼球璧內(nèi)層的透明薄膜就是視網(wǎng)膜，它布滿整個后部內(nèi)壁，主要負(fù)責(zé)感光成像，當(dāng)我們看東西時，物體的影像通過屈光系統(tǒng)，落在視網(wǎng)膜上。

▲圖1 人眼視覺

人眼與攝像機(jī)有哪些相似之處呢？

首先，晶狀體相當(dāng)于攝像機(jī)的鏡頭透鏡(lens)，其作用是聚集光線，在視網(wǎng)膜上形成圖像。

另外，人眼的虹膜相當(dāng)于攝像機(jī)的光圈，虹膜通過收縮和伸張來控制進(jìn)入的光線，以達(dá)到人眼的亮度均衡。簡單舉例，當(dāng)我們突然進(jìn)入一個高亮的環(huán)境，開始人眼是看不清楚東西的，在適應(yīng)一段時間后，事物會逐漸清晰，這個就是虹膜調(diào)整之后的結(jié)果，人眼所感知的最后的亮度其實(shí)是一致的。

視網(wǎng)膜是人眼核心的功能，仿照這個功能，攝像機(jī)上有與之對應(yīng)的傳感器 (sensor)，視網(wǎng)膜表面分布的光接收器產(chǎn)生圖像視覺信號。

圖像處理中的關(guān)鍵技術(shù)

前面提到攝像機(jī)都是在模仿人眼的構(gòu)造來成像，現(xiàn)在看一下攝像機(jī)的成像系統(tǒng)有哪些具體的構(gòu)成。首先輸入的圖像會通過鏡頭傳遞到圖像傳感器上，圖像傳感器感知的數(shù)據(jù)會被后面接收，圖像信號處理系統(tǒng)會對這些數(shù)據(jù)進(jìn)行處理，通過一系列的算法，例如降噪、白平衡、CFA、曲線矯正、色彩矯正，從而形成人眼可以看到的正常圖像。圖像信號處理，也叫做ISP（Image Signal Process），其作用是模擬大腦對視網(wǎng)膜上的成像進(jìn)行處理，產(chǎn)生視覺感知的圖像。

▲圖2 ISP處理流程圖

低照度

視頻監(jiān)控領(lǐng)域?qū)D像的低照度要求很高，需要在很暗的場景下看清楚物體，低照度下為了提升亮度，會起一些噪聲，所以在研發(fā)過程中需要花很多精力在降噪上。目前視頻監(jiān)控產(chǎn)品實(shí)際應(yīng)用的降噪技術(shù)主要是通過區(qū)分噪聲和圖像本身的細(xì)節(jié)，以線性或非線性濾波將噪聲從圖像中去除，根據(jù)噪聲判決與去除所用與參考的視頻信息的分布維度，降噪技術(shù)可分為空域?yàn)V波（Spatial Filter）、時域?yàn)V波（Temporal Filter）、運(yùn)動自適應(yīng)濾波（Motion Adaptive Filter）和運(yùn)動補(bǔ)償濾波（Motion Compensation Filter）等幾大類。

寬動態(tài)

大家應(yīng)該都有過在逆光環(huán)境下拍照的經(jīng)歷，有些在窗戶口拍出的照片，人臉都是黑的。圖像里面還有一個比較關(guān)鍵的技術(shù)是寬動態(tài)，也叫HDR，就是用來解決逆光下圖像處理的問題。普通的相機(jī)只曝光一次，如果同時存在亮暗對比很強(qiáng)烈的物體，那么就要看哪部分占得比例大，就會以這個亮度來曝光。比如，室外光線很強(qiáng)，按照這個亮度來處理后，人臉看起來就會比較暗。

研發(fā)人員想了很多辦法來擴(kuò)大傳感器的動態(tài)范圍，目前主流的技術(shù)都在曝光強(qiáng)度控制方面想辦法，稱為多重曝光。多重曝光的思路是通過幾次不同時長的曝光來獲取落在合適范圍內(nèi)的數(shù)據(jù)。假設(shè)多重曝光技術(shù)用12bit/72db的傳感器首先曝光20毫秒，此時暗處可獲得足夠細(xì)節(jié)但亮處會因飽和而過曝；再通過1.25毫秒曝光使亮處所得能量削弱至1/16以落到飽和門限之下，此時暗處是曝光不足的。將上述相差16倍的數(shù)據(jù)合并，即可獲得共16bit即96db的動態(tài)范圍——比采用12bit/72db的單次曝光提高了16倍。

▲圖3 左為普通相機(jī)右為HDR相機(jī)

視頻監(jiān)控領(lǐng)域圖像的特點(diǎn)

現(xiàn)實(shí)生活中，大家對手機(jī)或者數(shù)碼相機(jī)的圖像更了解一些，視頻監(jiān)控領(lǐng)域?qū)D像的要求跟相機(jī)有很大的區(qū)別的，監(jiān)控領(lǐng)域要求的是盡量真實(shí)地還原真實(shí)的物體，而手機(jī)和數(shù)碼相機(jī)可能就需要對圖像做一些渲染，讓畫面更美。比如我們現(xiàn)在常用的美顏相機(jī)，就是要刻意遮蓋人臉的細(xì)節(jié)信息，突出五官，拍出有妝容效果的圖片，而視頻監(jiān)控卻需要盡量還原人臉的細(xì)節(jié)信息，盡量呈現(xiàn)真實(shí)的色彩，這樣才能為公安機(jī)關(guān)提供有價值的線索。所以監(jiān)控的圖像看起來可能不能像手機(jī)或者數(shù)碼相機(jī)那么絢麗，但是卻是最接近真實(shí)場景的圖像。

攝像機(jī)需要捕捉夜視下的清晰圖像，這樣就對攝像機(jī)的低照度要求很高，為了看到低光照下的圖像，圖像傳感器通常要將信號放大很多倍，這樣就會帶來噪聲，因此就要用到降噪算法。數(shù)碼相機(jī)在夜晚拍照主要靠閃光燈補(bǔ)光，不會起很大的噪聲，但是閃光燈對照相距離有要求，不能用到比較大或者遠(yuǎn)的場景，而攝像機(jī)監(jiān)控的場景范圍通常比較大，這樣也更加倚重于攝像機(jī)的低照度效果。

除此之外視頻監(jiān)控和手機(jī)圖像的不一樣還在于，監(jiān)控?cái)z像機(jī)很多時候需要在惡劣的條件下工作，比如雨天，霧天，雪天、高溫和低溫，并且是全天候的工作，這就需要保證所有時刻圖像的正常。所以有時候?yàn)榱思嫒莞嗟膱鼍埃芏鄨D像參數(shù)都需要做一些差異化的設(shè)置。此外，攝像機(jī)由于監(jiān)控需要，非常關(guān)注運(yùn)動的場景，這個和手機(jī)拍照有所有不同，很多時候手機(jī)拍攝的運(yùn)動物體都是模糊的，而攝像機(jī)卻需要不管是白天還是晚上，都要看到清晰的運(yùn)動物體，這個對圖像處理技術(shù)的要求是非常高的，運(yùn)動物體的細(xì)節(jié)不僅涉及到圖像技術(shù)里面的色彩校正、銳化、降噪、插值等模塊，還跟編碼相關(guān)，特別是低照度下的運(yùn)動物體，更是多領(lǐng)域協(xié)同作戰(zhàn)的結(jié)果。

四 海康威視圖像處理的優(yōu)勢

海康威視注重研發(fā)創(chuàng)新，每年的研發(fā)投入很大，在圖像技術(shù)上，10年前就設(shè)立了專門的圖像處理團(tuán)隊(duì)，對圖像處理過程的每一步算法進(jìn)行過深入的研究，并且不斷在創(chuàng)新。

海康威視的星光系列攝像機(jī)，能在星光的場景下拍出清晰如白天的效果，帶給用戶極大的使用體驗(yàn)，推出至今得到了市場的廣泛認(rèn)可。這其中就用到了海康威視自主研發(fā)的細(xì)節(jié)增強(qiáng)算法和3D降噪算法，其將人眼的主觀感受和自適應(yīng)細(xì)節(jié)增強(qiáng)和降噪技術(shù)相結(jié)合，基于圖像內(nèi)容，將增益作為參量進(jìn)行自適應(yīng)調(diào)節(jié)，追求各種照度下的圖像信噪比最優(yōu)化，在低照度場景中效果尤為明顯。下圖就是海康威視星光系列攝像機(jī)和iphone6s的低光照下圖像對比，由圖4可見海康威視星光系列攝像機(jī)的效果是非常震撼的。

▲圖4 攝像機(jī)和手機(jī)低光照圖像對比

結(jié)束語

隨著編解碼技術(shù)的發(fā)展，特別是海康威視新推出的H265和Smart 265技術(shù)的高清產(chǎn)品，針對多數(shù)的監(jiān)控應(yīng)用場景，可以較大幅度的降低監(jiān)控系統(tǒng)的存儲成本。未來的監(jiān)控領(lǐng)域的圖像一定會朝著更高清更低照度的方向發(fā)展，現(xiàn)在200分辨率已經(jīng)成為主流，300萬、500萬、800萬分辨率也正在飛速的發(fā)展，后續(xù)分辨率更高、低照度更好的圖像一定會給視頻監(jiān)控帶來更多可能。

作者單位：杭州海康威視數(shù)字技術(shù)股份有限公司