超微光全景高速球智能聯動系統設計與應用

□ 文/賀志剛 徐 瑋 張 虎 劉曉華

超微光全景高速球智能聯動系統設計與應用

□ 文/賀志剛 徐 瑋 張 虎 劉曉華

隨著我國現代化建設和經濟的飛速發展，人們安防意識也隨之不斷提高。當前國際形勢日益復雜，特別是一些恐怖事件的發生，使的城市治安管理和應對突發事件的安全防范壓力越來越大。安防監控系統作為政府打防控一體化體系的重要組成部分，對提高社會治安防控水平，增強對治安事件的反應能力，保障社會治安持續穩定起到了重要的作用。

我國于 2004 年提出創建平安城市，經過科技強警戰略和“3111”試點工程等項目的大力推進，全國已安裝了超過1000萬個攝像頭，其中公安機關掌控的攝像機超過100萬個。目前全國視頻監控報警聯網平臺已基本建立并處于高速發展中，作為安防系統的重要組成部分，視頻監控是一種防范能力較強的綜合技術，因其直觀、方便、信息內容豐富而被廣泛應用。在公安機關治安防控管理、預防打擊犯罪等方面起到了重要作用。

十多年來，視頻監控系統從模擬到數字、從標清到高清，經歷了改擴建或升級。但是當前國內視頻安防監控產品中依然存在不少問題：監控視角范圍有限、圖像細節看不清、夜視失效、以及智能化程度不高等等。毫無疑問，“全景高清”和“智能”是城市治安監控建設的主要技術趨勢。“全景高清”是使用機器來延展和增強人的視覺系統，解決了“看得見看得清”的問題。而智能是使用機器來幫助人思考，如非法闖入報警、車輛號牌識別、人臉識別等。這些智能分析技術伴隨著視頻監控的發展逐漸成熟，大大提升了安防工作效率。

為了順應這種趨勢，本文設計實現一款超微光全景高速球智能聯動系統，它由一臺全景攝像機和一臺高速球組成，既可以監控全局場景，又可以觀察場景中局部細節的高清畫面。通過鼠標或觸摸的操作方式，選取全景圖像中的任意局部，即可追蹤和查看局部的高清細節圖像。

超微光全景高速球智能聯動系統，作為安防市場領域的一款全新的4k視頻監控設備，全景畫面最高可覆蓋360°全局場景，局部高清可看清6公里以內的車牌等細節信息，視感整體連續，同時針對夜間等光照條件很差等情況下的特殊監控需求，本系統還可以在照度低至0.01 LUX下正常全彩色成像，具有普通產品不可比擬的優勢，可廣泛應用于平安城市、天網工程等大型安防工程，還可應用于軍事偵察、機場、城市至高點、森林堤岸防災等市場，具有巨大的經濟效益和社會效益。

技術與產業現狀

全景攝像機的發展己經有十幾年的時間，起初主要應用于高科技領域。最早的應用是勇氣號火星探測器，作為人類遣往其他行星上的第一個地面移動機器人，上面裝有一對可拍攝火星表面彩色照片的全景攝像機以及各種傳感器設備。

2007年瑞典厄勒布魯大學AASS移動機器人實驗室研制出一種球形安全機器人GroundBot[4,5]。該機器人在球形主體的兩側安置了可變焦攝像機拍攝周圍環境，生成360度虛擬全景空間。利用獲取的全景圖像增強機器人對環境的觀測感知能力和遠程監控能力，并采用機器人的SLAM（Simultaneous Localization and Mapping）技術進行機器人自主定位和導航。同年，卡內基梅隆大學與美國宇航局在合作的“Global Connection”項目中，研發出一款全景攝像機器人Gigapan。該全景攝像機器人采用具有重疊的單張圖像拍攝方法，生成高達10億像素的全景圖像。

目前全景攝像機根據硬件組成的不同，可以分為多鏡頭式全景攝像機和單鏡頭式全景攝像機。單鏡頭式全景攝像機一般采用單個魚眼鏡頭，魚眼鏡頭是一種超短焦距、超廣角鏡頭，其拍攝視野能夠達到甚至超過180度。基于光的折射原理，魚眼鏡頭的設計與制造一般遵循某個特定的投影模型，如等距投影模型，其投影模型及參數決定了魚眼鏡頭的視野、分辨率分布情況。魚眼圖像有嚴重的畸變，如場景中的直線在魚眼圖像中可能成了曲線，因此魚眼圖像不適合人眼觀察，需要把魚眼圖像校正成“看起來”正常的圖像，去除或減少畸變，這一過程一般被稱作魚眼鏡頭畸變校正。

多鏡頭式全景攝像機首先通過有規律地排列多個普通鏡頭來覆蓋整個拍攝視野，然后通過圖像配準、圖像拼接及圖像融合等技術來生成完整、無縫的全景圖像。

全景攝像機的成功研制己經已有近十年的時間，但一直沒有得到廣泛的應用，主要原因還是因為技術和成本的的限制：多鏡頭式需要使用多個攝像機成本較高且圖像拼接融合技術較為復雜；單魚眼式相對普通鏡頭來講同樣價格偏高，且畸變圖像后的分辨率及效果不盡如人意。而近幾年來隨著科技的進步，全景攝像機成本開始降低。與此同時人們對“看的更清”“看的更廣”的需求日益提高，全景攝像機開始得到真正的推廣，逐步在城市安防領域開始應用。

目前一些知名的安防品牌，如德國MOBOTIX公司、瑞典Axis公司、美國Tyco公司等推出了相應的單魚眼式全景攝像機。中國雖然在視頻監控系統的自主研發方面起步較晚，但是吸收了各國研發階段的經驗教訓，發展迅速。目前國內幾家公司如海康威視、大華等，也研發了各自的全景高清監控產品。由于成本低、性價比高等優勢，中國的監控產品在國際市場上也受到了用戶的青睞，占有一定的銷售份額。

系統設計

超微光全景高速球智能聯動系統包括以下幾個組成部分：

圖1 超微光全景高速球智能聯動系統

其中高清全景攝像機由一個全景攝像機和一個高清高速球組成。整個系統會給出兩種畫面：全景畫面和高速球畫面。全景畫面代表“面”，用來監控全局，高速球畫面代表“點”，用來提供細節信息。本系統將全景攝像機的“面”與高清高速球的“點”完美搭配組合，實現由“面”及“點”的一鍵式操控，點擊全景畫面的任何一個位置，系統可立即調度高速球轉到預定監視點，使監控全局與局部細節一覽無遺。

同市面上普通產品相比，超微光全景高速球智能聯動系統具有以下特點：

“全景”--成像范圍廣。普通攝像機的成像角度一般不超過60°，而本系統能獲取最大360°的廣大視角范圍的場景。因此我們的產品，一套系統可替代多臺普通攝像機。

“高清”--成像質量高。本系統可實現最高800萬像素、25幀/秒的高清實時成像，成像清晰度是普通攝像機的十幾倍，再配合可變焦高速球的使用，可實現半徑幾公里范圍內全部場景的高清監控。

“超微光”--超低照度下依然能全彩色高清晰成像。普通攝像機在低光照環境下需要紅外補光，才能正常成像。而這會帶來兩個致命缺陷：一是紅外燈會在漆黑環境中暴露監控位置，使得不法分子可以提前防范；二是這種情況下成像是黑白的，失去了及其重要的紋理信息，不利于辨別物體特征。而本系統可日夜全彩色成像，即使在極低的光照環境下，圖像依然清晰通透、色彩準確鮮明，在事件多發的夜晚具有很高的應用價值。普通攝像機與本系統的夜視效果對比圖如下所示。

圖2 普通攝像機與本系統的夜視效果實拍圖對比

“智能”--點面智能聯動。本系統通過將一臺高清全景攝像機與一臺高清高速球有機結合，共同組成一套智能攝像機系統，專門用于解決視頻監控中，“看得廣”與“看得清”不能兼得的難點。本系統既能大視角、全覆蓋地縱覽整個監控現場、又可通過鼠標選擇全景畫面的區域，驅動高倍率、高速旋轉的高清高速球實時呈現全景圖像中任意一點即時發生的細微狀況，從而實現面到點，全局到細節的統一監控。

圖3 本系統點面聯動示意實拍圖

關鍵技術

超微光全景高速球智能聯動系統通過全景攝像機和高速球的協同工作，提供既全面又兼顧細節的畫面信息。高清、全景、超微光是其最重要的三個特點，其核心關鍵技術主要包括：“環眼型分辨率均勻化高清全景成像技術”、“全景視頻信號處理技術”、“超微光圖像處理技術”、“全景與高速球智能聯動技術”。

環眼型分辨率均勻化高清全景成像技術

超微光全景高速球智能聯動系統采用非球面元件以降低遠離軸變形效應、基于環眼鏡頭畸變修正的方法，設計出適用于超微光180度全景高清攝像機的環眼鏡頭。環眼鏡頭成像空間分辨率分布更為均勻，邊緣分辨率較魚眼圖像有明顯提高，實測邊緣分辨率提升約30%，詳見圖4。

圖4 成像實驗對比圖：左為魚眼圖像，右為環眼圖像

全新的全景視頻信號處理技術。

特殊條件下傳統技術難以滿足全景成像應用需求，例如全景圖光線來自寬廣范圍，傳感器成像顏色難以校正；惡劣天氣條件下圖像噪聲干擾嚴重等。超微光全景高速球智能聯動系統采用全新的全景視頻信號處理流水線，系統解決了超微光180度全景高清成像需求，為用戶使用以及后續視頻智能分析，壓縮傳輸提供了成像基礎，詳見圖5。

圖5 視頻信號處理流水線

全景視頻信號處理流水線主要包括針對圖像傳感器的黑水平校正、壞點校正、自動曝光與自動白平衡、2D/3D去噪、去馬賽克、顏色校正、伽馬校正、邊緣增強、對比度亮度調整、去模糊、圖像修補、去霧、全景展開、畸變校正等技術。其中一部分應用了已有的成熟技術，而另一部分以視頻信號處理流水線為基礎，突破了傳統技術限制，全面提升了成像質量，我們自主研發的核心成果主要包括基于圖像邊緣特征的顏色恒常性方法、面向透射或折反射的快速全景展開方法、基于編碼孔徑的圖像去模糊方法、基于視差的圖像修補方法等。

超微光圖像處理技術

在極低照度環境中（0.01Lux以下），普通攝像機如人眼一樣是無法看到圖像的，通常的做法是采用紅外LED補光照明，但此時圖像被轉換為黑白顏色，且不正確的紅外LED補光會造成圖像的模糊或明暗反差過大。

超微光全景高速球智能聯動系統采用全新的圖像處理技術，面對暗光情況下圖像已被噪聲淹沒的現象，通過雙階3D去噪算法實現了對圖像中高噪聲部分的強力抑制，有效還原了圖像應有的色彩與品質，該項技術已達國際領先水平。

全景與高速球智能聯動技術。

基于全局與局部一體化監視方法，以監視實時性、精確性、便捷性為設計目標，提出了快速空間精確匹配與校正技術，提出了面向全景與高速球智能聯動的目標跟蹤、行人檢測、行為識別的全景視頻智能分析技術，實現了靈敏觸發、精準聯動的點面一體化監視，豐富了高清全景攝像機功能和應用。具體來說，本系統重點解決了以下四方面的問題：

（1）全景高速球一體機空間配準：實際安裝時全景攝像機和高速球相對位置存在各種偏差。不同全景高速球一體機全景和高速球坐標的變換關系不同，因此每臺全景高速球一體機都需要配準。如何確定全景圖像和高速球局部場景圖像素點坐標之間的變換關系，從而準確控制高速球攝像機旋轉角度，顯示用戶選擇的指定區域的視頻圖像，是個關鍵問題。針對現有技術存在的配準難度大、高速球不能準確定位拍攝的問題，本系統提出了能夠對全景圖像和高速球局部場景圖像進行準確配準的全景高速球一體機空間配準方法。此方法當用戶選擇全景圖中的某個點或區域時，能夠快速準確計算出高速球旋轉角度，并對局部場景進行拍攝，能顯著提高監控設備性能。

（2）全景高速球一體機全景圖像校正：由于全景高速球一體機中全景攝像機向重力方向傾斜拍攝，獲得的180度全景圖像存在較大的畸變。這種畸變不同于普通全景圖像中的畸變，也不同于頂式拍攝的全景圖像中的畸變，因此需要一種針對此畸變特點的校正算法對全景圖像進行畸變校正，使之符合正常的人眼觀察習慣。為解決上述技術問題，提出一種基于全景高速球一體機的全景圖像校正算法。算法簡單有效、計算速度快，其FPGA中實現滿足了全景圖像的實時校正輸出。

（3）全景高速球一體化監視瀏覽：本系統針對全景高速球一體機監視，設計了符合用戶操作習慣、人機交互簡單的聯動瀏覽方法，并設計和開發了相應的客戶端監視、瀏覽和視頻管理軟件系統。

（4）全景高速球聯動智能分析：本系統提出了多種智能視頻分析技術，包括基于深度空間分解的全景高清全向立體視頻的目標跟蹤技術、基于概率重采樣的級聯檢測的全景高清視頻中行人檢測算法、基于多尺度局部約束的時空編碼技術的全景高清視頻中行為識別等。提高了全景高清攝像機系統的智能化分析能力，擴展了全景高清攝像機系統的應用。

在太原市天網工程中的應用

為了創建“智慧城市”，太原市于2013年出臺《太原市“天網”治安工程視頻監控系統建設三年規劃》，擬利用三年時間新裝高清視頻監控攝像機32萬臺，達到市區每平方公里裝備120臺攝像機的標準。2015年又出臺“天網”治安工程建設任務分解表，全力推進“天網”視頻監控系統建設任務的完成。其中“天網”工程正是以本文提出的超微光全景高速球智能聯動系統為依托，將人事管理中的科層制引入到視頻監控攝像頭的管理之中，形成新型天網架構，實現視頻管理的一鍵式應用。整個系統的平臺層次架構如下：

圖6 平臺層次架構

城市視頻立體化防控系統是建立在以城市為單位的應用系統，在應用上將高點和路面監控設備緊密結合，同時內嵌各種智能工具的。依托城市中完善的視頻卡口子系統、地面槍機視頻監控子系統、制高點點面聯動子系統、制高點全景相機子系統、地面球機視頻監控子系統及支撐城市運行的各種云數據，實現對各種可疑目標的分析、預警、跟蹤及最終抓捕的全過程響應。

太原市“天網”工程的一個突出特點是采用立體化視頻監控模式，可以從多維度實現視頻監控的全覆蓋并兼顧日常應用與突發事件的不同需求方面。下圖中第一層、第二層、第三層超為高樓層制高點全天候部署，通過光纖直連、市政統一供電、快速應急保障的方式實現。第三層熱氣球無人機、第四層平時保留數據接口，突發事件發生時設備啟動，分別按照不同的事件規模和等級采用不同方式。

圖7 城市視頻立體化監控模式空間總體架構

城市視頻立體化防控系統將本文提出的超微光全景高速球智能聯動系統作為單點設備及管理設備接入城市視頻立體化防控系統，實現在單個超微光全景高速球智能聯動系統之下的聯動及多個超微光全景高速球智能聯動系統之間的聯動。并將視頻監控點位信息、被觀測目標背景數據通過數據調用和數據推送的方式，同步呈現出來，實現信息追隨警務活動的目標。如圖8的三屏聯動模型，通過在GIS地圖及多屏聯動中的鼠標點擊，快速確定目標位置。

城市視頻立體化防控系統還可以通過在主畫面中點選攝像機圖標，快速調用對應的視頻資源，如圖9所示。

圖8 三屏聯動模型

圖9 相機聯動六分屏模型

本文提出的超微光全景高速球智能聯動系統，作為太原市“天網”工程的最重要部分，支持了其中槍球聯動、區域聯動等核心功能，使得太原市的“智慧城市”建設獲得了巨大的成功。

作者單位：賀志剛，山西省太原市公安局；徐瑋，中國人民解放軍國防科學技術大學信息系統與管理學院；張虎，山西中天信科技股份有限公司；劉曉華，湖南優象科技有限公司