基于魚眼鏡頭的無盲區周界入侵識別系統研究

韓文波，戴軍建

（長春理工大學 光電工程學院，長春 130022）

在為智能視頻監控系統設計周界入侵識別功能時，往往會遇到幾個對系統性能和成本影響巨大的問題，包括如何真正做到無盲區監控，如何分配監控節點和監控服務器之間的計算負載，如何高效利用低成本監控服務器的計算核心等。要做到無盲區監控，有幾種可選的方案可以拿來做對比：（1）直接使用多個有普通光學系統的監控節點采用環繞式部署的方式；（2）使用一個或極少個載有魚眼光學系統的監控節點采用懸掛式部署的方式，從高處直接覆蓋整個監控區域；（3）使用少量的有魚眼光學系統的監控節點采用環繞式部署的方式。本文將給出具體的分析對比。確定監控節點和監控服務器之間的計算負載分配是決定節點所需處理器和服務器所需配置的關鍵問題，在兩者成本都受限以及同時考慮計算效率的情況下，合理分配兩者的計算負載意義重大。本文將嘗試給出合理分配方案。根據系統結構，合理規劃監控服務器的計算邏輯，是高效利用計算核心的有效途徑，特別在選用低成本的監控服務器時尤為突出。本文將比較幾種計算邏輯的效率。

1 系統總體設計

1.1 部署方式

無盲區監控設計的三種監控節點的部署方案簡易視圖如圖1所示，設定的監控場景較為簡單，但足夠典型。

第一種方案直接采用帶有普通光學鏡頭的節點完成周界部署，由于視場角有限，為完成對周界的覆蓋，同時考慮到在進行全景拼接時保證各節點畫面之間保留有重疊區域，如圖1（a）所示，因此需要較多的節點來完成部署，特別是在不規則周界環境下，圖像拼接的計算量和節點的總成本將大大增加。

第二種方案可充分發揮魚眼鏡頭的大視場特點，同時也為減小系統計算量找到了最佳的解決方案，節點成本也將減到最低。但是這種方案的適用場合被嚴重受限，一方面，如圖1（b）所示，隨著監控節點的部署高度的增大，對節點圖像傳感器的分辨率的要求將大大增加，導致節點成本反而增加；另一方面，采用懸掛式部署的方式將丟失大量的有效信息，比如運動物體的運動細節等，這將降低系統與其他智能視頻監控功能的兼容性。

第三種方案是在上述兩種部署方案基礎上做出的折中選擇，在充分利用魚眼鏡頭的優勢的前提下，使系統對監控環境的適應能力增強，也使平衡計算量、節約系統成本成為可能。本測試平臺將采用該部署方案。

1.2 計算負載的分配

首先需要明確的是，在上述確定的部署方案中，系統需要大量計算，算法復雜度較大的環節有：（1）監控節點的視頻圖像簡單預處理，該環節主要是去除視頻圖像的噪聲，由于需要保證該環節的實時性，一般都使用專用視頻圖像處理單元來實現，比如FPGA，因此計算都是直接使用硬件實現；（2）魚眼鏡頭成像的視頻圖像的校正，魚眼鏡頭攝像機拍攝的圖像具有非常嚴重的變形，如果要利用這些具有嚴重變形圖像的投影信息，需要將這些變形的圖像校正為符合人們視覺習慣的透視投影圖像，這個過程無論對后期的處理算法還是人機操作都是必要的，具體的步驟主要包括圖像的輪廓提取及其畸變校正兩方面，一般的輪廓提取算法會涉及較多的累加運算，因此我們嘗試將該部分負載交由節點處理器來完成，而畸變校正算法將涉及到一系列的坐標系轉換，也就是一些復雜度較大的矩陣運算，而且如果有較高的精度要求，浮點運算也是不可避免的，所以可將這部分計算負載安排給監控服務器；（3）圖像的全景拼接，這部分計算是為了滿足實現一個良好的用戶設置接口，算法輸入為經過校正過的各節點圖像，輸出為供用戶設置具體周界的全景圖片，以及入侵識別算法運行的載體；（4）入侵識別算法的運行，為了保證算法本身運行的準確性以及系統對其他智能算法的兼容性和可擴展性，可將本計算安排給監控服務器。表1列出了相關計算的屬性和期望的負載分布。

1.3 系統結構和測試參數

根據部署方式和計算負載的安排，選擇合適的節點和服務器配置：為了在各種監控環境都有很好的適應性，選擇視場角為195°的魚眼光學系統；為了滿足圖像預處理和快速傳輸視頻圖像的需求，采用搭配視頻圖像協處理器HDVICP和MJCP的ARM926EJ-S內核處理器，主頻300MHz；為方便測試不同的計算邏輯（單核或多核）對計算效率的影響，以及試圖獲取最低服務器配置等數據，使用多核CPU作為處理器；由于全景拼接計算發生在監控服務器，需要一些軟硬件的處理來保證一幀全景圖像是來自各節點同一時刻的采集結果。基本的系統結構如圖2所示。

表1 計算的屬性和期望的負載分布

圖2 基本的系統結構和測試模型

2 測試模型的建立

2.1 魚眼圖像校正模型和計算負載分析

魚眼圖像的校正主要包括圖像輪廓提取及其畸變校正兩方面，其中輪廓的提取是為了獲取魚眼圖像的圓心和有效半徑信息，為后期的畸變校正提供圖像標定信息。為了充分利用監控節點的計算資源，系統采用了適合節點處理器的面積統計法來計算輪廓信息。魚眼圖像的有效區域即圓形區域內的黑色像素點很少，也就是圓形區域內的灰度值較大，而在圓形區域外，則幾乎全是黑色像素點，根據魚眼圖像的這個特點，設計具體算法如下：

設閾值為Q，圖像像素個數為Sum1，統計灰度值小于Q的像素點個數Sum2，則有效像素點個數Sum為：

Sum=Sum1-Sum2（1）

設魚眼圖像的像素坐標為（x,y），則所有像素的一次距為∑x1，∑y1，灰度值小于Q的像素點的一次距為∑x2，∑y2，獲取方法如圖3所示。

圖3 面積統計法示意圖

用掃描的方式逐行掃描圖像，先從圖像的最左端開始，從上至下依次掃描圖像，判斷圖像中像素點的各顏色值之和是否小于Q，若小于，則Sum2加1，累計∑x2,∑y2，繼續掃描，直到掃描到圖像最下方。反之，從圖像最右端開始搜索，若掃描到的圖像像素點的顏色值之和大于Q，則轉到下一行繼續掃描。

利用下列公式可求出半徑和圓心坐標。

根據該算法獲得效果如圖4所示。

圖4 輪廓提取效果

在實際系統中只需配合原始圖像傳遞上述輪廓信息（r，x0，y0）至監控服務器便可，以減輕圖片裁剪給節點處理器帶來不必要的計算負載。

此時監控節點負載情況如表2所示。

表2 負載測試

2.2 計算邏輯分析

在系統中，監控服務器端會有多個復雜的算法需要運行，如何設計計算邏輯，將影響系統對服務器端的配置需求。這里考慮兩種情況，即單核系統和多核系統。表3為監控服務器端各算法在合理設計難度下的計算可分割性。

表3 計算可分割性

多核處理器在系統中的優勢主要體現在圖像畸變校正運算上，由于該過程中存在著大量的重復性、可并發進行的數值計算，這種優勢隨著監控節點的增多而顯現出來。

2.3 具體算法選擇

在來自監控節點的魚眼校正信息的基礎上，采用經緯映射法校正畸變。經緯映射法的算法模型如圖5所示。

圖5 經緯映射法校正畸變

若系統不要求浮點精度，可以將上述參數強制轉換為整形，但是這樣的做法在該環節中會引起較明顯的圖像質量下降。

圖像全景拼接過程中計算可分割的部分使用MSERs算法，該算法主要依賴圖像的灰度變化和局部特征，具有很強的獨立性，效果和計算量都已能滿足視頻監控的要求。后期拼接過程使用順序拼接方法，可以保證拼接效果和避免頻繁的大量像素數據的加載和釋放。

在全景圖像上做周界入侵規則設置和識別，可很巧妙地將原本復雜的全畫面掃描轉變為單方向的匹配掃描，如圖6所示。執行過程和效果，如圖7所示。

圖6 周界入侵檢測規則

圖7 執行過程和效果

3 測試結果和計算邏輯確定

測試單核和多核環境下系統運行效率的區別。在這里單核環境通過強制單線程的方式實現，多核環境下使用上述表中的算法分割方式重寫各算法為多線程形式。測試結果如圖8所示。

圖8 單核和多核環境下測試結果

在少于4個監控節點的情況下，單核系統與多核系統的運行效果相差不大，在多數監控環境下是可以滿足要求的，而且在使用魚眼鏡頭的監控系統中，一般4個節點就足以實現無盲點的周界警戒部署。

4 結論

本文先確定合理使用魚眼鏡頭監控節點的部署方式，在此基礎上分析和設計了適合系統結構的計算負載分布，在保證系統運行效果的情況下進行魚眼圖像校正過程中的算法分割。選擇適合監控節點處理器的校正算法，充分利用各監控節點的計算資源，同時測試不同數量計算核心環境下實現系統功能的效果。驗證了使用魚眼鏡頭，在最小配置下（單核環境）完成無盲區周界入侵識別的可能性。

［1］Matas J，Chunm O，Urban M，et al.Robust wide baseline stereo from maximally stable extremal regions［C］.In Proc.13thBritsh Machine Vision Conference，Cardiff，UK，2002，14（2）：384-393.

［2］Compton K，Hauk S.Reconfigurable Computing：A Survey of Systems and Software［J］.ACM Computing Surveys，2002，34（2）：171-210.

［3］王社國，劉蕩，劉新濤.基于人臉識別技術的智能化視頻監控系統［J］.科技信息，2007，（2）：5-6.

［4］梁春燕，謝劍英.智能大廈監控系統設計［J］.測控技術，1999，18（10）：28-30.