多傳感器采集和數據融合用于智能監控的目標檢測

王達志，楊 康，成 果，劉雨希，趙永輝

（東北林業大學 信息與計算機工程學院，黑龍江 哈爾濱 150040）

0 引 言

智能安防是指借助電子信息、物聯網以及視頻監控等領域的技術優勢，充分發揮信息通信（ICT）、射頻識別（RFID）、圖像分辨以及人工智能（AI）等技術特點，從而實現對公共場合進行智能化的綜合管理。智能監控是國家智能安防行業的重點項目，也是學校、小區以及商店等公共場合的基礎安全設施[1-5]。傳統的監控系統由專門人員在固定的時間查看監控區域，并對監控內容進行有限期保存，但無法快速并及時地對安全事故作出反應，因此迫切需要設計并構建一套智能化的監控系統。本文主要研究在監控區域內提取目標信息，并在此基礎上提出一種用于智能監控的目標檢測手段。

1 毫米波雷達與攝像機的時空統一

1.1 空間統一

毫米波雷達與攝像機的空間統一主要是指二者在描述相同事物時觀察空間的統一。毫米波雷達與攝像機各自描述的共同事物處于不同的描述空間中。綜合各自空間中對事物描述的優點，可使事物特征更加明確。設毫米波雷達坐標系為Or-XrYrZr，攝像機坐標系為Ov-XvYvZv，世界坐標系為Ow-XwYwZw，圖像坐標系為o-xy，像素坐標系為uv[6]。從圖像上觀察事物具有很強的直觀性，但如果攝像機在成像過程中丟失了一個維度的數據，那么將導致很難還原圖像數據。因此，本文以圖像坐標系為主要研究對象，只做從雷達坐標系到圖像坐標系的轉換[7]。

綜合推導得到從世界坐標系到像素坐標系的轉換關系：

式中，R是攝像機外部參數旋轉矩陣，T為攝像機外部參數平移向量，焦距f是攝像機內部參數。R和T作為攝像機外部參數可通過攝像機的標定方法獲取。

攝像機參數標定方法中，張正友標定法[8]不僅克服了傳統標定法需要的高精度標定物，而且相對于自標定提高了精度，更加便于操作。標定過程中，采集不同角度和不同位置的標準棋盤圖像，利用張正友標定原理得到攝像頭內部和外部參數，棋盤格標定如圖1所示。獲取攝像機內、外部參數后，可得到毫米波雷達檢測到的目標和圖像空間中的映射信息。

圖1 棋盤格標定圖

1.2 時間統一

毫米波雷達和攝像機的時間統一主要是指二者同步獲取數據。由于兩個設備獲取數據的頻率不同，因此需要同步處理獲取的數據，從而保證兩個設備的同步運行。毫米波雷達在某時刻所采集的數據，有很大概率不是該時刻的數據，導致毫米波雷達和攝像機觀測到相同空間內不同時刻的數據，從而產生無法準確映射的現象。本文以攝像機的采樣速度為標注控制毫米波雷達的采樣速度，從而保證數據的統一。由毫米波雷達檢測到目標的位置、速度以及加速度，利用速度和位移公式即可計算出攝像機在采集圖片的瞬間和目標在空間中的位置。

2 雷達檢測與圖像檢測的綜合處理

2.1 雷達的目標檢測及圖像映射

本次研究中，毫米波雷達系統通過連續發送射頻信號，利用張正友標定法得到攝像機的內、外部參數，計算毫米波雷達所檢測到的目標到圖像空間的映射。根據映射內容，直觀分析目標與當前空間的關系。但是，由雷達所檢測到的數據映射到圖像空間后僅有一個目標相關點，因此無法直接從圖像數據中提取目標的全部信息。雷達映射如圖2所示。

圖2 雷達映射圖

2.2 基于圖像處理的目標檢測

利用圖像處理技術分析攝像頭所監測的空間，從而得到空間內的目標信息，并從視覺角度分析空間內的事物。其中，目標檢測是通過處理二維圖像數據，提取出目標的最小包圍矩形。YOLO是一種較優秀的目標檢測方法，由Joseph Redmon等人提出[4]。它的突出優點是處理速度快，輕松進行實時處理，且識別準確率較高。

2.3 綜合雷達與圖像處理的目標檢測

雷達可在同一時刻得到空間內目標的位置、速度以及加速度，但是無法在雷達坐標系下進行直觀分析。攝像機能得到空間壓縮后的二維圖像數據，并從中分析得到目標的類別等信息，但是無法獲取目標準確位置等相關信息，且未能達到實時檢測目標的速度。

本文綜合雷達和圖像的優勢，分析空間內目標。綜合雷達速度快、抗干擾能力強、可獲目標在空間中運動狀態的特性以及圖像可獲得目標類別信息和可直觀分析的特性，解決存在的問題，并充分發揮相關優勢。綜合過程中，首先將雷達空間的數據映射到圖像空間，其次裁剪目標范圍，使用YOLO的目標檢測，最后輸出綁定目標在空間中運動信息的目標身份數據。

在雷達和攝像機綜合檢測目標的過程中，不僅存在各自的局限性，而且很難把握時間的統一，導致出現雷達數據和圖像數據在時間上的不一致。此外，雷達和攝像機有不同的檢測范圍，雷達無法捕捉到的信息攝像機可以。分別在兩個進程中運行雷達和攝像頭，可利用共享內存傳遞雷達檢測到的目標信息，并利用物體的運動信息，匹配統一時刻下的圖像數據和雷達數據。

3 結 論

針對智能安防中的智能監控，提出利用毫米波雷達和圖像處理技術相結合的檢測方法，以快速捕捉目標的運動信息，從而使得監控更加智能化。實施一段時間后發現，利用該方法進行智能監控，能夠高效獲取并保留監控區域內的各種情況。