基于雙目相機的車輛鳴笛監(jiān)測方法

姜博，柳小勤

（650500 云南省 昆明市 昆明理工大學(xué) 機電工程學(xué)院）

0 引言

隨著經(jīng)濟的快速發(fā)展，人們對生活品質(zhì)的追求不斷提高，使得車輛數(shù)目在逐年快速增長。違規(guī)鳴笛現(xiàn)象充斥于日常生活。車輛的違規(guī)鳴笛加劇了城市噪聲污染，也影響居民的正常生活[1]。為了提高居民生活質(zhì)量，國家頒布《中華人民共和國道路交通安全法實施條例》[2]，其中第六十二條規(guī)定，“駕駛機動車不得在禁止鳴喇叭的區(qū)域或者路段鳴喇叭”，但是通過人工監(jiān)管的方法來進行監(jiān)管違法亂紀車輛不僅效率低下且耗費大量人力物力。

麥克風陣列因其能夠精確定位出聲源被廣泛應(yīng)用于噪聲測試中[3]。為了提高對違規(guī)鳴笛車輛的監(jiān)測力度，麥克風陣列同樣被用于鳴笛檢測系統(tǒng)中。孫懋珩等[4]提出一種基于麥克風陣列聲源定位技術(shù)的城市道路汽車鳴笛定位系統(tǒng)；徐靜等[5]在聲源定位算法理論研究的基礎(chǔ)上，將麥克風陣列定位技術(shù)應(yīng)用于城市違章鳴笛車輛定位中；袁芳等[6]利用傳聲器陣列對鳴笛汽車進行聲學(xué)定位實現(xiàn)汽車鳴笛的實時抓拍；張煥強等[7]提出一種基于傳聲器陣列聲源定位算法的違章鳴笛車輛定位方法，通過實驗驗證了方法的可行性；牛鋒等[8]介紹了聲源定位技術(shù)原理與機動車鳴笛抓拍系統(tǒng)的組成及功能特點；秦朝琪等[9]提出一種聲光圖像一致及聲壓準確度的鳴笛監(jiān)測系統(tǒng)測試方法。

對違規(guī)鳴笛監(jiān)測要求提高對聲源定位的準確性與計算速度。上述文獻基于麥克風陣列傳統(tǒng)車輛鳴笛監(jiān)測方法，為搜索鳴笛聲源，需要提前設(shè)定麥克風陣列與被測車輛的距離，距離設(shè)定是否準確直接影響違規(guī)鳴笛定位的準確性。已有的鳴笛監(jiān)測系統(tǒng)對整個拍攝視野范圍內(nèi)進行聲源搜索定位，降低了對違規(guī)鳴笛監(jiān)測的效率。為了提高鳴笛監(jiān)測的準確性與效率，本文提出了一種利用雙目相機與麥克風陣列相結(jié)合的車輛鳴笛監(jiān)測方法。

1 結(jié)合雙目相機車輛違規(guī)鳴笛監(jiān)測方法原理

1.1 聲源定位原理

利用陣列進行車輛鳴笛檢測原理圖如圖1 所示?？臻g中存在M 個傳聲器組成的傳聲器陣列，存在一輛鳴笛車輛s，假設(shè)第m 號傳聲器作為參考傳聲器，其接收到的聲壓信號為Pm（t），則整個陣列信號延時求和可得到波束形成輸出結(jié)果：

圖1 車輛鳴笛定位原理圖Fig.1 Schematic diagram of vehicle whistle localization

對式（1）進行傅里葉變換，得到波束形成輸出的頻域表達式：

式中：ω——信號頻率。

當計算聲源的波束形成結(jié)果時，用互譜成像函數(shù)波束形成算法進行計算，能夠提高波束形成結(jié)果的精度?；プV波束形成表達式為

式中：Cik（ω）——互功率譜矩陣；Pi（ω）——第i 個傳聲器；Pk（ω）——第k 個傳聲器接收的聲壓信號；*——共軛轉(zhuǎn)置。

波束形成算法基本原理是根據(jù)掃描點聚焦方向?qū)﹃嚵兄宣溈孙L接收到的信號執(zhí)行延時求和確定掃描點聲壓貢獻量。聲壓貢獻量大的網(wǎng)格點即為聲源位置。如圖2 所示，進行聲源定位需要對定位平面內(nèi)的所有網(wǎng)格點進行計算，所以算法的處理效率與網(wǎng)格點數(shù)量呈反比。計算范圍內(nèi)會存在有效定位區(qū)域以及定位干擾區(qū)域，若能減小干擾區(qū)域面積則能提高定位違法鳴笛車輛的效率。

圖2 掃描網(wǎng)格示意圖Fig.2 Schematic diagram of scanning grid

1.2 雙目相機工作原理

雙目相機是模仿人眼視覺系統(tǒng)獲取視線范圍內(nèi)物體信息的一種產(chǎn)品，其主要原理是通過相機上安裝的兩個相機鏡頭從不同角度對相機視野范圍內(nèi)的同一物體進行拍攝，在各自鏡頭上會產(chǎn)生不同的物體影像，通過兩個物像間的視覺差，結(jié)合三角形測距原理能夠計算出拍攝的目標物體與雙目相機之間的距離。

雙目相機拍攝成像圖如圖3 所示。成像左側(cè)為相機正常拍攝區(qū)域為彩色圖像，右側(cè)為圖像拍攝的環(huán)境深度圖像。

圖3 雙目相機成像圖Fig.3 Image of binocular camera

對違規(guī)鳴笛車輛定位要求計算的快速性與準確性。傳統(tǒng)鳴笛檢測系統(tǒng)使用陣列對車輛進行聲源定位測試時，需要提前設(shè)定車輛與陣列間的距離以及搜索平面范圍。通過雙目相機深度圖像能夠獲得精確的距離，提高聲源定位的準確性。對環(huán)境深度圖像進行圖像分割以分離出定位有效區(qū)域，減少計算量提高聲源定位的效率。

圖像分割是進行圖像處理的基本操作。通過設(shè)定特征閾值可將被測物體從相機拍攝的視像范圍內(nèi)提取出，縮小聲源定位的搜索范圍，提高聲源搜索運算效率。由于深度圖像的每個像素點為RGB 圖像，即由紅綠藍3 個不同顏色的比例呈現(xiàn)出不同顏色。根據(jù)設(shè)定特征閾值進行目標物體分離。假設(shè)環(huán)境深度圖像每個像素點信息用函數(shù)A（ui，vi，wi）表示，函數(shù)中xi、yi和zi分別表示第i 個像素點中紅色、綠色和黃色所占數(shù)值。設(shè)置圖像分割閾值標準可將圖像分割為有效定位區(qū)域與定位干擾區(qū)域，閾值篩選條件為T（r1-r2，g1-g2，b1-b2）圖像分割函數(shù)公式為：

最終獲得分割函數(shù)C。將C 中數(shù)值等于1 的像素點坐標整理排列，即可得到需要進行聲源重構(gòu)的位置坐標，從而實現(xiàn)了有效定位區(qū)域與定位干擾區(qū)域分離。

1.3 波束形成與雙目相機結(jié)合方法

對車輛鳴笛監(jiān)測通過聲陣列與雙目相機相結(jié)合，進行鳴笛車輛的定位。將聲陣列獲取的聲學(xué)信息與雙目相機獲取的光學(xué)信息相結(jié)合會存在時間關(guān)系不匹配和聲源定位坐標不匹配2 個問題。

1.3.1 時間關(guān)系

在信息采集方面，麥克風陣列會按照采樣的時間與頻率對外界聲信號進行接收，雙目相機則是按照曝光的間隔通過每一幀進行圖像采集，因此對車輛鳴笛進行實時監(jiān)測需要將兩者信息進行時間關(guān)系的匹配，才能正確判斷鳴笛的違規(guī)車輛。

設(shè)置觸發(fā)器使麥克風陣列與雙目相機同時進行信息采集，滿足采集時間的同步性。假設(shè)相機采樣的幀率為αfps，聲信號的采樣率設(shè)置為βHz，第i 幀錄像所對應(yīng)的須進行處理的信號時間段為，具體對應(yīng)原理如圖4 所示。

圖4 圖像和信號對應(yīng)原理圖Fig.4 Schematic diagram of image and signal corresponding

通過對應(yīng)關(guān)系可將麥克風陣列采集聲學(xué)信息與雙目相機獲取的光學(xué)信息的時間關(guān)系相一致。

1.3.2 位置關(guān)系

陣列與雙目相機處在不同坐標系，進行聲源定位重構(gòu)面的點位信息應(yīng)與經(jīng)過圖像分割后雙目相機拍攝的深度圖中有效定位區(qū)域的掃描點相統(tǒng)一。

如圖5 所示，空間中存在以麥克風陣列為基準的o-xyz 坐標系，陣列中心為坐標系原點；另一個為以雙目相機為基準的o'-x'y'z'坐標系。2 個相機鏡頭連線的中點為坐標系的原點。已知經(jīng)過篩選后雙目相機坐標系中有效定位點坐標為（，，），則有效定位點在麥克風陣列坐標系中的坐標（Xi，Yi，Zi）可由式（5）表示：

圖5 麥克風陣列坐標系與相機坐標系關(guān)系圖Fig.5 Relationship between microphone array and camera coordinate system

式中：MR——旋轉(zhuǎn)矩陣，使得雙目相機坐標系分別繞X'軸、Y'軸、Z'軸旋轉(zhuǎn)角度α，β，γ后，與麥克風陣列坐標系平行；（LX，LY，LZ）T——2 個坐標系原點之間的平移向量；LX，LY，LZ——雙目相機坐標系向x、y 和z 方向移動距離，實現(xiàn)兩坐標系重合。通過坐標變換公式即可獲得在麥克風陣列坐標系中有效定位點區(qū)域的坐標，實現(xiàn)麥克風陣列與雙目相機位置關(guān)系的統(tǒng)一。

通過以上方法就可完成對車輛違規(guī)鳴笛的快速定位，其具體流程圖如圖6 所示。

圖6 鳴笛定位流程圖Fig.6 Localization flowchart of whistle monitoring

2 實驗驗證

2.1 實驗設(shè)置

選擇2 輛電動車作為實驗對象，進行車輛鳴笛監(jiān)測聲源定位實驗。實驗設(shè)備擺放如圖7 所示。實驗對象為車輛1 和車輛2，用16 元麥克風陣列和雙目相機進行信號采集，2 個設(shè)備放置于一個平面，設(shè)備中心水平距離相差0.3 m，垂直距離相差0.1 m。麥克風陣列安裝有MPA416 傳聲器，設(shè)置麥克風的采樣率為12 800 Hz，采樣時長為20 s。雙目相機為Intel RealSense D415，設(shè)置分辨率為640×360，拍攝幀率設(shè)置為30 fps。實驗總共進行3 次車輛鳴笛：（1）車輛1 鳴笛車輛2 不鳴笛；（2）車輛2鳴笛車輛1 不鳴笛；（3）車輛1 和車輛2 均鳴笛。

圖7 實驗設(shè)備擺放位置圖Fig.7 Location map of experimental equipment

2.2 實驗結(jié)果

麥克風采集結(jié)果如圖8 所示。從圖8 可以看出，信號中1～2 s 時間段為車輛1 鳴笛；信號中2～4 s時間段為車輛2 鳴笛；信號中6～10 s 時間段為2輛車同時鳴笛區(qū)間。

圖8 麥克風采集信號圖Fig.8 Image of signal collected by microphone

雙面相機采集成像圖如圖9 所示。從圖9 可以看出，車輛1 和車輛2 分別在距離雙目相機1.85 m和1.88 m 的位置。

圖9 雙目相機拍攝圖Fig.9 Image taken with binocular camera

根據(jù)方法步驟，選擇篩選條件函數(shù)T（0-180，30-254，45-254）對雙目相機采集的深度圖像進行圖像分割，經(jīng)過分割后保留定位有效區(qū)域圖像如圖10 所示。

圖10 圖像分割后深度圖像Fig.10 Depth image after segmentation

通過圖像分割后的定位有效區(qū)域中僅保留車輛區(qū)域的掃描點，去除了定位干擾區(qū)域點。以像素點為參照，深度圖像分割前與分割后得到像素點個數(shù)分別為230 400 和41 622。定位有效區(qū)域所占整個掃描平面18.06%的位置。由此可知，經(jīng)過圖像分割后定位算法計算的掃描點會減少原計算量的82%，大大提高了鳴笛監(jiān)測定位的速度。

選擇第46 幀、第91 幀、第211 幀圖像進行鳴笛監(jiān)測定位計算，3 張圖對應(yīng)信號點分別為1.500 01～1.533 30 s、3.000 1～3.033 3 s 和7.000 1～7.033 3 s 段。通過式（5）、式（6）的坐標轉(zhuǎn)換將得到定位有效區(qū)間點位坐標轉(zhuǎn)換至麥克風陣列坐標中。依照實驗設(shè)備擺放位置，式中坐標旋轉(zhuǎn)參數(shù)δ、ε和θ均為0°，坐標移動參數(shù)LX、LY和LZ分別為-0.3，-0.1，0 m。在不同畫面的新號段對定位區(qū)域點進行波束形成計算，得到定位結(jié)果如圖11 所示。

圖11 鳴笛監(jiān)測定位圖Fig.11 Localization map of honk monitoring

從定位結(jié)果圖中可以看出，第1 段信號為車輛1 鳴笛，第2 段信號為車輛2 鳴笛，第3 段信號為車輛1 和車輛2 同時鳴笛，定位結(jié)果與實驗設(shè)置相同。2 個車輛鳴笛定位時，雖能夠準確定位鳴笛車輛，2 信號間會存在信號干涉，使得出現(xiàn)干擾旁瓣影響定位效果，鳴笛信號幅值較大的車輛2 能更好地被定位。

3 結(jié)論

針對現(xiàn)有基于麥克風陣列的鳴笛車輛監(jiān)測方法存在計算效率低的現(xiàn)象，本文提出了一種結(jié)合雙目相機的車輛鳴笛監(jiān)測方法。首先通過雙目相機與麥克風陣列同時采集聲光信息，選擇適當拍攝畫面與其對應(yīng)的信號段，利用雙目相機采集深度圖像確定車輛測試距離，分割深度圖像獲取有效定位區(qū)域；利用坐標轉(zhuǎn)換公式統(tǒng)一麥克風陣列坐標系與雙目相機坐標系，最終對掃描點進行波束形成計算進行實現(xiàn)違規(guī)鳴笛聲定位。結(jié)果表明，通過深度圖像確定車輛與麥克風陣列距離能夠提高鳴笛聲定位的精確度，通過深度圖像分割提高鳴笛聲源定位的效率。進行戶外車輛鳴笛實驗，通過圖像分割減少82%的鳴笛聲定位計算量，并能夠準確定位鳴笛車輛。實驗驗證了所提方法的有效與實用性，并能廣泛推廣到交通噪聲監(jiān)測中應(yīng)用于更多場景。