基于聲音和視覺識別技術的車輛兒童乘員智能檢測系統

關鍵詞：汽車安全；兒童乘員；狀態檢測

0 前言

在當今社會，汽車已成為人們代步、運輸和地域連接的重要工具。截至2022 年12 月，我國汽車產量已連續14 年蟬聯世界第一［1］。汽車進入家庭后，兒童乘員也成為汽車交通的主要參與者。我國兒童乘員車內傷害事件頻發，已經成為導致兒童傷害的罪魁禍首之一，中國兒童乘車安全的現狀令人堪憂。因此，研究兒童乘員車內傷害類型及其預防措施，加強兒童乘員乘車安全保護已經刻不容緩。

近年來，計算機視覺技術發展飛速，在使用神經網絡、支持向量機等學習方法后［2-3］，能通過從多種開放的圖片數據庫中學習各種兒童、成人及寵物等的圖像樣本，可以較為準確地檢測車內兒童乘員的狀態，包括兒童乘員是否在目標區域（兒童座椅等約束系統）內等。在現實生活中，兒童乘員的乘車安全主要由兒童座椅進行保護，本文將聲音和視覺識別技術相融合，提出一種基于聲音和視覺識別技術的車輛兒童乘員智能檢測系統。該系統可以對車內兒童乘員的狀態進行更加精準、有效地檢測，當系統識別兒童乘員不在兒童座椅中或姿態不正確時，可以立即報警，從而在控制策略上更有針對性地對兒童進行保護。

1 智能檢測系統的組成和設計原理

1. 1 組成

該系統由聲音識別模塊、視覺識別模塊、控制模塊、約束系統檢測模塊、通信模塊、服務器和報警模塊組成。

聲音識別模塊包括音頻采集模塊、聲音識別提取模塊、年齡識別模型模塊。音頻采集模塊對聲音進行采集；聲音識別提取模塊對聲音進行處理并進行特征選擇；年齡識別模型模塊對聲音的年齡進行識別。

視覺識別模塊包括圖像采集模塊、圖像邊緣提取模塊、特征提取選擇模塊。圖像采集模塊對車內圖像進行采集；圖像邊緣提取模塊將顏色轉換成灰度值，再通過邊緣算子進行邊緣輪廓提取；特征提取選擇模塊采用矩方法提取乘員邊緣特征值，再采用微分進化算法對提取的特征值進行選擇優化，從而對兒童進行識別。

報警模塊與控制模塊連接，報警模塊在聲音識別模塊、視覺識別模塊、約束系統檢測模塊檢測識別異常的情況下進行提醒。

1. 2 設計原理

通過聲音識別模塊、視覺識別模塊和約束系統檢測模塊，對兒童乘員的乘坐情況和就坐狀態進行識別檢測。聲音識別模塊對乘客的聲音進行收集；視覺識別模塊對乘客就坐圖像進行收集識別，快速確認是否有兒童乘員就坐；約束系統檢測模塊對兒童乘員就坐的狀態和約束裝置的正常使用進行檢測識別，確保兒童乘員就坐的安全。控制模塊將檢測信息通過通信模塊發送到服務器上，便于使用者觀察兒童乘客的就坐情況；當智能檢測系統檢測到異常時，控制模塊控制報警模塊進行語音提醒，有效地提高了兒童乘客乘車的安全性。該智能檢測系統的功能示意如圖1 所示。

2 智能檢測系統的實現方法

該智能檢測系統在進行聲音識別的同時，配合視覺識別共同檢測，可以提高檢測結果的準確性和可靠性。

2. 1 聲音識別檢測

通過聲音識別對車內兒童乘員狀態進行檢測，本質上是身份識別中的語音識別或說話人識別［3］，取決于兒童乘員狀態檢測的具體內容。

2. 1. 1 說話人年齡識別

針對車內兒童乘員的檢測，應更加關注于說話人年齡識別［4］。說話人年齡識別是指通過語音信號進行分析推測說話人范圍的一項技術，依據測試文本固定與否，可分為文本相關和文本無關；依據說話人的確定性，可分為特定說話人和非特定說話人。針對車內兒童乘員的說話人年齡識別，為使其能及時、全面地檢測兒童乘員的狀態，應為文本無關、非特定說話人年齡識別。

2. 1. 2 聲音識別算法系統

從實際應用的角度出發，較為完整的算法系統應該包括以下6 個步驟：① 使用麥克風／聲音傳感器采集聲音數據；② 對聲音數據進行預處理，例如將多聲道音頻轉換為單聲道、重采樣、解壓縮等；③ 音頻是長時間的流媒體，需要將有用的部分分割出來，即進行音頻事件檢測或端點檢測；④ 車內采集的數據經常是多個聲源混雜在一起，因此還需要進行聲源分離，將有用的信號分離提取出來，或至少消除部分噪聲，進行有用信號增強；⑤ 根據具體聲音的特性提取各種時域、頻域、時間-頻率域音頻特征，進行特征選擇（或特征抽取，或采用深度學習進行自動特征學習）；⑥ 送入淺層統計分類器或深度學習模型進行聲景分類、聲音目標識別或聲音目標定位。機器學習模型通常采用有監督學習、需要事先用標注好的已知數據進行訓練。

采用卷積神經網絡（CNN）和循環神經網絡（RNN）等深度學習方法，用全連接層（FC）進行連接，可以在聲音識別中高效地將聲音樣本分類，并根據樣本學習的結果，對樣本庫中未記錄的聲音進行高效、準確地年齡識別，從而有效地檢測車內兒童乘員。兒童乘員聲音識別流程如圖2所示。

CNN 和RNN 為分為正向傳播和反向傳播2 個部分［4］，其中RNN 的激活函數多采用雙目正切函數（tanh）。進行兒童/成人的年齡識別任務時，采用以CNN 作為判別模型，將音頻量化為矩陣，再對這些矩陣進行識別的方案。而在樣本庫中兒童聲音數據不足的情況下，還可以采用文本轉換語音（TTS）技術，調整音高、音色等聲音要素，模擬生成一批兒童音頻作為數據擴充，增強多樣性。考慮到輸入的是連續的時序性數據，以及聲音信號每個時刻互相的關聯性，可以后接RNN 形成雙向循環神經網絡。

2. 2 視覺識別檢測

基于視覺檢測的車內兒童檢測系統，是指根據采集到的圖像所包含的相似信息，運用邊緣輪廓提取等模式識別方法，以提取出車內乘員人體的形狀、輪廓，然后通過模式識別或模式匹配等方法進行乘員類型的判別。由于兒童在乘員類型中屬于體型最小，在汽車座椅上的高度、形狀和輪廓等信息具有鮮明的特征，因此使用計算機視覺技術對兒童乘員類型進行識別，在原理上具備可行性和一定的準確率。

2. 2. 1 乘員圖像邊緣輪廓提取

攝像機等圖像采集設備得到的是彩色RGB圖像，其由紅色（R）、綠色（G）和藍色（B）3種顏色組成，每種顏色使用8 bit位表示，即每個像素需要24 bit 位。在提取邊緣輪廓時往往將R、G、B三種顏色轉換成灰度值，以減小計算量和保證算法的快速實時性，3 種顏色與灰度值（Y）的對應關系為：

Y = 0.299Y_R + 0.587Y_G + 0.114Y_B （1）

式中：YR、YG、YB分別為紅色、綠色、藍色的RGB 顏色取值。

在邊緣輪廓提取前，不僅需要將3種顏色轉換成灰度值，還需要提取乘員圖像中感興趣窗口（ROI）以降低運算量和減少無用信息的干擾；同時，需要使用線性濾波、加權均值濾波和中值濾波等方法去除高頻噪聲，進行圖像增強，如圖3所示。

2. 2. 5 微分進化算法

在利用智能檢測裝置提取兒童乘員邊緣檢測的特征值時，需要準確、全面地表征兒童乘員的輪廓特點，使用上述矩方法提取到的特征值可能會存在相關性和疊加性，導致維數較多、運算量較大，因此需要對目標特征值進行選擇和優化。可使用的特征選擇方法有全局最優搜索策略、啟發式搜索策略和隨機搜索策略等，針對兒童乘員邊緣檢測可使用隨機搜索策略中的微分進化算法［5］。

作為基于進化算法的模擬自然界進化過程的隨機搜索優化算法，微分進化算法具有收斂速度快、可調參數少、魯棒性好、全局尋優能力強的特點。其主要步驟包括：① 初始化原始種群；② 執行變異操作，生成變異向量；③ 進行交叉操作，對目標向量和變異向量進行交叉選擇，生成實驗向量；④ 制行選擇操作；⑤ 迭代上述步驟，直至滿足誤差要求或達到最大迭代次數。

3 應用分析

依據說話人年齡識別和視覺邊緣檢測分別搭建聲音識別單元和視覺識別單元，并使用支持向量機等相應的樣本學習、訓練方法，使其均具備檢測車內兒童乘員狀態的功能。視覺識別單元可以布置在前擋風上端、天窗和前排座椅頭枕后部，而聲音識別單元可以在車內多處布置，以保證充分采集乘員聲音信息。通過聲音和儀表盤提示單元、通信單元對駕駛員給予報警提醒，并可以配合兒童座椅上的檢測單元，實現兒童乘員就坐和約束系統使用情況的同步。

該智能檢測系統工作的具體預期情景主要有：

（1） 情景0。聲音識別模塊在車內采集并識別到兒童乘員的聲音，視覺檢測模塊在目標范圍內檢測到兒童乘員的存在，在駕駛員儀表盤上進行圖標提示，同時進行諸如“有兒童乘坐，請注意保護”等語音提醒.

（2） 情景1。在全球定位系統（GPS）檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內采集并識別到兒童乘員的聲音，視覺檢測模塊在目標范圍也檢測到兒童乘員在相應的兒童安全座椅上，兒童約束系統檢測模塊也檢測到就坐信息，則減少駕駛員儀表盤上的圖標提示。

（3） 情景2。在GPS 檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內采集并識別到兒童乘員的聲音，但視覺檢測模塊在目標范圍未檢測到兒童乘員，則在儀表盤上進行圖標提示，并進行如“ 兒童未坐于安全座椅上”等語音提醒。

（4） 情景3。在GPS 檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內采集并識別到兒童乘員的聲音，視覺檢測模塊在目標范圍也檢測到兒童乘員，但兒童約束系統檢測模塊未檢測到就坐信息，則在儀表盤上提示，并進行“兒童未坐于安全座椅上”等語音提醒。

以上情景的檢測模擬情況見表1。

車內兒童乘員智能檢測系統的設計應至少包含以上使用情景，并根據實際需要進行預期情景細分和具體功能的調整。

4 結語

本文介紹了基于聲音和視覺識別技術的車輛兒童乘員智能檢測系統，該系統可以確定車內兒童乘員的狀態和汽車兒童約束系統的使用情況。情景0 檢測到有兒童乘員，便在駕駛員儀表盤上進行圖標提示，同時進行諸如“ 有兒童乘坐，請注意保護”等語音提醒；情景1 檢測到兒童乘員在相應的兒童安全座椅上，兒童約束系統檢測模塊也檢測到就坐信息，則減少駕駛員儀表盤上的圖標提示；情景2 檢測到有兒童乘員，但未檢測到兒童在安全座椅目標范圍內，則在儀表盤上進行圖標提示，并進行如“兒童未坐于安全座椅上”等語音提醒；情景3檢測到兒童乘員在安全座椅目標范圍內，但未檢測到就坐信息，則在儀表盤上提示，并進行“兒童未坐于安全座椅上”等語音提醒。

根據設計情景進行對應的提示和警告，且通過本地車載單元對檢測數據進行記錄，便于進行后續數據分析、樣本學習和更高級別的駕駛員提示。