基于紅外標記視覺的安全帶佩戴規范性檢測

鐘銘恩，黃 偉，溫程璐，黃 波，黃杰鴻

(1.廈門理工學院機械與汽車工程學院，廈門 361024；2.福建省客車先進設計與制造重點實驗室, 廈門 361024； 3.廈門大學信息科學與技術學院，廈門 361005)

?

基于紅外標記視覺的安全帶佩戴規范性檢測

鐘銘恩1，2，黃 偉1，溫程璐3，黃 波1，黃杰鴻1

(1.廈門理工學院機械與汽車工程學院，廈門 361024；2.福建省客車先進設計與制造重點實驗室, 廈門 361024； 3.廈門大學信息科學與技術學院，廈門 361005)

針對安全帶佩戴規范性仍未引起充分重視的現實問題，借助具有紅外敏感表面涂層標記的三點式安全帶，基于標記視覺和圖像處理技術提出一種安全帶佩戴規范性的集成檢測方法：利用增強現實技術快速識別定位安全帶標記，在此基礎上分別設計數量閾值算法、模糊聚類閾值算法、曲線擬合松弛度算法和肩部外輪廓交點定位算法，用以進行安全帶是否佩戴和佩戴形式、松緊程度、高低位置是否規范等4種判斷，從而實現安全帶是否規范佩戴的檢測目標。實驗結果表明，在各種成像條件和圖像背景干擾下，對應上述4種判斷的識別準確率分別為95.4%，93.1%，79.5%和85.3%，而安全帶佩戴規范性的綜合識別準確率達89.5%，驗證了所提出算法的準確性、有效性和適應能力。

安全帶檢測；佩帶規范性；標記視覺

前言

安全帶被譽為車輛安全技術最偉大的發明之一，是車輛乘員約束系統中最有效的保護裝置，在車輛發生交通事故時可大幅降低車載乘員的致死率和致傷率[1]。為督促車輛乘員佩戴安全帶，安全帶佩戴智能檢測技術成為車輛安全領域的一大研究熱點。現有研究主要可分為直接檢測和間接檢測兩類。直接檢測中最普遍的當屬文獻[2]中提出的基于安全帶卡槽傳感信號的方案，此外也誕生了諸如基于安全帶伸縮長度[3]、受力狀態[4]等信息的檢測方案。直接檢測技術是當前應用的主流，但當面對駕駛員各類安全帶作弊行為時檢測準確率將受影響[5]。近年來，基于車載視覺和圖像處理的間接檢測方案由于具有防作弊、結構簡單、易于集成擴展、不干擾駕駛員等優點而備受重視，成為當前安全帶佩戴檢測技術研究的焦點之一[1,6]。文獻[7]中借助具有反光性能的安全帶提出了一種安全帶佩戴與否和扭曲佩戴的圖像檢測技術；文獻[8]中利用灰度積分投影原理成功提取安全帶幾何特征并實現了一種佩戴識別率達83.6%的檢測方案；文獻[9]中基于Adaboost算法并通過高斯混合模型實現了安全帶區域的精細定位識別[9]。這些研究成果對于提高車載乘員的安全帶佩戴率具有積極意義，但也受到一些實際問題的制約，例如采用Hough直線變換來提取安全帶軌跡默認圖像中的安全帶為直線纏繞車載乘員身體，而實際多為曲線纏繞；又如基于安全帶斜率和投影等特征信息的檢測方案的準確率容易受駕駛員體型變化(常見于更換駕駛員)、座椅位置調整等因素的影響[10]。

此外，現實中安全帶佩戴情況并不能簡單地劃分為佩戴與不佩戴問題，還包括佩戴的規范性問題。安全帶在已佩戴但佩戴不規范時乘員約束保護作用將減弱，甚至可能反而成為車載乘員的傷害來源[6,11-12]。現有關于安全帶佩戴的檢測技術研究大都針對安全帶是否佩戴問題，而對于安全帶佩戴是否規范問題(如形式錯誤、松緊不適、高低不當等)則重視不足。隨著我國道路交通安全法規的普及，大部分車輛乘員都能認識到佩戴安全帶的重要性，但對于佩戴是否符合規范則普遍缺乏常識或意識。

為正確、有效地使用三點式安全帶，本文中基于車載視覺技術，借助具有紅外敏感表面涂層標記的三點式安全帶，提出一種安全帶佩戴規范性檢測方案，并詳細實現了各類圖像處理算法。

1 系統設計

系統設計如圖1(a)所示。由于人體對紅外光具有不敏感性，本文中采用紅外成像方案。這一方面能夠避免光源對駕駛員造成駕駛干擾，另一方面有利于克服光照條件變化引起的圖像成像質量下降問題。該安全帶系統的顯著特征在于安全帶上每隔一段距離d印制一個紅外敏感表面涂層標記(Marker)。標記的圖案可自行定義，圖1(b)給出了幾種參考標記。處理器針對紅外成像系統采集的圖像進行處理和特征提取，據此判斷安全帶的佩戴情況并進行必要的提醒。

圖1 安全帶檢測車載紅外視覺系統

圖2(a)和圖2(b)分別為系統所拍攝的實際駕駛過程中駕駛員身穿方形網格迷彩服的強背景干擾和夜間弱光環境下的灰度圖像。由圖可見，圖像中安全帶標記的像素信息識別度好，有利于減少圖像處理任務量，提高算法效率和抗干擾能力。

圖2 不同光照條件下的駕駛過程圖像

2 檢測流程

安全帶佩戴規范性檢測流程如圖3所示。

圖3 基于標記識別的安全帶規范化檢測流程

當系統獲得一幅紅外圖像后，首先進行灰度化和降噪處理，然后快速識別定位所有標記，最后根據標記的數量、分布和曲線擬合等信息實現安全帶佩戴的形式、松緊程度和高低位置的參數識別，判斷安全帶佩戴是否符合規范。其中Q1～Q5為判斷閾值，MN為肩部外輪廓特定區域，這些參數將在后面詳細說明。

3 算法設計

本文中獲取的原始紅外圖像為RGB三通道模式，為降低圖像處理數據量，對圖像進行8位單通道的灰度變換：

式中：V為像素灰度值；r，g和b根據文獻[13]中的推薦分別取值為0.299，0.587和0.114。灰度化后，應用3×3模板進行高斯濾波降噪。

3.1 標記識別定位

標記的有效識別定位是本文中提出的安全帶佩戴規范性檢測的前提。為此，借鑒文獻[14]中提出的基于標記的相機姿態估計和文獻[15]中提出的基于標記的車輛引導的算法經驗，以文獻[16]中提出的增強現實標記識別開源算法為基礎，結合紅外圖像的特點在不影響識別準確性的前提下進行算法融合并刪選精煉，獲得一種標記的快速識別和跟蹤定位算法，效果如圖4所示。圖中，所有被正確識別定位的標記都將以標記中心坐標為基點繪制出符號“×”。

圖4 安全帶標記的快速識別與定位效果

為進一步驗證標記識別定位算法的有效性，在車載乘員分別穿著白色T恤、方形網格襯衣和迷彩服，于白天、黑夜等不同光照條件下，采集1 200張640×480像素精度的紅外圖像，獲得離線測試圖像集合P1200。利用上述標記識別定位算法對P1200進行處理，結果顯示標記識別定位成功率達96.8%。特別當有頭發、衣物、手臂等對安全帶標記進行部分遮擋時，算法識別定位出的標記依然具有相當的規模。不足之處是，安全帶的拐點和末端的標記由于變形相對嚴重而很難被識別定位(如圖4符號“○”圈圍的標記)。

3.2 安全帶佩戴與否檢測

統計已被識別定位的安全帶標記的總數N。一種安全帶佩戴與否的簡單判定算法為

(2)

IF=1指示乘員佩戴了安全帶，IF=0指示乘員未佩戴安全帶。判定閾值Q1為與標記印刷間隔和安全帶拉伸長度有關的參考值。考慮到安全帶拉伸長度受乘員的體型(以體質量為表征)影響較大，本文中在實際測試數據基礎上引入Q1參考值：

(3)

式中：函數Ceiling(·)用于取上整數；d為標記間距，m；w為乘員體質量，kg；ρ1稱為全局尺度系數。

當d=0.08m和ρ1=0.005時，針對離線圖像集P1200進行安全帶佩戴與否檢測的部分結果如圖5所示。

圖5 安全帶佩戴檢測結果

3.3 安全帶佩戴形式檢測

本文中所指的安全帶佩戴形式為兩點式佩戴與三點式佩戴，其中兩點式又分為斜拉式和橫拉式，分別對應乘員僅將安全帶肩帶部分斜跨在胸前(僅佩戴肩帶)或者僅將安全帶腰帶部分橫跨在腰腹(僅佩戴腰帶)的行為。安全帶正確佩戴應為三點式，兩點式佩戴屬于一種不規范佩戴。

為實現安全帶佩戴形式的檢測，提出如下模糊聚類判定法(以圖像左上定點為坐標原點)。

步驟1：模糊標記提取。針對所有已識別定位的標記Pi(i=1，…，N)，根據標記中心的像素橫坐標xi進行排序，截取xi最小的k個標記Ci(i=1，…，k)并歸類為模糊標記。其中：N為標記總數；k=Ceiling(ω·N)為模糊寬度；ω稱為模糊系數。

步驟3：肩帶標記和腰帶標記聚類。遍歷所有非模糊標記，如果當前標記的像素縱坐標小于聚類上閾值y1，則歸類為肩帶標記，記為Ai(i=1，…，n)；如果當前標記的像素縱坐標大于聚類下閾值y2，則歸類為腰帶標記，記為Bi(i=1，…，m)。

步驟4：根據參數n和m判斷安全帶佩戴形式，規則如表1所示。

表1 安全帶佩戴形式判斷規則

表1中，判定閾值Q2和Q3與Q1具有相似的計算公式：

(4)

(5)

式中ρ2和ρ3分別稱為肩帶尺度系數和腰帶尺度系數。

將以上聚類處理后可能存在的仍未被劃分類別的標記統一歸類為殘余標記，記為Di(i=0，…，r)，其中r為殘余標記總數。顯然，N=n+m+k+r。定義殘余系數γ=r/N，其值與ω，α和β有關。為充分利用所有已識別標記的信息，使算法具有較高的精度和抗干擾能力，γ值不宜過大。此外，考慮到D類標記的存在，為避免錯檢，要求Q2+Q3>Q1，即在選擇尺度系數時要求ρ2+ρ3>ρ1。

當d=0.08m,ρ1=0.005，ρ2=0.006,ρ3=0.005,ω=0.2,α=0.9,β=1.1,γ<0.03時，針對離線圖像集P1200進行安全帶佩戴形式檢測的部分結果如圖6所示。

圖6 安全帶佩戴形式檢測結果

3.4 安全帶佩戴松緊程度檢測

車輛發生碰撞事故時，如果安全帶佩戴過松則約束保護作用將降低。

觀測經驗表明，張緊的肩帶一般呈現為近似直線，而張緊的腰帶多呈現為圓滑的弧線。如果分別根據肩帶標記和腰帶標記的中心進行曲線擬合，則當安全帶處于張緊狀態時擬合誤差將相對較小，據此可檢測判斷安全帶佩戴的松緊程度是否規范。

針對肩帶部分，可根據肩帶標記Ai(i=1，…，n)的中心坐標進行最小二乘直線擬合，記擬合直線為L1，獲得擬合誤差指標為

(6)

為避免誤差指標受標記數量n和標記間距d的影響，進一步定義肩帶規范化松弛度：

(7)

式中lA為肩帶擬合直線的長度。

針對腰帶部分，考慮到由于攝像頭位置和乘員身體移動等原因造成腰帶弧線無論在現實或圖像中都可能存在一定的空間旋轉，采用圓錐曲線L2進行腰帶擬合，擬合方程為

(8)

圖7 安全帶松緊程度檢測結果

記腰帶的擬合誤差指標為E2，定義腰帶規范化松弛度：

(9)

式中lB為腰帶擬合曲線的長度。

最后，安全帶松緊程度判斷規則如表2所示。

閾值Q4和Q5決定了安全帶松緊程度判斷的靈敏度。圖7為Q4=0.05和Q5=0.05時，利用離線圖像集P1200進行安全帶佩戴松緊程度檢測的部分結果。

表2 安全帶佩戴松緊判斷規則

3.5 安全帶佩戴高低位置檢測

當車輛發生碰撞時，若安全帶佩戴過低則容易因為安全帶滑脫而起不到良好的乘員約束保護作用；若安全帶佩戴過高則安全帶可能傷害乘員的頸部。佩戴過高或過低都屬于佩戴不規范。

根據肩帶擬合直線與乘員肩部外輪廓線的位置關系可判斷安全帶佩戴高低位置是否合適，詳細原理如圖8所示。具體步驟如下。

圖8 安全帶佩戴高低位置判斷原理圖

步驟1：提取乘員肩部外輪廓擬合直線L3。

步驟2：計算肩帶擬合直線L1與肩部外輪廓線L3的交點O。

步驟3：根據交點O與肩部有效區域MN的位置關系判斷安全帶佩戴高低位置是否合適。

圖9 安全帶佩戴高低位置檢測結果

有效區域MN對于檢測結果有直接影響，與乘員體型等因素有關。基于算法仿真對比結果，本文中將其設置為駕駛員肩部外輪廓的中間1/3區域。圖9為利用離線圖像集P1200進行安全帶佩戴高低位置檢測的部分結果。

4 實驗驗證

為驗證上述算法的適應能力和準確性，招募20位駕駛員，依次穿著普通T恤、常規襯衫、方格襯衣和迷彩服，分別開展白天和夜間駕駛實驗。前兩種服裝用于構造標記安全帶的簡單背景；而后兩種服裝則用于構造復雜背景，目的在于增加標記識別的干擾。如此共可設置4種實驗環境：白天簡單背景、白天復雜背景、夜間簡單背景和夜間復雜背景。每種實驗環境下，分別部署9種安全帶佩戴情況：未佩戴、僅佩戴肩帶、僅佩戴腰帶、肩帶松弛、腰帶松弛、肩腰帶松弛、佩戴過高、佩戴過低和規范佩戴。其中，安全帶松弛狀態由過度拉伸后采用夾子固定獲得；佩戴過高或過低則通過調整安全帶高低調節裝置實現。于是，針對每位駕駛員可獲得36種實驗條件。對應每種實驗條件，要求駕駛員連續駕駛車輛10min，每分鐘隨機間隔采集5張紅外圖像，像素分辨率為640×480。如此共可獲得這20位駕駛員分別在36種實驗條件下的實車駕駛紅外圖像樣本共計36 000張。實驗車輛為一汽大眾2008年生產的寶來轎車，在原車安全帶上加貼紅外敏感表面涂層標記圖案，相鄰標記中心間隔d=0.08 m。

在參數ρ1=0.005,ρ2=0.006,ρ3=0.005,ω=0.2,α=0.9,β=1.1，γ<0.03和MN取為肩部外輪廓中間1/3段的條件下，安全帶佩戴檢測情況分別如表3～表7所示。

以上統計結果表明：

(1) 由于應用了紅外敏感表面涂層標記安全帶和紅外成像技術，駕駛員的服裝等背景信息對檢測準確率影響不大，說明算法具有較好的抗干擾能力；

(2) 針對安全帶佩戴與否、佩戴形式和松弛程度的檢測，夜間準確率比白天高，這是因為采用紅外成像技術使夜間駕駛時安全帶標記信息量的圖像占比相對白天更高；而針對安全帶佩戴高低位置的檢測，白天準確率比夜間高，這主要是受駕駛員肩部外輪廓線的影響，其在光線充分的白天更容易獲取；

表3 白天簡單背景下的安全帶佩戴檢測情況

表4 白天復雜背景下的安全帶佩戴檢測情況

表5 夜間簡單背景下的安全帶佩戴檢測情況

(3)安全帶松緊程度的檢測準確率在所有檢測項目中最低，僅為79.5%，這主要是因為安全帶在圖像中可能存在旋轉扭曲，使標記軌跡偏離現實情況，導致誤判率升高；

表6 夜間復雜背景下的安全帶佩戴檢測情況

表7 綜合實驗條件下的安全帶佩戴檢測結果

(4) 安全帶佩戴與否和佩戴規范性檢測的綜合準確率分別為95.4%和89.5%，且在各種實驗條件下穩定性較好，這說明本文中提出的基于標記視覺的檢測算法具有較高的準確率和較好的適應能力。

5 結論

本文中借助印刷紅外敏感表面涂層標記的安全帶，基于紅外車載視覺和數字圖像處理技術，詳細設計了安全帶佩戴與否、佩戴形式、松弛程度和高低位置的檢測算法，綜合實現了車載乘員安全帶佩戴與否和佩戴規范性的檢測目標。實驗結果驗證了設計算法的準確性、有效性和適應能力。

存在的問題主要是針對安全帶松緊程度的檢測準確率不高，且由于夜間駕駛環境下乘員肩部外輪廓線的擬合誤差較大導致安全帶高低檢測的準確率不理想。此外，所提各類檢測算法中的全局尺度系數ρ1、肩帶尺度系數ρ2、腰帶尺度系數ρ3、模糊系數ω、上下邊界系數α與β、殘余系數γ和區域MN的選取范圍對于檢測結果有何影響、如何優化等問題仍未探明，本文中選用的參數主要根據現有測試仿真對比進行經驗取值。今后將針對這些問題繼續進行研究。

[1] World Health Organization. Global status report on road safety: Supporting a decade of action[M].Geneva: WHO Press, 2013.

[2] INAYOSHI M, ENOMOTO A, FUJII H. Seat belt warning device: US8285455B2[P]. 2010-6-25.

[3] 李仲興，王吳杰，琚龍玉，等. 一種新型安全帶提醒裝置：201310162614.5[P].2013-07-01.

[4] 惠輝，楊國都，潘震，等. 防作弊安全帶報警裝置、報警器總成、安全帶總成及車輛：201420571397.5[P].2014-09-30.

[5] 俞學群，武陽豐. 機動車安全帶的作用、使用現狀及干預策略[J]. 中國預防醫學雜志，2008，9(5)：439-442.

[6] 胡滿江. 基于車載機器視覺的安全帶識別方法研究[D]. 鎮江：江蘇大學，2014.

[7] LEVY U. Vision-based seat belt detection system: US20070195990A1[P].2007-2-15.

[8] 葛如海，胡滿江，符凱. 基于灰度積分投影的安全帶佩戴識別方法[J]. 汽車工程，2012，34(9)：787-790.

[9] 陳雁翔，李賡. 基于Adaboost的安全帶檢測系統[J]. 電子測量技術，2015，38(4)：123-127.

[10] ABU-ZIDAN F M, ABBAS A K, HEFNY A F,et al. Effects of seat belt usage on injury pattern and outcome of vehicle occupants after road traffic collisions: prospective study[J]. World Journal of Surgery, 2012, 36(2):255-259.

[11] CARTER P R，MAKER V K . Changing paradigms of seat belt and air bag injuries: What we have learned in the past 3 decades[J]. Journal of the American College of Surgeons, 2010, 210(2): 240-252.[12] 馬偉杰，逯艷博，朱海濤. 安全帶非正常佩戴位置對假人胸部壓縮變形量的影響[J]. 汽車安全與節能學報，2014，5(1)：65-69.

[13] 張銘鈞，李煊，王玉甲. 基于灰度化權值調整的水下彩色圖像分割[J]. 哈爾濱工程大學學報，2015，36(5)：707-713.

[14] GARRIDO J S, MUOZ S R, MADRID C F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47(6):2280-2292.

[15] LEE Jeisung, HYUN Chang-Ho, PARK Mignon. A vision-based automated guided vehicle system with marker recognition for indoor use[J]. Sensors,2013,13(8):10052-10073.

[16] KURPYTé D, NAVAKAUSKAS D. Anefficiency analysis of augmented reality marker recognition algorithm[J]. Electrical, Control and Communication Engineering, 2014, 5(1):54-60.

Detection on Proper Wearing of Seat Belt Based on Infrared Mark Vision

Zhong Mingen1，2, Huang Wei1, Wen Chenglu3, Huang Bo1& Huang Jiehong1

1.SchoolofMechanicalandAutomotiveEngineering,XiamenUniversityofTechnology,Xiamen361024;2.FujianProvincialKeyLaboratoryofBusAdvancedDesignandManufacture,Xiamen361024;3.SchoolofInformationScienceandEngineering,XiamenUniversity,Xiamen361005

In view of the problem that whether seat belt is properly used or not haven’t yet attracted sufficient attention, an integrated detection method of the proper use of seat belt is proposed by means of the three-point safety belt with infrared-ray-sensitive coat marks and based on mark vision and image processing technologies: Augmented reality technology is used to rapidly identify and locate the marks on seat belt, based on which the algorithms of number threshold, fuzzy clustering threshold, curve fitting relaxation and shoulder profile intersection locating are developed respectively to conduct four judgments of weather seat belt is used or not, the wearing forms of seat belt, belt tightness and belt height, and hence achieve the detection goal of the proper use of seat belt. Experiment results show that under various image forming conditions and image background interferences, the identification accuracies of the algorithms used corresponding to above mentioned four judgments are 95.4%, 93.1%, 79.5% and 85.3% respectively with an overall identification accuracy of 89.5%, verifying the correctness, effectiveness and adaptability of the algorithms proposed.

seat belt detection; proper use of seat belt; mark vision

10.19562/j.chinasae.qcgc.2017.07.006

*國家自然科學基金(61104225)和福建省自然科學基金(2015J01672)資助。

鐘銘恩，副教授，博士，E-mail：zhongmingen@xmut.edu.cn。

原稿收到日期為2016年7月4日，修改稿收到日期為2016年9月23日。