模擬駕駛實驗中同步裝置設計及實驗教學應用

曾 超，王文軍，陳朝陽，張超飛，成 波

（1. 石河子大學 機械電氣工程學院，新疆 石河子 832003；2. 清華大學 汽車安全與節能國家重點實驗室，北京 100084；3. 韋恩州立大學 生物醫學工程系，美國 密歇根 底特律 MI 48201）

隨著經濟的持續快速增長，我國的汽車保有量已從1985 年的321.1 萬輛增加到2017 年的2.17 億輛[1-2]。與此同時，道路交通事故頻發[3]。為了確保人—車—環境系統的安全運行，對駕駛體驗進行研究十分必要[4]。由于涉及交通安全和倫理問題，通過實車實驗進行相關研究具有一定難度。招募駕駛員進行模擬駕駛實驗成為一種安全性高、再現性好、可開發性強且成本低的替代方案[4-5]。大量汽車公司和科研機構均開發或引進了駕駛模擬器[5-7]。

模擬駕駛實驗過程中通常需要使用不同設備同時采集多種數據，如車輛行駛數據、視頻數據和駕駛員生理數據。如何確保這些數據在長時間實驗過程中的準確同步是實驗設計階段需要考慮的重要問題。Awais等[8-9]通過模擬駕駛實驗，提出了一種基于生理信號特征的駕駛員疲勞檢測方法。郭孜政等[10]通過模擬駕駛實驗，探究疲勞對駕駛員行為監控能力的影響。郭鳳香等[11]通過模擬駕駛實驗，分析了老年駕駛員進入道路交叉口的視覺特征。上述研究均未說明實驗過程中采用的數據同步方法。

清華大學汽車安全與節能國家重點實驗室成波教授領導的智能駕駛課題組長期從事汽車主動安全方面的研究，取得了一系列研究成果[12-14]。

1 實驗設備

課題組近期開展了研究駕駛員疲勞狀態生理信號特征的模擬駕駛實驗。本文以該實驗為例，介紹與同步裝置有關的各種設備，包括MP150 系統、攝像頭和駕駛模擬器。

MP150 系統（Biopac，Goleta，美國）通常被稱為Biopac 生理儀，該系統是基于計算機的數據采集系統。通過MP150 系統采集駕駛員模擬駕駛作業過程中的心電、腦電和皮電等生理信號，并確保該系統采集的生理信號與攝像頭采集的面部視頻信號，以及由駕駛模擬器采集的車輛行駛數據嚴格同步。實驗中使用的 MP150 系統組件包括：（1）數據獲取單元MP150A-CE；（2）通用接口模塊UIM100C；（3）用于記錄皮電和光電容積脈搏波的BioNmoadix 發射器和接收器套件BN-PPGED；（4）用于記錄心電和呼吸波的BioNomadix 發射器和接收器套件BN-RSPEC；（5）用于采集、保存和分析數據的AcqKnowledge 4.2軟件。本實驗使用的MP150 系統組件如圖1 所示。

通過智能無線攝像頭記錄駕駛員作業過程中的面部視頻，同時記錄光脈沖形式的自動同步信號和手動同步信號。該型攝像頭帶有紅外補光裝置，在環境光線較暗時自動補光。該攝像頭可將錄制的視頻文件以“.mp4”格式保存在TF 卡上。攝像頭焦距為4 mm，視頻幀率為19，圖像分辨率為1280×960 像素，圖像位深度為24 bit。

實驗在日本無線株式會社生產的6 自由度駕駛模擬器（見圖2）上完成。該設備由視景模擬系統、聲響模擬系統、觸感模擬系統、車輛運動模擬系統、車輛動力學仿真計算及中央控制平臺等組成，綜合運用計算機、自動控制、三維圖像、模擬音響、虛擬現實等先進技術。根據駕駛員當前的操作，快速計算下一時刻的交通場景、汽車運動狀態、汽車內的聲響環境，以及汽車方向盤和制動器的反力，實時再現交通環境場景、交互駕駛員運動感覺和操作感覺。該設備配置有模擬輸入端，可同步記錄外部輸入的電壓信號。該設備同時還可記錄實驗過程中自車速度、方向盤角度等車輛行駛數據。各數據的采樣頻率均為60 Hz。

圖2 駕駛模擬器

2 各設備的放置及同步裝置設計

從放置設備的角度考慮，駕駛模擬器可分為5 個部分，即車輛運動系統（包括駕駛艙）、動力與控制系統、投影顯示系統和設備操作系統。MP150 系統由主機部分、數據采集部分和電腦組成。主機部分包含MP-150-CE、UIMM100C、BN-PPGED 和BN-RSPEC接收器。數據采集部分包含BN-PPGED 和BN-RSPEC發射器。電腦安裝有AcqKnowledge 4.2 軟件，并通過網線與MP-150-CE 相連，具有控制MP150 系統開始/停止數據采集、顯示和保存數據等功能。

本實驗中，某套設備及其各部分的放置需考慮下列幾個方面：（1）駕駛模擬器的各個組成部分不能移動；（2）MP150 系統數據采集部分和主機部分之間的距離越近越有利于數據的準確傳輸；（3）同步裝置中的發光二極管D1 和D2 需放置在攝像頭視野范圍之內；（4）確保實驗過程中實驗員可方便地操作設備以順利完成實驗。

同步裝置樣機見圖3。3.5 mm 音頻頭P1、P2 和P3 接入通用接口模塊UIM100C，P1 接入模擬輸出端，P2 和P3 分別接入模擬輸入端1 和模擬輸入端2。T1為端子線，接入駕駛模擬器的模擬輸入端。發光二極管D1 和D2 置于攝像頭的視野范圍。該同步裝置包括自動同步信號發生裝置和手動同步信號發生裝置。自動同步信號發生裝置包括P1、P2、T1 和D1，其工作原理：通過設置AcqKnowledge 軟件，使得UIM100C工作時在模擬輸出端產生周期為4 s 的方波信號，作為自動同步信號，該信號同時送到 UIM100C 的模擬輸入端1、駕駛模擬器的模擬輸入端及發光二極管D1，使得3 類數據具有相同的參考時鐘脈沖。

圖3 同步裝置樣機

為了更加方便地標記實驗過程中“實驗開始”和“實驗結束”等關鍵事件，利于后繼分析，設計了手動同步信號發生裝置。該裝置包括電池V、開關K，發光二極管D2 和音頻頭P3。其工作原理如下：當實驗員按下開關K 時，UIM100C 的模擬輸入端2 接收的輸入電壓為4.5 V，同時發光二級管D2 被點亮；松開開關K 時，模擬輸入端2 收到0 V 電壓，D2 熄滅，這樣就形成了手動同步信號。圖4 示出了同步裝置中D1、D2 與攝像頭之間的相互關系，箭頭指明D1 和D2 位置。

圖4 不同視角下駕駛艙中的同步裝置部件

模擬駕駛實驗室共有2 層，駕駛模擬器的車輛運動系統、動力與控制系統和投影顯示系統置于第1 層，設備操作系統置于第2 層。其他設備的放置情況如下：BN-PPGED 和BN-RSPEC 發射器通過綁帶和腰包置于駕駛人身上；MP150 系統主機置于駕駛艙副駕位置；與MP150 系統配套的電腦和同步裝置的開關K 置于駕駛模擬平臺顯示與操作系統附近；同步裝置的2 個發光二極管置于駕駛艙內，同步裝置的其他部分置于駕駛艙副駕位置。

本實驗通過3 種設備記錄如下3 類數據：（1）駕駛人的生理數據（如心電、腦電等）；（2）駕駛人面部視頻數據（包含光脈沖形式的自動同步信號和手動同步信號）；（3）車輛行駛數據（包含方向盤轉角、車速等）。上述3 類數據均為離散時間序列，且在采集過程中受到不同時鐘脈沖的控制。通過時間同步裝置，可以方便地確定模擬駕駛過程中某一事件的發生時刻在不同類型時間序列中的位置。

3 實驗數據及其處理

進行數據分析之前，需要將不同設備記錄的手動同步信號和自動同步信號進行處理，提取這些信號中的時間信息。

攝像頭記錄的面部視頻如圖5(a)所示。在面部視頻中，劃分出2 個分別包含D1 和D2 的感興趣區ROI1和ROI2（見圖5(b)）。ROI1 和ROI2 的灰度值之和g1和g2 曲線見圖6。提取g1 和g2 曲線的邊沿（上升沿或下降沿）特征后，可以實現面部視頻與其他數據的同步。在實驗過程中可能由于身體較大幅度的活動導致上述曲線受到干擾。此時，需要在提取邊沿特征之前，對g1 和g2 曲線進行校正，g1 曲線校正前后如圖1 所示。

圖5 面部視頻及感興趣區的劃分示意圖

圖6 g1 和g2 曲線

圖7 包含干擾成分的g1 曲線及其校正

各設備記錄的同步信號如圖8 所示，圖8(a)為MP150 系統中記錄的同步信號，圖8(b)為面部視頻中提取的用ROI1 灰度值之和表示的同步信號，圖8(c)為模擬駕駛器記錄的同步信號。圖9 示出了相同時長（4 s）的時間片段中，攝像頭的幀數和駕駛模擬器模擬輸入端采樣點個數的波動情況，攝像頭幀數最多為81 幀，最少為74 幀；駕駛模擬器模擬輸入端采樣點數最多為244 個，最少為237 個。該圖說明了設計同步裝置的必要性。本文設計的同步裝置可以消除時間累積誤差造成的不良影響。

圖8 各設備記錄的自動同步信號

圖9 不同設備在時長為4 s 的時間片段內的采樣次數

4 結語

通過將周期為4 s 的方波同時接入Biopac 生理儀UIM100C 模擬輸入端、駕駛模擬器的模擬輸入端和面部視頻視野中的發光二極管，構成自動同步信號發生裝置。將按鍵開關的通斷信號接入各個設備，構成手動同步信號發生裝置。上述2 部分組成了模擬駕駛實驗中的同步裝置，用于避免實驗過程中由于各設備時鐘精度不一致造成的時間累積誤差，在長時間實驗中尤為實用。除了科研實驗使用外，本文還將該裝置應用于現場實驗教學中，對計劃開展模擬駕駛實驗的研究人員了解實驗環境、合理設計實驗起到了支持作用。