多特征融合的無人機控制系統(tǒng)設計與實現

周俊宇，劉亞群，章學良，王眾

（中國電子科技集團公司第十四研究所，江蘇 南京 210039）

近年來，隨著電子技術、人工智能等學科的不斷發(fā)展，無人機在諸多領域得到了廣泛應用[1-6]。如何高效、便捷地控制無人機，已成為當前的研究熱點[7-9]。腦-機接口作為一種直接通過腦電活動傳遞思維信息的人-機交互技術[10-11]，已被廣泛應用于機器人控制領域[12-15]，可幫助用戶更好地實現人-機協(xié)同。然而，在大多數的腦-機接口研究中，用戶大腦意圖的解析效果容易受到背景環(huán)境及用戶生理狀態(tài)的影響，其控制指令的數目往往較為有限。在一般的無人機控制系統(tǒng)中，飛行控制指令應包括起飛、降落、上升、下降、左移、右移、前進、后退、左旋、右旋、懸停等多個維度，因此在控制指令數目充足的基礎上，提高指令識別的準確率成為了將腦-機接口技術應用于無人機飛行控制的主要難題。

針對以上問題，文中設計了一種融合多類別腦-機接口特征、面部表情特征以及頭部動作特征的無人機控制系統(tǒng),實現了通過多種特征對無人機的聯合控制，有效提高了無人機飛行控制的指令數目和識別準確率。

1 系統(tǒng)整體設計

提出的多特征融合的無人機控制系統(tǒng)總體架構如圖1 所示。用戶的腦電信號、面部表情相關信號以及頭部動作信號被信號采集系統(tǒng)（含腦電信號傳感器和陀螺儀傳感器）采集并送入地面站，經地面站系統(tǒng)軟件分析處理后識別出用戶狀態(tài)，包括大腦意識（注意力水平、穩(wěn)態(tài)視覺誘發(fā)電位、運動想象電位）、面部表情和頭部動作，地面站軟件進而將這些用戶狀態(tài)映射為無人機的飛行控制指令并通過遙控器傳至無人機；無人機根據接收到的飛行控制指令完成相應飛行動作，并在飛行過程中將機載攝相機拍攝的視頻信息以無線通信方式傳至圖像接收系統(tǒng)，最后由圖像接收系統(tǒng)傳入地面站并顯示；用戶根據顯示的圖像信息產生新的控制意圖，通過腦電信號、面部表情相關信號或頭部動作信號再次經信號采集系統(tǒng)送入地面站，經解析后產生下一步的無人機飛行控制指令。

圖1 多特征融合的無人機控制系統(tǒng)總體架構

在多特征融合的情況下，地面站軟件可能同時解析出多種飛行控制指令，例如用戶在利用頭部動作進行指令控制時，可能會伴隨運動想象過程。因此，為了避免不同指令間的競爭而造成控制混亂，根據不同特征的解碼特點及長期試驗的結果分析，系統(tǒng)中對用戶的控制意圖進行了優(yōu)先級設置，由高到低分別為注意力水平、頭部動作、面部表情、運動想象、穩(wěn)態(tài)視覺誘發(fā)。地面站系統(tǒng)通過優(yōu)先級檢測選擇優(yōu)先級較高的用戶控制意圖并發(fā)送給無人機。

2 系統(tǒng)詳細設計

提出的多特征融合無人機控制系統(tǒng)的關鍵部分主要體現在信號采集系統(tǒng)設計、地面站控制軟件設計、注意力水平檢測、穩(wěn)態(tài)視覺誘發(fā)電位解析、運動想象電位解析、面部表情解析以及頭部動作檢測等內容。

2.1 信號采集系統(tǒng)設計

該系統(tǒng)基于八通道腦電采集設備進行腦電信號與面部表情相關信號采集，并將陀螺儀傳感器（MPU6050）固定在腦電帽表面，用于采集用戶的頭部動作信號。腦電極放置位置采用國際10-20 標準，如圖2 所示。其中，注意力水平相關的腦電信號采集通道為Fp1、Fp2，運動想象電位相關的腦電信號采集通道為C3、C4，穩(wěn)態(tài)視覺誘發(fā)電位相關的腦電信號采集通道為P3、P4、O1、O2，面部表情相關的特征信號采集通道為Fp1、Fp2、C3、C4，Cz 為參考電極，Fz 為接地信號。

圖2 腦電極放置區(qū)域示意圖

2.2 地面站控制軟件設計

地面站控制軟件的系統(tǒng)功能如圖3 所示。地面站接收信號采集系統(tǒng)的用戶控制信息并進行解析，從數據庫中選擇對應的飛行控制指令，通過遙控器接口傳送給無人機以完成無人機飛行控制。同時，地面站軟件通過遙控器以及圖像接收系統(tǒng)接收無人機回傳的飛行狀態(tài)及圖像信息，在用戶界面中進行顯示。

圖3 地面站軟件系統(tǒng)功能圖

該系統(tǒng)中地面站軟件界面主要包含七個分區(qū)，其相應的功能分別為：①標題區(qū)，顯示系統(tǒng)標題文字；②狀態(tài)顯示區(qū)，顯示無人機飛行狀態(tài)及相關參數；③菜單欄，放置菜單操作控件；④調試區(qū)，顯示運行過程中的調試信息；⑤飛行控制區(qū)，放置飛行控制操作控件及相關變量設置；⑥視頻監(jiān)控區(qū)，視頻監(jiān)控控制及顯示播放的視頻；⑦特征顯示區(qū)，穩(wěn)態(tài)視覺誘發(fā)電位特征頻譜、運動想象電位特征和面部表情特征等實時顯示。

2.3 注意力水平檢測

該系統(tǒng)首先對用戶注意力水平進行準確而快速的測量，解析出用戶實時的注意力指數。歸一化后注意力指數的取值范圍為[0,1]，如圖4 所示，且用戶的注意力水平越集中，對應的注意力指數越高。在用戶控制無人機飛行的過程中，系統(tǒng)根據實時變化的注意力指數區(qū)分用戶專注和放松兩種精神狀態(tài)。當注意力指數不小于0.8 時，認為用戶處于注意力集中狀態(tài)，其產生的飛行控制指令為有效指令，可以實現對無人機的飛行控制；當用戶注意力指數小于0.8時，如圖4 中方框圈出的部分所示，認為此時用戶處于放松狀態(tài)，產生的飛行控制指令為無效指令，無人機將進行自主巡航控制。

2.4 穩(wěn)態(tài)視覺誘發(fā)電位解析

該系統(tǒng)在融合多個腦電通道的穩(wěn)態(tài)視覺誘發(fā)電位信號特征以后，能夠有效識別出用戶根據實驗范式所誘發(fā)出的刺激信號的頻率成分，處理后的頻率特征曲線如圖5 所示。在圖5 中，f1、f2、f3、f4分別對應四種不同特征頻率的刺激源，對應線段所示數值代表該特征頻率的判斷閾值。當用戶腦電信號中某一特征頻率的幅度超過對應的判斷閾值時，即輸出相應的分類結果。在穩(wěn)態(tài)視覺誘發(fā)電位分類試驗中，分類的準確率隨著分類數目的減少而顯著提高。當刺激源數目為四類時，分類準確率為87%；當刺激源數目為三類時，分類準確率為94%；當刺激源數目僅為兩類時，分類準確率為99%。

圖5 穩(wěn)態(tài)視覺誘發(fā)電位特征頻率曲線

2.5 運動想象電位解析

該系統(tǒng)在用戶進行運動想象的過程中，可對其腦電信號中的運動想象特征進行可靠的提取和分類。當用戶分別進行左手運動想象和右手運動想象時，在腦電通道中提取的運動想象電位典型特征如圖6 所示，圖6 中方框部分分別對應左手運動想象和右手運動想象模式下的特征幅度范圍。當運動想象的識別維度為2 時，識別準確率為82%；當僅進行單個維度識別時（例如僅需識別左手運動想象），識別準確率為98%。

圖6 運動想象電位特征范圍

2.6 面部表情解析

該系統(tǒng)通過腦電傳感器采集與面部表情相關的特征信號，實現了面部表情的高精度分類，詳細說明可參考文獻[16]。當面部表情的識別維度為5 時，識別準確率為96%；當面部表情的識別維度為4 時，識別準確率為98%。

2.7 頭部動作檢測

該系統(tǒng)通過陀螺儀芯片檢測用戶的頭部動作并通過無線傳輸發(fā)送給地面站軟件進行解析。系統(tǒng)中采用的陀螺儀芯片型號為MPU6050，該芯片采集頭部動作并轉化為XYZ 三軸的角度輸出，經地面站解析后的分類結果如圖7 所示。當識別四類頭部動作時（抬頭、低頭、左轉頭、右轉頭），分類識別準確率為99%。

圖7 頭部動作分類結果顯示

3 試驗研究

為了驗證提出的多特征融合的無人機控制系統(tǒng)的有效性，文中開展了無人機飛行控制試驗研究。試驗中采用了大疆公司的M-100 型無人機作為飛行平臺，主要包括飛行控制、視覺導航傳感器和云臺相機等部分。同時，該型無人機具有對外的UART 接口，可支持添加機載設備，并提供用于二次開發(fā)的套件和通信協(xié)議，便于針對系統(tǒng)需求開發(fā)控制軟件控制其飛行。

為了獲取較高的識別準確率，根據腦電信號、面部表情相關信號以及頭部動作信號的解碼特點，該系統(tǒng)對這多種特征模式進行了擇優(yōu)搭配使用，構造了基于多種特征聯合控制無人機飛行的方法。系統(tǒng)中選用的特征模式與無人機飛行控制指令的映射關系如表1 所示（選用的頭部動作特征為四種，穩(wěn)態(tài)視覺誘發(fā)電位特征為兩種，面部表情特征為四種，運動想象電位特征為一種）。無人機飛行控制試驗在較為空曠的場地上進行，測試者根據表1 所定義的映射關系。通過大腦意圖、面部表情、頭部動作等控制模式依次對無人機發(fā)送起飛、降落、左移、右移、前進、后退、上升、下降、左旋、右旋、懸停11 種控制指令，觀察無人機是否正確執(zhí)行相應的飛行控制指令，并記錄數據。累計測試50 組數據后（所有指令循環(huán)一次為一組），得到的飛行控制指令準確率如表1 所示。通過計算可以得出，在滿足無人機11 個飛行維度的條件下，文中試驗的綜合控制準確率為96.4%，表明了提出的多特征融合無人機控制系統(tǒng)可以實現對無人機高效而準確的控制。

表1 無人機飛行控制指令映射關系及控制準確率

4 結束語

文中設計了一種融合腦電信號、面部表情相關信號、頭部動作信號等多類特征實現對無人機聯合控制的系統(tǒng)，介紹了該系統(tǒng)的總體設計方案及關鍵部分設計，開展試驗研究驗證了該系統(tǒng)在無人機飛行控制方面具有可靠性。該系統(tǒng)通過對不同模式特征的擇優(yōu)選取與組合使用，有效實現了飛行控制指令數目的增加和識別準確率的提升。該系統(tǒng)可為未來機器人控制技術提供一種全新的技術支持，具有較為廣闊的應用前景。