視線驅(qū)動(dòng)的云臺(tái)跟蹤技術(shù)

王建中　王洪楓　劉弘揚(yáng)　張晟

摘 ?要： 人在回路的遙操作是未來相當(dāng)長時(shí)期內(nèi)無人武器云臺(tái)的主要操控方式。針對(duì)無人武器云臺(tái)手動(dòng)遙操作控制方法存在的負(fù)擔(dān)重、效率低等問題，提出一種視線驅(qū)動(dòng)跟蹤方法，通過檢測(cè)眼球運(yùn)動(dòng)來追蹤人眼視線，捕獲操控人員對(duì)特定目標(biāo)的注視信息，建立操控人員眼動(dòng)與無人武器云臺(tái)目標(biāo)跟蹤的隨動(dòng)關(guān)系，實(shí)現(xiàn)“看哪打哪”。給出了眼動(dòng)檢測(cè)、視線估計(jì)、無人武器云臺(tái)運(yùn)動(dòng)映射模型及隨動(dòng)跟蹤瞄準(zhǔn)等的實(shí)現(xiàn)方法和流程，并進(jìn)行了相關(guān)試驗(yàn)驗(yàn)證。結(jié)果表明，該方法可使無人武器云臺(tái)的目標(biāo)跟蹤瞄準(zhǔn)操控?cái)[脫對(duì)肢體的需求，用視線操作代替?zhèn)鹘y(tǒng)的手動(dòng)操作，可有效減輕手動(dòng)操控負(fù)擔(dān)，提高操控及時(shí)性、準(zhǔn)確性和人機(jī)交互效率，將成為無人武器的重要操控方式。

關(guān)鍵詞： 無人武器; 云臺(tái)跟蹤; 視線驅(qū)動(dòng); 眼動(dòng)檢測(cè); 隨動(dòng)跟蹤; 實(shí)驗(yàn)驗(yàn)證

中圖分類號(hào)： TN820.4?34; TP23 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）24?0166?04

Sight driven pan?tilt tracking technology

WANG Jianzhong， WANG Hongfeng， LIU Hongyang， ZHANG Sheng

（School of Mechatronical Engineering， Beijing Institute of Technology， Beijing 100081， China）

Abstract： The teleoperation of man in the loop is the main operation mode of unmanned weapon platform for a long time in the future. In allusion to the problems of heavy burden and low efficiency existing in the manual remote operation control method of unmanned weapon cradle head， a sight driven pan?tilt tacking method is proposed. In this method， the sight of the human eyes is tracked by detecting the eye movement to capture the information of the operator′s gaze at a specific target， and the follow?up relationship between the operator′s eye movement and the target tracking of the unmanned weapon is established， so as to realize the “hit where you see it”. The realization methods and processes such as eye movement detection， gaze estimation， motion mapping model of unmanned weapon pan?tilt， and follow?up tracking and sighting are given， and the relevant experimental verification are carried out. The results show that the method can make the target tracking and sighting of the unmanned weapon platform get rid of the remand of body， and replace traditional manual operation with sight operation， which can effectively reduce the burden of manual control， improve the timeliness and accuracy of the operation and the efficiency of the human?computer interaction. It will be an important means of control for unmanned weapons.

Keywords： unmanned weapon; pan?tilt tracking; sight driven; eye movement detection; follow?up tracking; experimental verification

0 ?引 ?言

人機(jī)分離而形成的無人武器是未來武器裝備發(fā)展的重要方向，目標(biāo)跟蹤瞄準(zhǔn)是其關(guān)鍵技術(shù)之一。由于相關(guān)技術(shù)發(fā)展階段的限制，實(shí)現(xiàn)目標(biāo)跟蹤瞄準(zhǔn)的無人武器云臺(tái)的操控在未來相當(dāng)長時(shí)期內(nèi)仍將是人在回路的遙操作模式。戰(zhàn)場(chǎng)環(huán)境和敵方目標(biāo)復(fù)雜多變且十分危險(xiǎn)，無人武器操控人員承受巨大的心理和生理壓力，導(dǎo)致武器云臺(tái)手動(dòng)遙操作控制方法操控負(fù)擔(dān)重、效率低，目標(biāo)跟蹤瞄準(zhǔn)的及時(shí)性和準(zhǔn)確性大打折扣[1]。

本文提出一種穿戴式人機(jī)融合的視線驅(qū)動(dòng)跟蹤方法，將頭戴顯示及眼動(dòng)追蹤裝置、操控人員和無人武器云臺(tái)緊密耦合，通過檢測(cè)眼球運(yùn)動(dòng)來追蹤人眼視線，捕獲無人武器操控人員對(duì)頭戴顯示場(chǎng)景中敵方目標(biāo)的注視信息，建立操控人員眼動(dòng)與無人武器云臺(tái)目標(biāo)跟蹤瞄準(zhǔn)的隨動(dòng)關(guān)系，在此基礎(chǔ)上控制無人武器云臺(tái)追隨操控人員的視線進(jìn)行目標(biāo)搜索、跟蹤及瞄準(zhǔn)，實(shí)現(xiàn)“看哪打哪”[2?4]。該方法可使無人武器云臺(tái)的目標(biāo)跟蹤瞄準(zhǔn)操控?cái)[脫對(duì)肢體的需求，用視線操作代替?zhèn)鹘y(tǒng)的手動(dòng)操作，可有效減輕手動(dòng)操控負(fù)擔(dān)，提高操控及時(shí)性、準(zhǔn)確性和人機(jī)交互效率，將成為無人武器的重要操控方式。該技術(shù)在社會(huì)安防和監(jiān)控等領(lǐng)域也有重要的應(yīng)用價(jià)值。

[βe=γx2-arctanlscreen-2xssin γxlscreen1+cos γx+2xs1-cos γx] ? ? ? ? ? ? ? ? ? ?（12）

同理可得注視點(diǎn)與無人武器云臺(tái)俯仰角關(guān)系：

[?e=γy2-arctanwscreen-2yssin γywscreen1+cos γy+2ys1-cos γy] ? ? ? ? ? ? ? ? （13）

式中：[γy]為武器瞄準(zhǔn)攝像機(jī)俯仰方向視場(chǎng)角;[ys]為注視點(diǎn)在俯仰方向上的坐標(biāo);[wscreen]為武器瞄準(zhǔn)攝像機(jī)圖像在顯示屏俯仰方向?qū)嶋H顯示所占用的像素長度。

3 ?無人武器云臺(tái)隨動(dòng)跟蹤試驗(yàn)

在頭戴顯示中設(shè)定圖5所示9個(gè)黑色十字目標(biāo)點(diǎn)，眼睛攝像機(jī)采集依次注視目標(biāo)點(diǎn)時(shí)的實(shí)時(shí)眼部圖像，檢測(cè)定位出對(duì)應(yīng)的9個(gè)瞳孔中心，如表1和圖6所示，由式（3）求解出對(duì)應(yīng)的9個(gè)注視點(diǎn)，如圖5藍(lán)色十字和表2所示。

無人武器云臺(tái)的隨動(dòng)跟蹤瞄準(zhǔn)由方位和俯仰運(yùn)動(dòng)實(shí)現(xiàn)，按照式（12）、式（13）獲得無人武器云臺(tái)隨注視點(diǎn)的跟蹤瞄準(zhǔn)如圖5中的紅色十字和圖7所示。

視線操控?zé)o人武器云臺(tái)跟蹤瞄準(zhǔn)人員目標(biāo)的試驗(yàn)場(chǎng)景如圖8所示，云臺(tái)上的激光筆投射在人員目標(biāo)身上的紅點(diǎn)驗(yàn)證了良好的跟蹤瞄準(zhǔn)效果。

4 ?結(jié) ?語

本文提出一種視線驅(qū)動(dòng)的云臺(tái)跟蹤操控方法，給出瞳孔中心檢測(cè)與定位、視線估計(jì)、無人武器云臺(tái)方位和俯仰運(yùn)動(dòng)與注視點(diǎn)和瞳孔中心的映射模型以及無人武器云臺(tái)隨動(dòng)跟蹤等實(shí)現(xiàn)方法和流程，建立操控人員眼動(dòng)與無人武器云臺(tái)目標(biāo)跟蹤的隨動(dòng)映射控制關(guān)系，并進(jìn)行設(shè)定目標(biāo)點(diǎn)和實(shí)際人員目標(biāo)的視線操控跟蹤瞄準(zhǔn)試驗(yàn)驗(yàn)證。結(jié)果表明，該方法用視線操作代替?zhèn)鹘y(tǒng)的手動(dòng)操作，可有效減輕手動(dòng)操控負(fù)擔(dān)，提高操控及時(shí)性、準(zhǔn)確性和人機(jī)交互效率，對(duì)無人武器裝備的發(fā)展具有重要意義，在安防監(jiān)控等領(lǐng)域也有重要的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] CHASE M S， GUNNESS K A， MORRIS L J， et al. Emerging Trends in China's Development of Unmanned Systems [R]. Santa Monica： RAND Cooperation， 2015： 5?14.

[2] 張達(dá)磊.基于視線跟蹤的人機(jī)交互系統(tǒng)設(shè)計(jì)[D].杭州：浙江工業(yè)大學(xué)，2016.

[3] 馬衛(wèi)華.人機(jī)交互系統(tǒng)的實(shí)時(shí)人眼跟蹤技術(shù)研究[J].現(xiàn)代電子技術(shù)，2019，42（13）：65?68.

[4] BISWAS Langdon. Multimodal intelligent eye?gaze tracking system [J]. International journal of human?computer interaction， 2015， 31（4）： 277?294.

[5] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong， et al. 2D gaze estimation based on pupil?glint vector using an artificial neural network [J]. Applied sciences， 2016， 6（6）： 174.

[6] 胡艷紅，魏江.紅外圖像中瞳孔定位算法[J].電子設(shè)計(jì)工程，2019，27（1）：189?193.

[7] 張慧敏，羅珮允，隋建峰.基于圖像處理的瞳孔大小檢測(cè)算法研究[J].半導(dǎo)體光電，2017，38（1）：136?141.

[8] 顧可可，付威威，董月芳，等.基于改進(jìn)輪廓跟蹤的瞳孔快速檢測(cè)[J].紅外技術(shù)，2017，39（6）：574?578.

[9] WANG Jianzhong， ZHANG Guangyue， SHI Jiadong. Pupil and glint detection using wearable camera sensor and near?infrared led array [J]. Sensors， 2015， 15（12）： 30126?30141.

[10] 王建中，張廣月，王虹.人眼檢測(cè)的混合加權(quán)特征方法[J].北京理工大學(xué)學(xué)報(bào)，2019，39（8）：819?824.

[11] CHENG Hong， LIU Yaqi， FU Wenhao， et al. Gazing point dependent eye gaze estimation [J]. Pattern recognition， 2017， 71： 36?44.

作者簡介：王建中（1963—），男，湖北人，博士，教授，研究方向?yàn)橹悄軣o人技術(shù)。

王洪楓（1994—），男，山東人，博士研究生，研究方向?yàn)橹悄軣o人技術(shù)。

劉弘揚(yáng)（1994—），男，黑龍江人，碩士研究生，研究方向?yàn)橹悄軣o人技術(shù)。

張 ?晟（1995—），男，吉林人，碩士研究生，研究方向?yàn)橹悄軣o人技術(shù)。