多點觸控式半自動跟蹤系統(tǒng)

付 強，劉 麗，燕 俊

(1.陸軍工程大學石家莊校區(qū)， 石家莊 050003; 2.陸軍步兵學院石家莊校區(qū)，石家莊 050083; 3.北方自動控制技術研究所，太原 030006)

目標跟蹤系統(tǒng)在軍事、工業(yè)領域應用廣泛，一般分為自動、半自動兩種工作模式。自動跟蹤不依賴于操作員，由設備自動完成目標搜索、識別、定位、控制等任務；半自動跟蹤則屬于“人在回路”，在目標搜索、目標選取、模式切換、參數調整等環(huán)節(jié)，需要操作員通過半自動跟蹤裝置進行人機交互、決策控制[1]。

隨著目標機動性和環(huán)境背景復雜性的不斷提升，對目標跟蹤系統(tǒng)性能提出了更高要求，而目前典型目標跟蹤系統(tǒng)的自動化、智能化水平相對較低，尤其是自動跟蹤模式下的啟動、運行、退出等環(huán)節(jié)仍需人工干預。如何進行高效人機交互、綜合發(fā)揮人、機優(yōu)勢已成為目標跟蹤領域的重要研究方向和發(fā)展趨勢[2-3]。

本研究將多點觸控技術作為半自動裝置引入目標跟蹤系統(tǒng)，增強了操作直觀性，減輕了人工操作負擔，人員決策結果能夠及時、準確、全面地傳遞給跟蹤系統(tǒng)，提升了目標跟蹤系統(tǒng)的性能。

1 多點觸控技術特點

目前，常用半自動跟蹤裝置包括操縱桿、軌跡球、鼠標等類型[2-3]。存在的不足主要包括：第一，操縱桿、軌跡球只能輸出高低、方位兩個自由度的線性控制量，由于目標角度一般是非線性變化，半自動跟蹤對人員技能要求很高，操作員需要經過長時間訓練才能保持跟蹤的快速性和平穩(wěn)性，在目標面積小、信號弱、角速度大、機動性強等情況下尤其不利；第二，操縱桿、軌跡球雖然能通過伺服系統(tǒng)帶動探測器轉動，使目標盡量保持在視場中部，以便于自動跟蹤處理器鎖定目標。但當視場內同時出現多個目標時，操作員的決策意圖和人工經驗難以傳遞給自動跟蹤處理器，目標的選取、切換功能只能由自動跟蹤處理器自主完成，使得半自動到自動的切換過渡過程存在失敗、反復的風險；第三，部分半自動跟蹤系統(tǒng)中引入了鼠標作為操控裝置[4]，能進行單點操作，不能直接控制伺服系統(tǒng)，應用條件限制較多。顯見，上述半自動裝置未能充分發(fā)揮人手功能，人機交互效率較低。

多點觸控技術于1992年由IBM和Bell south提出[4]，其基本方法是將一個或更多的手指手勢映射成計算機或電子設備的操作響應，利用人手的高度靈活性，降低操作難度，提高人機交互的協(xié)作性、智能性和自然性。

目前，觸控屏主要有電容屏、電阻屏、紅外線觸控屏等[4]，基本原理是通過手指在屏幕上直接觸碰，導致屏幕的狀態(tài)發(fā)生變化，進而根據屏幕狀態(tài)的變化數據檢測手指在觸控屏上的觸點和動作。通過手勢設計及手勢識別算法，可以利用多個手指、多種手勢實現特定功能。觸控精度一般取決于觸控屏分辨率、像素密度PPI(Pixels Per Inch，即每英寸的像素數量，典型值為180、300)，觸控響應速度取決于觸控點數、觸控算法復雜度、處理器性能等因素。

表1對比了操縱桿、軌跡球、鼠標、多點觸控屏的功能特點，可以發(fā)現，多點觸控屏在直觀性、快速性、靈活性方面有著較大優(yōu)勢。雖然目前多點觸控主要用于生活消費領域，在目標跟蹤領域應用相對較少，但可以預見，其軍事應用前景十分廣闊。

表1 半自動跟蹤裝置特點

2 系統(tǒng)組成結構

如圖1，多點觸控式半自動跟蹤系統(tǒng)利用多點觸控屏替代了傳統(tǒng)顯示屏，在顯示輸出功能的基礎上增加了手勢輸入功能。作為備用，系統(tǒng)保留了傳統(tǒng)半自動裝置。

圖1 多點觸控式半自動跟蹤系統(tǒng)組成結構框圖

系統(tǒng)通過目標探測器采集目標及背景信息，實時傳輸至自動跟蹤處理單元，由其提取目標信息后控制伺服控制器，進而通過云臺帶動目標探測器實現自動跟蹤；操作員根據多點觸控裝置的顯示信息，可進行目標搜索、跟蹤、切換、參數設置等工作，其手勢信號也可用以直接控制伺服機構實現云臺手動調轉。

為提高半自動跟蹤的效能，需要對觸控手勢進行定義，實現不同任務條件下人機的協(xié)調配合。多點觸控相關功能設計如表2所示。

表2 多點觸控功能設計

目標搜索階段，利用多點觸控可直接控制云臺，實現對方位角、高低角、視場倍率、轉動速度等參量的控制；對視場內同時出現的多個目標，可人工甄別、選取目標，并將目標的區(qū)域信息、運動特性等傳遞給自動跟蹤處理單元；對于弱小目標，為便于操作員觀察、判斷，可實現幀間信號累積、放大顯示；對于假目標，可以進行手動標記，或強制切換；多點觸控可將目標運動趨勢、目標類型等人工經驗或結論，作為先驗信息及時傳遞給自動跟蹤處理單元，提高自動處理過程的準確性、快速性[5-7]。

3 觸控手勢設計實現

多點觸控手勢需要符合操作員直觀習慣，也需要具備很好的穩(wěn)定性、可靠性。目前，主流觸控平臺(Windows、iOS、Android等操作系統(tǒng))手勢分為單點觸控手勢和多點觸控手勢兩種。單點觸控手勢主要有單擊、雙擊、拖拽、輕彈、按壓等；多點觸控手勢有旋轉、捏、展開、按壓并單擊、按壓并拖拽等[8-10]。

針對目標跟蹤系統(tǒng)功能特點，遵循實用性原則，本系統(tǒng)設計了以下5種觸控手勢。

3.1 單點觸控手勢

單點手勢只利用一個觸控點點擊目標的中心位置，一般用于選取成像面積較小的點狀目標，主要用于目標物理尺寸小、距離遠、部分遮擋等情形。如圖2，分為“單點點擊”和“單點滑動”兩種類型。

圖2 單點觸控手勢示意圖

“單點點擊”手勢的輸出是點擊位置(x0,y0)，響應區(qū)域是以(x0,y0)為圓心的一個圓形區(qū)域，其半徑R由系統(tǒng)提前設定，其數學描述為：

(x-x0)2+(y-y0)2≤R2

(1)

在“單點點擊”的基礎上，“單點滑動”手勢是單點觸控后保持按壓，并朝某個方向(一般是目標運動方向)直線滑動一段距離后釋放。其輸出包括(x0,y0)及一個滑動向量(β,l)(滑動角度和滑動距離)，作為先驗知識傳遞至自動跟蹤處理單元。

在目標搜索、伺服調試等模式下，“單點滑動”輸出可直接控制云臺轉動，滑動方向和滑動距離分別對應云臺轉動方向和角度量(或速度量)。

3.2 兩點觸控手勢

如圖3，兩點觸控手勢包括“兩點點擊”、“兩點滑動”、“兩點放大”等3種類型。一般用于選取具有少量像素、兩指能夠同時選取邊緣的目標，既可指定目標所在位置特征和區(qū)域特征，還可實現放大觀察，便于人工準確判別目標類型。

圖3 兩點觸控手勢示意圖

“兩點點擊”手勢是兩個觸控點同時點擊，用來框取目標全部像素。其輸出是兩個觸控點位置[(x1,y1),(x2,y2)]，響應區(qū)域是以[(x1,y1),(x2,y2)]為對角點的矩形區(qū)域(橫縱方向與顯示區(qū)域一致)，其數學描述為：

(2)

與“單點滑動”類似，“兩點滑動”的兩個觸控點同向滑動一段距離，輸出包括[(x1,y1),(x2,y2)]和滑動向量(β,l)。

在“兩點點擊”的基礎上，“兩點放大”的兩個觸控點同時向上述矩形區(qū)域外側滑動一段距離，可對指定區(qū)域進行放大顯示，用于對弱小目標的觀察、選取。

放大顯示后的矩形中心與原矩形中心相同，放大倍率由手勢釋放時兩個觸控點的位置確定。可利用觸控手勢在放大顯示矩形區(qū)域選取目標，也可雙擊放大顯示區(qū)域取消放大，恢復正常顯示。

3.3 三點觸控手勢

如圖4，三點觸控手勢包括“三點點擊”和“三點滑動”兩種類型。可用于選取具有較大面積、邊緣清晰、整體形狀接近圓形的目標，如裝備試驗常用的熱氣球、拖靶、旋翼無人機等。

圖4 “三點觸控”手勢示意圖

“三點點擊”輸出為三個觸控點[(x1,y1),(x2,y2),(x3,y3)]，響應區(qū)域為三個觸控點的外接圓形，數學描述為：

(x-x0)2+(y-y0)2≤R2

(3)

其中：(x0,y0)為外接圓圓心，R為半徑，均由方程組(4)解得。

(4)

與“單點滑動”類似，“三點滑動”的三個觸控點同向滑動一段距離，輸出包括[(x1,y1),(x2,y2),(x3,y3)]和滑動向量(β,l)。

3.4 四點觸控手勢

如圖5，四點觸控手勢包括“四點點擊”和“四點滑動”兩種類型。“四點點擊”的響應區(qū)域一般是以4個觸控點[(x1,y1),(x2,y2),(x3,y3),(x4,y4)]為頂點的凸四邊形(特別的，如果3點共線，響應區(qū)域為三角形；如果4點共線，響應區(qū)域為指定寬度的矩形)。可用于選取具有較大面積、邊緣清晰且角點較多、整體形狀接近矩形的目標，如裝甲車輛、導彈(側視)等。

圖5 “四點觸控”手勢示意圖

為描述上述響應區(qū)域，需將4個觸控點按序構成鏈表輸出，為避免凹四邊形，需對4個點進行共線判斷，對其組合進行凸四邊形判斷[8,9]。

與“單點滑動”類似，“四點滑動”輸出包括滑動向量。特別的，多點滑動過程中，多個觸控點的按下時機、滑動方向、滑動距離、釋放時刻可能存在一定差異，為提高系統(tǒng)的穩(wěn)健性和準確性，選取4個滑動角度中最接近的3個，計算平均值作為滑動方向輸出；選取4個滑動距離中最接近的3個，計算平均值作為滑動距離輸出。

3.5 五點觸控手勢

如圖6，五點觸控手勢包括“五點點擊”和“五點滑動”兩種類型。“五點點擊”響應一般是以5個觸控點[(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5)]為頂點的凸五邊形(2點以上共線情況處理方法與四點觸控類型)。主要用于與探測器距離短、成像面積大、邊緣角點多、形狀不規(guī)則的目標。“五點滑動”響應輸出的滑動方向和滑動距離分別為5組數據中最接近的3組的平均值。

圖6 “五點觸控”手勢示意圖

上述手勢分別采用1～5個觸控點，覆蓋了主要的單手動作類型。相對于1～2點觸控，3～5點觸控主要用于較大目標，通過較多的觸控點，可以相對精細的描述目標邊緣，可以排除干擾，縮小自動跟蹤的搜索范圍，提高目標檢測、跟蹤的快速性和準確性。

4 實現方法與效果

系統(tǒng)觸控屏采用DELL S2240T，采用分辨率為1 920×1 080、300PPI，點距為0.248 mm，最大支持10點觸控；觸控屏通過“HDMI/VGA+USB2.0”連接自動跟蹤處理單元；自動跟蹤處理單元主處理器采用Xilinx ZYNQZC7035 FPGA，通過千兆網連接探測器(50 Hz幀頻采集圖像)，軟件開發(fā)環(huán)境為基于Petalinux的嵌入式操作系統(tǒng)。

4.1 手勢識別基本方法

為準確識別上述手勢，避免手指顫抖造成虛點觸控等情況，采用觸控字典、鏈表法[8]，流程如圖7。

圖7 目標選取觸控手勢實現流程框圖

初始化階段建立一個空的觸控點字典鏈表。有觸控動作時，鎖定并獲取所有觸控點，將新增觸控點與觸控字典內容逐個比較，距離過近的點判為無效，達到消除抖動的目的，有效觸控點加入觸控點字典，包括觸控點的按下時間、是否移動、移動距離；為解決觸控點時機不一致的問題，設計了觸發(fā)器和計時器，前一個觸控點觸發(fā)之后，一定時間范圍內，統(tǒng)計有效點數，確定觸控手勢點數[9,10]；觸控點滑動時，判斷滑動動作的一致性，從而決定滑動是否有效，若是，則計算滑動角度和距離，若否，則只作為點擊手勢；觸控點釋放后，從字典移除該點。

為兼顧顯示功能和觸控功能，采用重疊顯示方法，觸控面板置于頂層。觸控點數和滑動效果改變后，及時進行區(qū)域/動作繪制或消除，更新顯示，定時輸出觸控信息。

4.2 實現效果

觸控功能包括探測器控制、云臺控制、跟蹤模式控制等3部分。其中，探測器控制包括探測器模式及參數設置等功能；云臺控制包括云臺連接狀態(tài)、暫停、復位、云臺手動/自動控制模式切換等功能。跟蹤模式包括自動/半自動模式切換、自動跟蹤模式設置等功能[11]。

在半自動跟蹤模式下，可利用前文的手勢進行目標選取。不同手勢的觸控效果如圖8所示，由于“兩點放大”手勢及滑動類手勢的耗時主要取決于觸控按下的持續(xù)時間，隨機性強，這里僅給出點擊類手勢的響應平均耗時(從“啟動觸控記錄線程”至“更新觸控顯示信息”)，如表3所示。

圖8 觸控操作效果示例圖

表3 點擊類手勢響應平均耗時

實驗結果表明，上述系統(tǒng)操作直觀、響應高效、性能穩(wěn)定，適用于弱小目標判讀、多目標篩選/切換、真假目標輔助指定等環(huán)節(jié)；系統(tǒng)輸出的目標位置信息、輪廓信息、運動信息能為自動跟蹤信號處理、跟蹤控制提供可靠的決策依據。

5 結論

本研究將多點觸控技術引入目標跟蹤系統(tǒng)，可充分利用多點觸控技術特征，彌補現有半自動跟蹤裝置的不足。工程實踐表明本系統(tǒng)方案可行、實用，易于推廣(如紅外、微光、雷達、聲納等目標跟蹤系統(tǒng))，在具體工程條件(如車載、艦載、機載等環(huán)境)下應用應進一步考慮增強系統(tǒng)的穩(wěn)定性和可靠性。