綜合業務觸控及顯示終端的設計實現及應用

王艷 劉偉衛

摘 要：文章結合綜合顯示系統的應用實際，從進一步擴展指揮顯示功能的需求出發，設計了一套集視頻顯示、數據顯示、綜合態勢顯示于一體的多點觸控及顯示系統，在提升綜合顯示系統現場輔助決策能力方面進行了研究。

關鍵詞：多點觸控；顯示；輔助決策

1 概述

經過多年的建設應用，中國華陰兵器試驗中心的綜合顯示系統實現了綜合信息實時按需顯示，在任務中發揮了重要作用，為任務的組織指揮提供了可視化的指揮調度手段和信息化輔助手段，提高了整體工作效率。

但在當前的系統應用模式中，顯示大廳只為前排的操作人員和保障人員提供了工作臺位，而在觀摩席位就座的其他人員缺乏必要的個性化按需顯示設施，其通過主屏幕了解的信息非常有限，無法做到及時掌握任務進展態勢、各關鍵點實時情況和各設備工作情況等，很多情況只能由各臺位保障人員轉述，在一定程度上制約了現場決策的靈活性和實時性，無形中加大了任務組織實施的難度。因而有必要為后排相關人員設計一套用于及時全面掌握任務進展態勢的多點觸控及顯示系統，進一步豐富系統顯示功能和顯示方式，增強人機交互性，全面提高任務保障能力。

2 觸控及顯示終端系統設計

2.1 系統設計

多點觸控及顯示系統主要包括控制軟件和硬件平臺兩部分。硬件包括觸控顯示終端、高性能圖形工作站、承載支架等。控制軟件實現多路視頻源信息和顯示終端軟件的觸控顯示功能。系統連接關系如圖1所示。

2.1.1 硬件設計

多點觸控及顯示系統硬件主要由顯示終端、圖形工作站、承載平臺組成。

（1）顯示終端。顯示終端采用電容技術觸摸屏（Capacity Touch Panel，CTP）。可以同時顯示16路視頻源，并支持10點觸控效果。

（2）圖形工作站。圖形工作站是整個系統信息處理的集成終端，主要實現多點觸控組件驅動和數據處理。圖形工作站匯集所有接收到的模擬視頻源、數字視頻源以及計算機信息，并將其所有信息源根據需要進行相應的編碼、編排處理，通過顯示終端展現給用戶。

（3）視頻轉發服務器。視頻轉發服務器是整個集成設備信息處理的轉發中心，主要實現視頻流的多點信息轉發處理。視頻轉發服務器匯集所有接收到的視頻流，并將其根據終端需求進行相應的編碼處理，通過網絡轉發給需要顯示的終端用戶。

2.1.2 軟件設計

（1）手勢觸摸控制界面。如圖2所示，此界面安裝于圖像工作站上，是整個系統的操作界面。在畫面瀏覽窗口內，實時顯示各個已正常連接的視頻畫面和遠程桌面，用戶可使用手勢在各個候選畫面進行切換，選擇出欲瀏覽畫面后將其拖放于多畫面實時顯示窗口。在多畫面實時顯示窗口中放大顯示選中的各種畫面，包括視頻畫面、錄像畫面和遠程桌面。用戶可以隨意在單畫面、四畫面、九畫面之間進行切換。用戶可通過該窗口進行視頻畫面的放大、縮小、平移、推拉等操作（見圖3），并可根據連接設置情況進行顏色、對比度、亮度、色度等畫面調節。

（2）遠程桌面控制。在電子地圖和參數顯示等計算機上安裝遠程桌面服務系統，觸屏計算機可進行遠程桌面控制。該服務系統可響應遠程客戶端的鼠標和鍵盤輸入，并將本地顯示畫面實時流暢地傳遞給圖形工作站。同時該圖形工作站還能響應遠程手勢觸摸操作，根據鼠標手勢進行地圖軟件的放大縮小、平移切換等操作。

（3）遠程視頻點播。遠程接收視頻，選擇最佳畫質碼流，使用RTP流媒體協議實時播放選中的視頻畫面，在視頻服務器提供聲音功能的情況下，自動選取相應聲音同步播放，可對選看的視頻畫面進行平移、縮放和推拉操作。

（4）遠程視頻錄像。存儲遠程視頻，并提供界面進行回放。對于觸屏客戶端接收到的視頻流進行本地存儲，提供界面以方便事后回放。回放界面應包含播放、暫停、快進與快退功能。

（5）數據瀏覽。內置網頁瀏覽器；顯示數據服務器的上網頁內容。操作界面上內置網頁瀏覽器，可同時顯示（兩幅）網頁數據畫面，并可以對其顯示頁面進行觸屏操作，根據鼠標手勢進行瀏覽頁面的放大縮小、平移切換等操作。

（6）視頻轉發服務。轉發接收到的視頻流，支持8臺以上的觸屏客戶端。本系統設計時，需要接收視頻編碼器傳輸的視頻流，目前正在應用的北清視頻編碼器只提供最多5路視頻流，遠遠不能滿足系統至少8臺觸屏控制終端同時顯示的功能。而且北清的視頻編碼器還需要對其他系統提供視頻流，所以在本系統中，從北清視頻編碼器接收的視頻流只能限定為一路。為了將收到的一路視頻流分發給至少8臺觸屏終端，在系統中增加一臺視頻轉發服務器并配置相應的視頻流轉發軟件，由視頻轉發服務器實時將接收到的視頻流轉發給多臺客戶端，系統設計至少支持16臺的觸屏客戶端。

（7）用戶管理。角色設置，安全操作，功能授權。系統設置多種用戶級別，對用戶操作功能與權限進行分類，設置不同的角色，每一種角色對應相應的功能操作權限。系統設置有超級權限管理員，所有用戶及角色都超級管理員創建并逐級下發管理，并在必要時所有權限均可由超級管理員收回。使用系統的每一個用戶都歸屬于不同的用戶角色，并且只能使用該角色限定的操作功能。根據實際安全需求本系統設置的用戶角色管理員、操作員和瀏覽用戶3種角色，分別是管理員、操作員、瀏覽用戶。

（8）參數配置。參數配置包括：預覽區域配置，字幕疊加，配置文件管理。

①預覽區域配置。預覽區域至少顯示16路視頻圖像和遠程桌面窗口，系統超級管理員對預覽區域中每一路顯示畫面均可以單獨進行配置，可配置其IP地址、端口號、視頻類型、解碼方式、顯示比例、最佳質量等。系統管理員也可以根據需求額外增加并配置顯示畫面。

②字幕疊加。每一路畫面最多可顯示16個漢字的標題。標題文字的設置由超級管理員完成，超級管理員可針對每一路顯示畫面單獨設置是否允許疊加文字以及疊加文字的內容。

③配置文件管理。所有的系統配置參數包括預覽區參數設置、文字疊加設置等都以XML文件格式保存在運行文件夾之下，系統管理員可以按試驗名稱保存當前信號源配置信息，并將配置文件導出保存。

④本地與遠程配置。系統提供本地操作配置界面，所有配置操作均由超級管理員在本地操作完成，可將配置文件導入或導出，可設置預覽區畫面信息等。

2.2 系統原理

多點觸控及顯示系統由位于底層的操作系統層、網絡通信層、網絡服務層和應用顯示層4部分組成，如圖4所示。

2.2.1 操作系統層

操作系統層是整個系統的基礎運行平臺，主要向上層提供所需要的硬件驅動、外部設備接口、內存管理與進程控制等服務。其中硬件設備的驅動是選擇操作系統首要考慮的內容，如觸摸屏多點觸控驅動、聲音驅動、圖形卡驅動、網卡驅動等都需要操作系統層面的支持。

2.2.2 網絡通信層

網絡通信層使用國際標準的TCP/IP協議來在多個服務器與控制終端之間進行網絡包交換通信。考慮到視頻流與音頻流的突發性與實時性，對于音視頻數據包采用面向無連接的UDP數據報協議，以減少傳輸過程中的抖動和反復，最大限度的保障音視頻流的實時與流暢。

2.2.3 網絡服務層

網絡服務層是在網絡層之上提供的可供客戶端使用協議來調用的各類服務。系統中包含的視頻調用服務使用原有北清、海康、松下視頻服務系統。

遠程桌面服務安裝于參數計算機和地圖等計算機上，用于提供遠程虛擬桌面服務，通過標準訪問控制協議對外提供本地計算機的屏幕圖像，并接收遠程控制界面的鼠標和鍵盤控制信號，模擬出一個遠程的虛擬計算機桌面。

2.2.4 應用顯示層

應用顯示層是本系統的顯示界面和操作中心。使用穩定可靠的計算機編程語言，保障各子功能的流暢顯示，增加對指針設備的多點觸摸控制，利用流行的拖拽操作方式，結合操作界面中的窗口、按鈕、菜單等界面元素完成畫面分割、手指觸控和地圖漫游的功能。支持鼠標、手勢的放大、縮小、輕點、滑動、雙指、3指等。

應用顯示層還集中了視頻調用、遠程桌面和網頁瀏覽客戶端，通過這3個客戶端來跟網絡服務層中的相應服務進行交互，完成相應的功能。

3 多點觸控及顯示系統功能及設計特點

3.1 多點觸控及顯示系統功能

多點觸控及顯示系統具有以下8個功能。

（1）系統具有普通賬戶和管理員兩種用戶權限，普通帳戶只具備畫面調閱功能，管理員賬戶除具備普通賬戶的權限外，還具備圖像源信息維護和全部的顯示控制功能，系統支持動態切換帳戶。

（2）觸控顯示終端顯示界面分為主顯示區域和畫面預覽區域。

（3）在主顯示區域內系統可以根據需要進行單畫面、四畫面、六畫面、九畫面顯示和切換，雙擊選中的各種畫面進行全屏顯示，顯示畫面包括視頻畫面和遠程桌面，顯示畫面能進行放大、縮小、平移、推拉等操作。

（4）在畫面預覽區域內，可顯示全部已正常連接的視頻畫面和遠程桌面的實時畫面，單屏可同時顯示8～16路（路數可自定義設置），通過手指左右劃動實現當前顯示畫面的切換，通過手指上下劃動實現預覽畫面向主顯示區域的選擇性拖放。

（5）系統可同時接收顯示至少6路計算機信號及10路IP視頻圖像共計16路信號，所有接收的視頻圖像可以錄像保存至本地硬盤中，在需要時可調閱回放。

（6）系統可同時顯示（至少兩臺）電腦屏幕信息畫面；并可以對其顯示畫面進行觸屏操作；可對電子地圖進行放大、縮小、平移等操作。

（7）預覽區域顯示信息可以本地和遠程進行配置和預覽，系統可通過字幕疊加方式遠程和本地配置各顯示畫面的文字說明，可按試驗名稱保存導出當前信號源配置信息，以便下次相同試驗時，直接導入使用歷史配置信息。

（8）系統內置網頁瀏覽器，可同時顯示（兩幅）網頁數據畫面，并可以對其顯示畫面進行觸屏操作。

3.2 技術特點

3.2.1 穩定可靠的組織架構

系統組織架構中的各個組成部分均采用經過時間驗證的可靠性極高的成熟系統與協議，這些系統與協議也代表著國際公認的未來發展的正確方向，有著良好的兼容性和后續發展動力。

3.2.2 國際標準的通信協議

網絡服務之間的協議全部采用流行的國際標準協議，包括視頻通信協議、遠程桌面協議和網頁瀏覽協議，沒有自定義任何私有的通信協議，這十分有利于系統的接口與集成。任何系統只要支持這些國際標準協議都可以無縫地與本系統進行對接，使用本系統的全部或者任何一部分功能。

3.2.3 先進的界面展現與操作方式

通過先進的多點觸摸設備，提供手勢操作的功能，結合流行的視頻畫面分割與拖拽技術，展示給用戶一個清新絢麗而又易于理解操作的控制界面。強勁動力的圖形工作站、寬闊護眼的視網膜級大屏、簡單無需學習而且符合人體操作習慣的界面行為方式，必將會給用戶帶來一個全新舒適的操控感受。

4 結語

建立多點觸控及顯示系統，各類人員可以通過顯示屏瀏覽任務現場畫面及綜合態勢情況，可直觀地掌握任務發展態勢，指揮員可依據顯示信息的相關情況下達命令。該系統拓展了各類決策人員的視野，縮短了任務中的各類事項上傳下達的時間，提高了任務整體執行效率。

[參考文獻]

[1]殷旭，俞雅玲，王媛，等.采用良好觸控體驗尺寸的自適應用戶界面生成方法[J].計算機輔助設計與圖形學學報，2014（4）：662-668.

[2]夏潔.Synaptics與比亞迪合作開發新的汽車觸控屏解決方案[J].計算機與網絡，2016（5）：76.