基于圖像識別的大屏幕人機交互系統(tǒng)建設(shè)與實踐

李厚恩　余里程　廖耀隆

摘要：本文在圖像識別基礎(chǔ)上，以期解決人機交互系統(tǒng)內(nèi)攝像頭標定復雜問題，提出一種全新的人機交互系統(tǒng)建設(shè)途徑。首先分析了基于圖像識別的大屏幕人機交互系統(tǒng)概述，同時闡述了系統(tǒng)建設(shè)原理，最后總結(jié)了系統(tǒng)建設(shè)實踐。

關(guān)鍵詞：圖像識別；人機交互；系統(tǒng)建設(shè)；系統(tǒng)實踐

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2019）01-0092-02

目前應(yīng)用的人機交際系統(tǒng)主要包含兩種，一是借助激光筆，實現(xiàn)遠距離的交互，另一種則是實現(xiàn)人體一部分，比如：手部、眼睛等部位的遠距離交互。人體部位交互不需要外部設(shè)備的協(xié)助，在實際應(yīng)用中，這類交互技術(shù)更加自然與友好。本文主要研究的是基于圖像識別的大屏幕人機交互系統(tǒng)建設(shè)與實踐，詳細闡述如下。

1 系統(tǒng)概述

本文研究的基于圖像識別的大屏幕人機交互系統(tǒng)，通過利用人眼交互，以此獲取眼球內(nèi)的轉(zhuǎn)動信息，將攝像頭集中在用戶關(guān)注的位置，以此實現(xiàn)對計算機系統(tǒng)的控制，采集相關(guān)的視頻圖像[1]。借助人手可將眼球信息投放在大屏幕上，因而又稱之為手勢識別基礎(chǔ)上的人機交互。

本文研究的基于圖像識別的大屏幕人機交互系統(tǒng)，主要是將兩個廣角攝像頭分別安裝在A點、B點，安裝點需要與大屏幕正對，且鏡頭一致對準地面。用戶只需要在攝像頭與地面之間的任意距離位置，移動手臂，一般采取上下移動、左右移動兩種，通過控制大屏幕內(nèi)的鼠標定點。在鼠標移動到指定位置后，用戶站在原地，彎曲會伸展食指就可實現(xiàn)鼠標點擊。此人機交互系統(tǒng)的每個攝像頭主要負責用戶手部圖像采集，通過獲取用戶之間的二維圖像位置坐標，在透視投影模型的支持下，以此將指尖成像點與地面之間的坐標位置求解出來。將攝像頭位置、地面坐標視作一條直線，系統(tǒng)總計2條直線，兩條直線交互，則能夠?qū)⒅讣饪臻g坐標求解出來，以此獲取之間空間做標與屏幕二維碼做標。通過將物理做標轉(zhuǎn)換為專門的邏輯坐標，可求解出手指指向屏幕的實際坐標，以此實現(xiàn)大屏幕的精準定位。在系統(tǒng)完整定位之后，通過采集用戶指尖視頻圖像，可判斷食指狀態(tài)。

2 基于圖像識別的大屏幕人機交互系統(tǒng)建設(shè)原理

本系統(tǒng)的攝像頭，采取的是透視投影成像模型，如圖1所示。透視投影O型在實際應(yīng)用中，可將一個場景光線透過投影屏幕，聚集在中心。在投影中心位置，與成像平面垂直，以此形成投影軸/光軸，此階段，x，y，z點固定。

透視投影映射圖2所示，攝像頭的平面直角坐標系，其原點處于投影中心，坐標軸與投影軸相互重合，指向特定的場景，x軸與y軸圖像平面坐標與、軸平行，此階段xy平面與圖像平面之間的距離用表示，也稱之為攝像頭的焦距[2]。實際攝像頭中，圖像平面集中在投影中心后面距離位置，其投影圖像屬于倒立圖像。此階段場景內(nèi)的y點、x點、z點坐標需要在圖像平面相交點上獲取。

3 基于圖像識別的大屏幕人機交互系統(tǒng)建設(shè)實踐

以主配網(wǎng)電網(wǎng)為例，系統(tǒng)建設(shè)分析如下。

3.1 個性化專題監(jiān)控

（1）設(shè)備全維度在線監(jiān)測。通過“電網(wǎng)-變電站/輸電線路-設(shè)備”個層次遞進展示整個深圳電網(wǎng)設(shè)備整體情況，實現(xiàn)不同層次的用戶掌握電網(wǎng)及設(shè)備運行情況。（2）電網(wǎng)全維度監(jiān)測。電網(wǎng)全景信息用于展示整個深圳電網(wǎng)設(shè)備全維度在線監(jiān)測的情況，包括：電網(wǎng)規(guī)模、各類關(guān)鍵設(shè)備數(shù)量、關(guān)鍵設(shè)備狀態(tài)評價結(jié)果、各類設(shè)備壽命分布情況、不同等級的設(shè)備風險次數(shù)、不同等級的電網(wǎng)風險次數(shù)、電網(wǎng)污區(qū)分布情況等。（3）變電站全維度監(jiān)測。電網(wǎng)全景信息用于展示整個變電站設(shè)備全維度在線監(jiān)測的情況，包括：變電站基礎(chǔ)信息、變電站運行信息、變電站各類狀態(tài)監(jiān)測覆蓋情況、接入情況、在線情況、變電站的設(shè)備狀態(tài)評價結(jié)果、基準態(tài)評價結(jié)果、風險評估結(jié)果等。（4）輸電線路全維度監(jiān)測。輸電線路全景信息用于展示架空線路和電纜線路設(shè)備全維度在線監(jiān)測的情況，具體如包括：輸電線線路走勢、線路運行信息、輸電線路桿塔狀態(tài)、線路負載率、輸電線路實時視頻等。（5）設(shè)備全維度監(jiān)測。設(shè)備全景信息用于展示單體設(shè)備的全景信息，包括：單體設(shè)備的安裝、采購、項目、運行、維修、價值、缺陷、壽命、狀態(tài)、狀態(tài)評價結(jié)果、風險評估結(jié)果、基準態(tài)分析結(jié)果和故障預(yù)測結(jié)果等信息。（6）缺陷分布統(tǒng)計。以巡維中心、廠家為維度進行缺陷對比分析，支持鉆取具體的缺陷信息，具體展示包括：設(shè)備運行年限平均故障率、廠家設(shè)備故障指數(shù)、某類設(shè)備非正常狀態(tài)趨勢分布、某類設(shè)備非正常狀態(tài)運行年限分布、展示某類設(shè)備非正常狀態(tài)廠家分布、缺陷數(shù)據(jù)統(tǒng)計分析結(jié)果等。（7）客戶全方位指標監(jiān)控。展示各服務(wù)渠道的客戶訴求、客戶服務(wù)情況，監(jiān)控客戶訴求（包括12398、12345等外部渠道）的受理、分布、處理、跟蹤并閉環(huán)以及后續(xù)處理，回訪情況，以便發(fā)現(xiàn)客戶服務(wù)薄弱環(huán)節(jié)，同時對客戶供電質(zhì)量、客戶問題、故障停電進行實時監(jiān)控。（8）電動汽車充電運營監(jiān)控。展示深圳供電局目前拓展的電動汽車充電競爭性業(yè)務(wù)的總體運營情況，具體展示內(nèi)容包括：充電站樁規(guī)模、充電樁當前運行情況、充值金額、充電金額、充電電量、充電樁利用率等。（9）低壓集抄指標監(jiān)控。展示深圳供電局低壓集抄建設(shè)和集抄運行的總體情況，具體展示內(nèi)容包括：集抄覆蓋率、終端在線率、數(shù)據(jù)采集完整率、遠程抄表投入率、遠程抄表成功率、已驗收臺區(qū)數(shù)、已驗收電表數(shù)等[3]。

3.2 大屏展示

3.2.1 大屏（含控制終端）展示

（1）大屏展示手段。通過大屏動態(tài)切換或者大屏拼接的方式演示簡短視頻、展示綜合場景，供會議或者匯報使用，同時也可以設(shè)置若干主題供監(jiān)控人員使用。展示內(nèi)容需要能適應(yīng)多種分辨率的大屏，包括中央?yún)^(qū)域大屏、兩側(cè)區(qū)域大屏以及入口區(qū)域大屏。（2）終端控制。搭建移動終端和大屏展示的互動工作臺，通過移動終端發(fā)出指令，發(fā)給可視化監(jiān)控系統(tǒng)進行互動展現(xiàn)，并可根據(jù)大屏配置最優(yōu)化展示效果[4]。

3.2.2 視覺效果設(shè)計與場景展示

將深圳供電局各部門各層級關(guān)注的關(guān)鍵指標信息、月報指標信息、個性專題指標信息以及網(wǎng)公司關(guān)鍵指標信息，運用視覺設(shè)計手段，通過標志的造型和特定的色彩等表現(xiàn)手法，使企業(yè)的經(jīng)營理念、管理特色、服務(wù)標準等形成一種整體形象，展示深圳電網(wǎng)良好形象。

包括建立生產(chǎn)域視覺效果場景設(shè)計、投資計劃域視覺效果場景設(shè)計、物資域視覺效果場景設(shè)計、基建域視覺效果場景設(shè)計、營銷域視覺效果場景設(shè)計、人力資源域視覺效果場景設(shè)計、財務(wù)域視覺效果場景設(shè)計、信息域視覺效果場景設(shè)計、電網(wǎng)發(fā)展視覺效果場景設(shè)計、資產(chǎn)全生命視覺效果場景設(shè)計、設(shè)備全維度視覺效果場景設(shè)計、客戶全方位視覺效果場景設(shè)計、電動汽車充電運營視覺效果場景設(shè)計、低壓集抄視覺效果場景設(shè)計。實現(xiàn)不同主題域的視覺效果設(shè)計[5]。

通過視覺效果設(shè)計的場景，運用視頻處理、三維動畫、數(shù)字合成等技術(shù)，構(gòu)建生產(chǎn)域視覺效果視頻與動畫組件、投資計劃域視覺效果視頻與動畫組件、物資域視覺效果視頻與動畫組件、基建域視覺效果視頻與動畫組件、營銷域視覺效果視頻與動畫組件、人力資源域視覺效果視頻與動畫組件、財務(wù)域視覺效果視頻與動畫組件、信息域視覺效果視頻與動畫組件、電網(wǎng)發(fā)展視覺效果視頻與動畫組件、資產(chǎn)全生命視覺效果視頻與動畫組件、設(shè)備全維度視覺效果視頻與動畫組件、客戶全方位視覺效果視頻與動畫組件、電動汽車充電運營視覺效果視頻與動畫組件、低壓集抄視覺效果視頻與動畫組件。實現(xiàn)不同主題域的視頻展示，展示深圳局運營監(jiān)控成果。

4 結(jié)語

綜上所述，本文是在圖像識別原理基礎(chǔ)上，提出的一種全新的大屏幕人機交互系統(tǒng)構(gòu)建方式，通過應(yīng)用雙目立體視覺，解決了大屏幕人機交互系統(tǒng)內(nèi)的攝像標定問題，順應(yīng)時代發(fā)展需求，融入了各類全新的技術(shù)，提出了一種更加簡單的空間定位方式。

參考文獻

[1] 盧思羽.基于多模態(tài)人機交互的虛擬樂器演奏系統(tǒng)研發(fā)[D].華中師范大學，2016.

[2] 郭星.大屏幕人機互動中若干關(guān)鍵技術(shù)研究[D].安徽大學，2013.

[3] 李建新.大屏幕多媒體互動展示系統(tǒng)實現(xiàn)技術(shù)與設(shè)計[D].安徽大學，2012.

[4] 李志.基于圖像識別的大屏幕人機交互系統(tǒng)研究[D].安徽大學，2010.

[5] 黃燕榮.基于視頻輸入的虛擬交互系統(tǒng)的設(shè)計與實現(xiàn)[D].大連理工大學，2004.

Abstract：On the basis of image recognition， in order to solve the complex problem of camera calibration in human-computer interaction system， this paper proposes a new way to build human-computer interaction system. Firstly this paper analyses the overview of large screen human-computer interaction system based on image recognition， expounds the principle of system construction， and finally summarizes the practice of system construction.

Key words：image recognition； human-computer interaction； system construction； system practice