基于手勢識別的智能電視交互專利技術綜述

楊欣怡 李雙

摘 要：智能電視具有操作系統，支持第三方應用資源實現功能擴展，支持多網絡接入功能，具備人機交互、與其他智能設備進行交互等。隨著計算機視覺的發展和人機交互的需要，手勢識別研究取得了蓬勃的發展，通過手勢識別對智能電視進行控制和操作，能夠更輕松、高效地使用電視設備。文章利用專利數據庫對智能電視手勢識別技術進行了數據統計和分析，對該領域的專利申請趨勢等情況做了歸納總結。

關鍵詞：智能電視；手勢識別；發展狀況；專利

中圖分類號：T-18 文獻標志碼：A 文章編號：2095-2945（2018）24-0011-03

Abstract： Intelligent TV has the operating system， which supports the third party application resources to realize the function expansion， supports the multi-network access function， has the man-machine interaction， and carries on the interaction with other intelligent devices. With the development of computer vision and the need of human-computer interaction， the research of gesture recognition has made great progress. By controlling and operating intelligent TV through gesture recognition， one can more easily and more efficiently use TV equipment. This paper makes use of patent database to analyze the data of intelligent TV gesture recognition technology， and summarizes the trend of patent application in this field.

Keywords： intelligent TV； gesture recognition； development status； patent

引言

電視是家庭娛樂休閑必不可少的家用電器。如今，電視依然是最為普及的信息傳播載體，用戶在觀看普通節目的同時，還可以上網、娛樂等。從用戶的角度出發，通過自然簡單、人性化的方式完成交互，無疑是用戶完成電視操作的最佳方式。而手勢具有直觀、自然、豐富的特點，是一種符合人們日常習慣的交互手段，是表達信息和特定意圖的良好載體，由于手勢具有上述特性，因此在對智能電視進行操控中得到了良好的運用，實現了對智能電視自然靈活地操作。

1 基于手勢識別的智能電視控制技術發展狀態分析

1.1 技術分解

本文通過檢索獲得的專利申請進行統計分析，對基于手勢識別的智能電視控制所涉及的具體技術和應用領域進行分解。

根據手勢采集設備可以將手勢識別系統大致分為基于數據手套和基于視覺的兩種手勢識別系統。其中，數據手套通過多個傳感器反饋各關節的數據，并通過位置跟蹤器返回人手所在的三維坐標，從而獲取手勢在三維空間中的位置信息和手指的運動信息。通過數據手套可以直接獲取人手在三維空間中的位置和運動參數，數據精度高，但數據手套的不足是設備較為昂貴，長時間佩戴時手部出汗等會造成用戶體驗不佳。而基于視覺的手勢識別系統，通過攝像頭采集用戶的手勢信息，從圖像中提取手勢特征，識別出相應的手勢，用戶無需佩戴額外的設備，可以直接與智能電視進行交互，降低了輸入設備的成本，對用戶的限制較少，但從圖像中識別手勢具有一定的難度。

1.2 主要應用場景

經過對檢索文獻的分析可以發現，手勢識別在智能電視的應用領域主要集中在對智能電視進行常見功能的控制、游戲娛樂以及基于手勢的視頻推薦這三個方面。通過手勢可以簡單的實現遙控器的基本功能，例如開關機、音量調節，換臺等；在游戲娛樂方面，通過手勢參與視頻游戲，增加了用戶的體驗度，豐富了游戲的形式，有利于提高用戶參與互動的熱情，增加游戲的樂趣，使體驗變得流暢自然；此外，通過用戶表情與手勢的識別，判斷用戶的偏好，例如豎起大拇指的手勢表示對某一正在觀看的節目類型的喜愛，并根據獲取的用戶偏好向用戶推薦相適應的資源節目，生成相應的EPG菜單供用戶選擇，能夠人性化地實現節目推薦。

2 數據統計分析

2.1 全球相關技術申請量年趨勢

相關技術的專利從1998年開始出現，由于識別技術要求較高，且硬件成本相對較高，期初發展較為緩慢，相關專利的申請量較少。但隨著后續識別技術的不斷創新發展，識別精度逐漸能夠滿足對各種操作的需求，且隨著人們對類似手勢控制的簡單化交互的需求的不斷增長，不斷有科研力量投入到這一領域，隨著越來越多的申請人加入了該領域，該技術從2009年到2014年得到了迅速發展，申請量增長較快，由此呈現了逐年增長的發展趨勢，保持了較高的發展水平，有較大的發展空間，總體而言，基于手勢的智能電視交互從出現以來，發展迅速，得到了較好的發展。此外，從圖2可以看出，在基于手勢的智能電視交互技術領域，美國受理的申請量最多，其次是中國、日本、韓國、歐洲和臺灣。可見，美國和中國在這一領域具有最大的消費潛力。

2.2 各技術分支的發展情況

經過對各申請的統計發現，由于基于視覺的識別技術具有較大的優勢，其只需要根據需要設置一個或多個攝像頭，通過獲取的用戶圖像中的手勢來進行各種操作，而不需要多個傳感器用于識別用戶手勢，因此在各個時期基于視覺的手勢識別技術的智能電視交互技術方面的專利申請量都優于基于輔助設備如數據手套的專利申請量。全部專利申請中，基于視覺的手勢識別占到了總數的74%，而基于數據手套的手勢識別方法多出現于早期的手勢識別以及視頻游戲領域。從發展階段上看，1999年之前專利申請主要集中通過各種技術識別手勢以實現對電視基本功能的調節，而其他運用發展相對較為滯后，1999年之后，基于手勢識別的視頻游戲的申請量開始出現，并呈現出增值的趨勢，此外，隨著技術的發展和人們對更多個性化播放的需求和其他功能多樣化的需求，又出現了通過手勢識別用戶偏好的個性化播放技術方面的專利申請以及其他方面的申請，申請量都出現了逐年上升的趨勢。

3 技術演進及核心專利分析

3.1 技術發展演進路線

通過對基于手勢識別的智能電視交互技術的專利技術進行檢索分析，得到了該領域的發展路線。從相關的圖中可以看出早期專利申請主要涉及對智能電視的基本功能的控制，如換臺、音量調節等，涉及到的手勢識別技術最早包括基于由傳感器組成的可穿戴設備的識別技術及基于視頻的手勢識別技術，再往后發展涉及到的基于可穿戴設備的識別技術較少，主要涉及基于各種基于視覺的手勢識別技術；此外，基于手勢識別的視頻游戲的發展也較早，由于手勢控制游戲操作性強，可以為用戶帶來不一樣的體驗，因此，這方面的技術也在不斷的發展和進步。另外，隨著智能電視功能的不斷發展，逐漸產生了其他的應用，如基于手勢的個性化視頻推薦、基于手勢的用戶身份識別、基于手勢軌跡的文字輸入等。可見，隨著技術的不斷發展，基于手勢識別的智能電視交互的應用領域得到了不斷的擴展，用戶參與度得到了提高，在方便操作的基礎上體驗也更加豐富。

3.2 核心專利分析

核心專利的選取參考了被引用數量及同族數量的排序，分別就識別技術及主要應用場景選取了幾篇專利進行分析。

（1）基于識別技術分支的核心專利

US1998103905A是惠普公司于1998提出的一個申請，通過可穿戴的設備識別手勢命令。其通過不同手勢及手勢持續的時間來定義手勢命令，即通過獲取手勢的位置、位置變化的時間間隔獲取手勢對應的不同指令。該可穿戴手勢指令識別裝置可以佩戴在手背，以便于檢測腕部及前臂的運動和轉動，因此各位置的手勢命令可以容易地提交到該可穿戴設備，不用借助按鍵和其他選項，就可以通過手指發送手勢命令。

此外，在通過基于運動傳感器的可穿戴式設備進行手勢識別的基礎上，有大量專利對這一技術進行了改進和優化。例如，利用生物電流的方法。具體的，做某種手勢時，相應的肌肉會產生微弱的生物電流，因此通過檢測肌肉電流的變化，配合其他傳感器檢測的加速度和角度數據，經過處理檢測出手指、手掌、手腕、手臂的運動，可以提高手勢識別的精度，為用戶提供更好的體驗。另外，還發展出了基于雷達的手勢識別裝置，這些技術和設備可以使得實現大量手勢并且通過穿戴式雷達系統使用這些手勢。替代地，可以使用穿戴式雷達系統來控制其他計算設備和與其他計算設備交互，諸如接收簡單或非常復雜的手勢，用戶不必觸摸遠程觸摸屏或旋鈕或按鈕，產生用于游戲控制器的大的身體運動，或控制聲音系統接收器來調整音量。可見，基于穿戴式的手勢識別的智能電視的交互技術雖然占總申請量的比例較小，但是并沒有由于其固有的如設備成本等問題而被淘汰，而是得到了不斷的發展，提高了用戶使用的舒適度與操作的精度。

此外，也有大量對基于視覺的手勢識別的智能電視交互技術的改進和發展，主要涉及基于視覺的手勢識別技術的優化，例如手勢圖像采集技術從2D圖像的手勢識別發展到基于3D圖像的手勢識別，手勢的檢測和分析方法涉及到基于運動信息的檢測分割、基于表觀特征的檢測分割、基于多模式的信息的檢測分割等技術；手勢識別涉及到基于模板匹配、基于人工神經網絡、基于概率統計等多種方法以及對上述已有方法的改進。

（2）基于主要應用領域分支的核心專利

a.基本控制及視頻游戲

US2003156756A1為2003年申請的一項專利，涉及一種三維手勢識別系統，利用深度感知傳感器識別手勢以實現電視基本功能的控制以及游戲操作。本申請通過識別對象的移動作為電子設備或系統，例如電視、游戲控制臺的輸入，系統檢測用戶的手指的相對位置，并解釋手的運動以作為電子設備的輸入。通過深度圖像消除背景和照明變化的影響，手勢識別系統包括三維傳感器系統、分割模塊、體位模塊和分類模塊，此外還包括姿態表現模塊以提供作為可選的手勢特征。通過上述各模塊檢測手部在特定區域內的移動，可以通過檢測和解析獲取的手勢姿態改變參數動態地創建可作為電視遙控指令或轉換為游戲中的動作。

b.基于手勢的個性化播放

US2005022239A1為于2004年提出的一項專利，涉及一種用于推薦媒體內容的系統，包括反饋系統，用于處理估計用戶反饋分數的可靠性得分，通過將當前的得分用于檢索以后用于推薦的媒體內容；該系統還包括輸入裝置，用于評級媒體系統呈現的媒體內容，輸入裝置可以進一步包括輸入的語音的麥克風或者獲取的手勢的攝像機識別裝置。反饋可以通過類似將大拇指輸入到媒體系統以標識用戶偏好，例如喜歡、厭惡、既不喜歡也不討厭，通過用戶反饋可以獲取實際觀看內容的評分用于向用戶推薦適合用戶偏好的媒體內容。即實現了通過攝像機等組成的手勢識別系統識別的手勢以判斷用戶偏好，并根據用戶偏好向用戶推薦相應的媒體內容。

c.其他應用領域

基于手勢識別的智能電視交互在其他方面也得到了發展，例如在智能電視中通過手勢實現文字輸入；通過智能電視進行購物時，通過手勢識別鑒別用戶登錄權限；用戶通過智能電視進行試衣時，通過手勢控制顯示的衣物的替換等。

我們有理由相信，隨著智能電視功能的不斷發展和進步，基于手勢的智能電視交互也一定會隨著智能電視的發展而不斷充實其應用領域，為用戶提供更多的方便。

4 結束語

本文梳理了基于手勢識別的智能電視交互技術的各技術分支及各應用領域的發展情況，并對該領域的核心專利進行了解析，有助于審查員全面了解有關技術的基本發展態勢，對審查工作有一定的幫助。

參考文獻：

[1]門樂，呂淼，胡澤，等.智能電視手勢操作技術的專利分析[J].電視技術，2013，27（S2）：6-7.

[2]劉振宇，管泉，劉瑾，等.全球智能電視姿勢識別專利分析[J].信息終端與顯示，2015，39（18）：22-32.

[3]武霞，張崎，許艷旭.手勢識別研究發展現狀綜述[J].電子科技，2013，26（6）：171-174.