從專利視角看人機交互全球技術發展態勢

孫劍鋒 夏蕓 李慧穎 / 工業和信息化部電子知識產權中心

從本期開始，“EIPC 咨詢”欄目正式與大家見面，EIPC 咨詢是由工業和信息化部電子知識產權中心研究部供稿的專利情報咨詢研究專欄。 專欄包括各行業宏觀態勢分析、知識產權評議以及熱點問題和法律政策探討等，從知識產 權視角出發為讀者研判產業趨勢，揭示發展風險，挖掘潛在機會。

更多詳細研究內容，請聯系工業和信息化部電子知識產權中心研究部。

引言

人機交互是指人與計算機之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與計算機之間的信息交換過程。伴隨計算機的更新換代和計算速度的加快，人機交互也經歷了快速的發展，人機交互進入了智能化交互階段：像人與人交流一樣簡單、自然。

圖1 全球人機交互領域專利申請趨勢

圖2 全球人機交互領域主要技術產出國年度申請趨勢

最近幾年，美國、日本等廠商推出的游戲主機風扉全球，極大刺激了人機交互技術的發展。用戶需求的多元化和對健身、娛樂的大量需求，讓廣大企業看到了新的商機，這極大的激發了眾多新創企業專注于這一領域。從全球發展狀態來看，無論是發展速度還是產業規模，人機交互領域都值得引起高度重視。

目前，全球范圍內人機交互的通用技術和研究熱點主要有以下幾個方向：手勢及體感、語音和面部。手勢及體感主要指通過對肢體的動作和位置以及手指細節狀態的偵測而實現的人與機器的信息交互及控制；語音指通過自然語言將信息在人與機器之間傳遞而實現交互；面部則主要包括對人臉、面部表情等特征的檢測識別來實現人機交互的方式。本文將從專利分析出發，依據專利優先權國或首次申請國為主要統計依據，試為讀者呈現全球范圍內，人機交互技術發展的現狀和趨勢。

人機交互進入全新階段

全球人機交互技術專利申請的總體分布顯示，語音控制占整體專利申請的近一半，手勢及體感和面部的專利申請占比分別為36%和17%。以鍵盤、鼠標等為代表的人機交互方式逐漸在娛樂等領域被語音、體感等方式為代表的新的人機交互方式所替代，人機交互技術已經進入到一個全新的階段。（見圖1）

上世紀90 年代開始，移動通信從萌芽、迅速發展到逐步穩定的階段，期間產生的大量新技術改變了人們的生活方式和消費習慣，也極大促進了相關技術的發展。2000 年后，智能終端如智能手機、平板電腦、掌上電腦的出現促進了新的交互方式的發展，再次掀起了人機交互技術發展的熱潮。

主流技術中，語音起步相對較早，2000 年左右達專利申請到高峰，近年來呈下降趨勢。面部、手勢及體感作為新的交互方式，2007 年之后迅猛發展。語音作為目前最受關注的人機交互技術之一，專利數據充分說明了目前語音交互技術發展較為成熟，技術指標能滿足一般應用的需求：僅從識別或合成等方面開展工作難以在產品的綜合體驗上產生大的突破，未來這一領域的研究重點集中在自然語言理解方面。另一方面，體感和手勢受到業界的青睞，隨著居民需求的多元化及對健身、娛樂的關注，這類技術的發展有望進一步提速。

美國獨領風騷，中國后起之秀

從全球人機交互主要技術產出國專利年度趨勢變化來看，美國和日本布局較早，中國、歐洲和韓國相對滯后。分析顯示，2000 和2010 年是美國專利申請的兩個轉折點，技術和產業發展在這兩個時間點附近都產生巨大的變化；中國作為后起之秀，近兩年來增長迅速；日本自上世紀90 年代中期開始，基本處于平穩狀態，發展速度有限；韓國近年來也有一定幅度的增長。（見圖2）

圖3 人機交互領域各技術美國專利申請年度趨勢

圖4 人機交互領域各技術中國專利年度申請趨勢

美國作為全球發展最快的代表性國家，其內在原因是擁有微軟、IBM、蘋果等眾多全球知名的高新技術企業，同時新創的技術性小企業眾多，技術積累深厚。特別是進入21 世紀后，新的人機交互方式大規模的應用于消費電子產品中，美國企業借助多年的技術積累，迅速在市場上崛起，微軟的Xbox，蘋果的iPhone 等產品風靡全球就是最好的例子。日本企業21 世紀初以任天堂Wii 游戲主機等為代表的產品迅速引領以體感為核心的游戲方式，而此時微軟用于Xbox 的體感外設Kincect 尚未出現，日本廠商一時風光無限。

專利數據則顯示日本廠商在產品上市之前進行了十余年的研發積累。另一方面，20 世紀末美國在這一領域的研發積累已經逐漸超越日本。經過十余年的發展，2010 年微軟公司將Kinect 產品推出市場，在銷售前60 天內，賣出800 萬部，成為全世界銷售最快的消費性電子產品，迅速顛覆了日本廠商之前的優勢地位，也進一步拓寬了人機交互技術的應用方式。可見，任何成功產品的推出，都進行了長時間的研發積累，在人機交互領域，這一積累過程可能長達十余年。

進一步的，對美國人機交互發展情況開展分析，梳理各個具體技術的發展歷程和現狀。（見圖3）

美國的語音交互技術專利申請從1990 年左右起步，在2000 年左右達到高峰，之后申請量進入下行通道。美國在此領域起步較早，技術發展較為成熟，貝爾實驗室、IBM 等代表性申請人早在上世紀50 年代開始就投入大量資源進行研究，并取得了相當豐碩的成果，然而限制于當時的硬件條件，其性能始終不能滿足一般用戶的日常生活需求，因此其應用范圍也僅限定于特定的場景之下。

近幾年來，以Nuance 公司等為代表的技術提供商在IBM 等公司的研究基礎之上，依托云計算、網絡技術、硬件性能的快速發展，應用深度神經網絡等理論成果大幅提高了語音識別和合成等技術的可用性，以蘋果推出Siri 語音助手為代表，使這一技術成功的進行了產品化和推廣應用。從另一方面來看，經過近半個世紀的發展，語音交互方式中“聽清楚，說明白”的階段已經基本實現，下一步更為重要的是“理解”。因而對于企業來說，仍在語音信號的分析識別階段投入過多的資源，可能回報有限。

手勢及體感領域，數據顯示美國企業在這一方面幾乎與語音同時起步，但與語音不同的是，為了實現手勢及體感的偵測和識別，可能涉及的技術更多，環境干擾也更為復雜，因而在產品化方面遲于語音技術。從市場上來看，美國市場上除了微軟成功推出Kinect 設備以外，各種手勢和體感操作裝備在近幾年也層出不窮，例如：2013 年，Leap Motion 體感控制器正式上市，實現了三維空間手勢識別設備的小型化和實用化。可以預測，未來體感和手勢將是繼語音之后有一個新的人機交互熱點，其應用范圍也會持續上升，在游戲主機之外的明星產品將很快出現。

總體來看，美國企業，特別是微軟、蘋果、谷歌、Nuance 等領軍企業在人機交互領域實力強勁。其不僅在技術上擁有深厚的積累和強大的開發能力，更在產品應用和市場推廣方面具有不可忽視的能量。另一方面，美國的眾多科技新創企業在人機交互這一領域的快速發展中起到至關重要的作用，諸多先進技術和應用的創意和技術原型都來自于這些小規模企業，行業巨頭的收購則為這些技術的進一步發展提供了更大的保障。

中國作為這一領域的后起之秀，與美國相比，既有明顯的差距，但也能從美國的發展經驗中獲得明顯的后發優勢。（見圖4）

總體來說，中國人機交互領域的發展與美國存在一定差距，但2007 年之后硬件水平的快速提高為中國語音技術提供商也提供的絕好的機會：國內企業如科大訊飛在語音方面頗有建樹，目前國內50%以上智能終端、教學設備語音控制技術都由科大訊飛提供。

2007 年以后，體感和手勢識別也進入快速發展的階段。但與美國相比，無論是時間起點或發展速度都處于劣勢地位。一方面說明中國作為新興的發展中國家在這一領域的實力仍亟待增強，另一方面，從對美國的分析可以看出，游戲主機產品對于這一領域的發展具有巨大的推動作用，而我國自2000 年起禁止游戲主機及相關產品在國內的生產銷售。數據顯示2000 年左右正是美國在這一領域開始出現大量技術積累的起點，經過十年的發展而實現了技術的產品化、市場化。因此我國的這一政策可能影響到相關人機交互技術的發展。未來一段時間，游戲主機之外的人機交互產品將大量面世，對于我國相關企業而言，是不可錯過的機會。

小結

首先，近十年特別是近五年，人機交互的方式已發生質的變化。人機交互逐漸發展到現階段的智能化交互階段，人機交互像人與人交流一樣簡單、自然。手勢及體感、語音和面部等方式成為新的、主流的交互方式。

其次，美國是全球趨勢的領導者和技術的領跑者，而中國的巨大市場受到廣泛重視。美國是這一領域全球最大的技術產出國，美國的企業實力最強，專利數量最多，年度增幅最大，美國的發展引領這全球的趨勢。而我國人機交互方面起步與全球總體相比晚了近10 年。但2000 年以后發展速度較快，年專利申請數量近5 年僅次于美國，反映出全球主要企業對在我國進行研發團隊組建、專利申請、市場推廣等方面的重視程度迅速上升。

最后，作者認為語音業已成熟，手勢及體感的交互方式即將爆發。目前，在全球大部分市場語音技術發展已經較為成熟，技術性能達到實用化的要求；而下一步的研究重點則是將語言信息轉化為操作指令即自然語言理解，目前由于人類語言的復雜性和不同語言之間巨大的差異，仍存在許多困難。而手勢及體感近年來受到廣泛關注，特別是由于體感游戲的推動而快速發展，近幾年甚至成為人機交互技術專利申請的主流。在智能電視等產品中，手勢及體感也被廣大廠商一致認為是繼語音控制之后下一個重量級的功能。分析顯示，語音技術從技術發展高峰期到市場廣泛應用大約需要5-10 年時間，而手勢和體感一方面專利和產業數據顯示其迅速升溫，同時在國外市場上游戲主機領域已經出現成熟的應用技術和模式，而近幾年消費電子產品計算能力和網絡技術、云計算技術的快速發展更使得人機交互從技術成熟到廣泛應用的過程大大縮短。綜合以上幾個因素可以推測，未來5 年之內，手勢及體感將有可能成為智能電子設備的必備功能之一，大規模的應用即將展開。

聯系方式：

李慧穎：8868-6338 lihuiying@infoip.org

孫劍鋒：8868-6371 sunjianfeng@infoip.org

彭德坤：8868-6370 pengdekun@infoip.org

黃蘊華：8868-6369 huangyunhua@infoip.org