智能電視人機(jī)交互技術(shù)及其專利布局

王艷坤

（國(guó)家知識(shí)產(chǎn)權(quán)局專利局電學(xué)部，北京 100088）

1 智能電視的概念

智能電視是傳統(tǒng)電視與各種新技術(shù)結(jié)合產(chǎn)生的。智能電視可以定義為具有操作系統(tǒng)，可以為第三方應(yīng)用提供功能擴(kuò)展，能夠?qū)崿F(xiàn)多網(wǎng)絡(luò)接入，具備人機(jī)交互功能的電視。當(dāng)前階段，智能電視具備電視點(diǎn)播、搜索、應(yīng)用商店以及個(gè)性化智能推薦等人機(jī)交互體驗(yàn)。

2 智能電視的人機(jī)交互技術(shù)

智能電視人機(jī)交互是指用戶在觀看電視或者使用第三方應(yīng)用時(shí)，通過(guò)智能遙控設(shè)備或者電視機(jī)的人機(jī)交互模塊進(jìn)行的信息交換與操作過(guò)程。

隨著計(jì)算機(jī)技術(shù)、通信技術(shù)的快速發(fā)展，人機(jī)交互技術(shù)逐漸成為智能電視行業(yè)發(fā)展的重要分支。現(xiàn)階段，智能電視人機(jī)交互包括智能遙控、語(yǔ)音識(shí)別、姿勢(shì)和手勢(shì)識(shí)別以及人臉識(shí)別等分支技術(shù)[1]。

3 智能電視人機(jī)交互技術(shù)及其專利布局

3.1 從申請(qǐng)人角度來(lái)看

調(diào)查數(shù)據(jù)顯示，2005年之前，我國(guó)智能電視人機(jī)交互技術(shù)專利的申請(qǐng)量遠(yuǎn)遠(yuǎn)落后于美國(guó)、韓國(guó)、日本等國(guó)家。但是從2008年開始，我國(guó)在該領(lǐng)域的專利申請(qǐng)量快速增加。根據(jù)中國(guó)專利全文庫(kù)（CNTXT）檢索的結(jié)果，截止2022年8月，在國(guó)家知識(shí)產(chǎn)權(quán)局提交的有關(guān)智能電視的專利申請(qǐng)共53 472件，其中智能電視的人機(jī)交互技術(shù)占27 137件，在智能電視技術(shù)發(fā)展中占有50.7%的比例。其中，中國(guó)占有22 464件發(fā)明專利，美國(guó)占2 908件，韓國(guó)占553件。中國(guó)、美國(guó)在該領(lǐng)域引領(lǐng)全球技術(shù)發(fā)展，韓國(guó)、開曼、日本等緊隨其后。世界各國(guó)在中國(guó)智能電視人機(jī)交互領(lǐng)域的專利申請(qǐng)數(shù)量如圖1所示。

圖1 世界各國(guó)在中國(guó)申請(qǐng)智能電視人機(jī)交互領(lǐng)域的專利申請(qǐng)數(shù)量圖

我國(guó)智能電視人機(jī)交互領(lǐng)域的專利申請(qǐng)量從2011年開始逐年大批量增多，尤其是2020年、2021年，申請(qǐng)量更是成倍增長(zhǎng)。專利申請(qǐng)布局主要集中在H04N、G06F、G06K等領(lǐng)域，如圖2所示。H04N、G06F、G06K屬于國(guó)際專利分類表IPC分類號(hào)。H04N領(lǐng)域涉及圖像通信信號(hào)的處理，G06F領(lǐng)域涉及電數(shù)字?jǐn)?shù)據(jù)處理，包括數(shù)據(jù)的輸入、輸出、功能器件之間的交互，信號(hào)的識(shí)別、轉(zhuǎn)換、錯(cuò)誤檢測(cè)及監(jiān)控等；G06K領(lǐng)域涉及圖形數(shù)據(jù)讀取，圖像或視頻識(shí)別和理解等。以騰訊、華為、海信、小米、百度、長(zhǎng)虹、TCL等為代表的中國(guó)企業(yè)積極在這些領(lǐng)域研發(fā)和布局，不斷發(fā)展、創(chuàng)新，領(lǐng)跑世界智能電視產(chǎn)業(yè)，并仍然在不斷地進(jìn)步與提高，擁有巨大的 潛力[2]。

圖2 智能電視人機(jī)交互技術(shù)專利申請(qǐng)趨勢(shì)圖

3.2 從智能電視人機(jī)交互技術(shù)的主要技術(shù)發(fā)展方向來(lái)看

3.2.1 智能遙控

隨著全球第一款智能電視的問世，傳統(tǒng)的紅外線遙控器已滿足不了智能電視的功能需求，智能遙控因此產(chǎn)生。智能遙控器包括簡(jiǎn)化版遙控器和多功能版遙控器[3]。

（1）簡(jiǎn)化版遙控器。簡(jiǎn)化版遙控器可以使用戶通過(guò)簡(jiǎn)單的按鍵操作便能實(shí)現(xiàn)智能遙控。簡(jiǎn)化版遙控器的設(shè)計(jì)更多地考慮了用戶的思維習(xí)慣和操作習(xí)慣，以人機(jī)工程學(xué)設(shè)計(jì)原理為基礎(chǔ)，對(duì)遙控器的大小、布局以及與電視進(jìn)行信息通信等方面進(jìn)行優(yōu)化。

（2）多功能版遙控器。多功能版遙控器既能實(shí)現(xiàn)簡(jiǎn)化版遙控器的功能，又能實(shí)現(xiàn)空間操控、語(yǔ)音遙控及觸摸操控等功能。多功能版遙控器的空間操控主要運(yùn)用在智能電視娛樂健身功能中，通過(guò)控制遙控器在空間移動(dòng)，實(shí)現(xiàn)遙控光標(biāo)的自由移動(dòng)。多功能版遙控器的語(yǔ)音遙控是指用戶通過(guò)遙控器上設(shè)置的語(yǔ)音識(shí)別模塊，將用戶語(yǔ)音指令轉(zhuǎn)換為電視能夠理解的操作指令，從而實(shí)現(xiàn)相應(yīng)的操控功能。多功能版遙控器的觸摸操控是指用戶通過(guò)遙控器上的觸摸屏，操控電視屏幕上光標(biāo)的移動(dòng)并選擇相關(guān)功能菜單。

國(guó)外企業(yè)在智能電視人機(jī)交互的智能遙控領(lǐng)域的研究和發(fā)展先于我國(guó)，且較早地進(jìn)行了專利布局[4]。但是我國(guó)在該領(lǐng)域快速發(fā)展、成熟，專利申請(qǐng)趨向穩(wěn)定，專利布局逐漸趨向完善，涵蓋技術(shù)面廣。我國(guó)的專利申請(qǐng)布局主要集中在國(guó)際專利分類表IPC分類的H04N、G06F、G06K等領(lǐng)域，多功能遙控技術(shù)在智能電視人機(jī)交互專利中占有相當(dāng)大的比重。當(dāng)前，為了進(jìn)一步完善智能電視的使用功能，提高用戶體驗(yàn)，專利申請(qǐng)布局中對(duì)遙控器的改進(jìn)包括觸摸屏觸控操作準(zhǔn)確度，麥克語(yǔ)音識(shí)別及時(shí)性及準(zhǔn)確度，增加鍵盤、鼠標(biāo)模塊以獲取空間操控功能，以及上述多種功能組件的組合模式。遙控器技術(shù)專利申請(qǐng)趨勢(shì)如圖3所示。

圖3 遙控器技術(shù)專利申請(qǐng)趨勢(shì)圖

3.2.2 語(yǔ)音識(shí)別

智能電視的語(yǔ)音識(shí)別是指將用戶的操控指令以語(yǔ)音的形式發(fā)送給智能電視，智能電視對(duì)該語(yǔ)音指令進(jìn)行理解并執(zhí)行相應(yīng)操作[5]。

國(guó)外企業(yè)在智能電視語(yǔ)音識(shí)別領(lǐng)域的研究和應(yīng)用先于我國(guó)，且較早地開始專利布局。美國(guó)、日本、韓國(guó)等國(guó)在該領(lǐng)域申請(qǐng)了大量的專利。

從2010年之后，我國(guó)的智能電視語(yǔ)音識(shí)別技術(shù)進(jìn)入快速發(fā)展階段，在該領(lǐng)域的專利申請(qǐng)一直是我國(guó)企業(yè)布局的重點(diǎn)，每年的專利申請(qǐng)量都很大，主要集中在國(guó)際專利分類表IPC分類的H04N、G06F、G06K等領(lǐng)域，具體如圖4所示，涉及語(yǔ)音信號(hào)的傳輸和接收、識(shí)別精度等方面的改進(jìn)。該領(lǐng)域?qū)＠暾?qǐng)技術(shù)的發(fā)展方向主要包括如何提高自然語(yǔ)言識(shí)別的精度，如何提高語(yǔ)音識(shí)別的完整性，音頻信號(hào)的降噪處理以及語(yǔ)音模型的改進(jìn)等多樣化的需求。

圖4 語(yǔ)音識(shí)別技術(shù)專利申請(qǐng)趨勢(shì)圖

3.2.3 姿勢(shì)和手勢(shì)識(shí)別

智能電視的姿勢(shì)識(shí)別是指通過(guò)智能電視設(shè)置的攝像頭，攝取用戶肢體實(shí)時(shí)視頻或圖像，通過(guò)數(shù)學(xué)算法或神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型對(duì)視頻圖像信息及空間數(shù)據(jù)進(jìn)行學(xué)習(xí)和判斷，以識(shí)別用戶意圖來(lái)控制智能電視的相關(guān)操作。智能電視的姿勢(shì)識(shí)別包括靜態(tài)識(shí)別和動(dòng)態(tài)識(shí)別，不僅可以識(shí)別用戶人體的整體，也可以識(shí)別人體的一部分。姿勢(shì)識(shí)別易受所處環(huán)境的影響，包括空間和光線等因素。因此，姿勢(shì)識(shí)別的算法、學(xué)習(xí)模型以及識(shí)別準(zhǔn)確性是其發(fā)展和布局的主要方向[6]。

智能電視的手勢(shì)識(shí)別是指智能電視對(duì)用戶的手或/與胳膊相結(jié)合而產(chǎn)生的動(dòng)作的識(shí)別進(jìn)而控制智能電視的操作，包括靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。其與姿勢(shì)識(shí)別的不同之處僅在于識(shí)別的對(duì)象為手勢(shì)，其也易受所處環(huán)境的影響[7]。

美國(guó)、日本、韓國(guó)等國(guó)企業(yè)在該領(lǐng)域的專利布局較早，但逐漸被我國(guó)企業(yè)趕超。從2010年開始，我國(guó)企業(yè)有關(guān)姿勢(shì)和手勢(shì)識(shí)別的專利申請(qǐng)量逐年遞增。姿勢(shì)和手勢(shì)識(shí)別逐漸成為我國(guó)企業(yè)在智能電視行業(yè)中專利布局的重點(diǎn)領(lǐng)域，主要集中在國(guó)際專利分類表IPC分類的G06F領(lǐng)域，具體如圖5所示。在該領(lǐng)域，專利申請(qǐng)技術(shù)方案的發(fā)展方向主要包括如何對(duì)姿勢(shì)和手勢(shì)跟蹤定位，如何對(duì)背景信號(hào)降噪，姿勢(shì)和手勢(shì)與人臉識(shí)別的融合等多樣化的需求。

圖5 姿勢(shì)和手勢(shì)識(shí)別技術(shù)分類號(hào)分析圖

3.2.4 人臉識(shí)別

智能電視的人臉識(shí)別是指智能電視基于數(shù)學(xué)算法或神經(jīng)網(wǎng)絡(luò)模型對(duì)人臉視覺特征信息進(jìn)行分析比較，以進(jìn)行相應(yīng)的智能操控。智能電視的人臉識(shí)別包括人臉的檢測(cè)、面部表情或特征的定位以及與人臉數(shù)據(jù)庫(kù)的比對(duì)。智能電視的人臉識(shí)別的發(fā)展主要經(jīng)歷了人臉特征的自動(dòng)識(shí)別階段，數(shù)學(xué)算法或模型的改進(jìn)階段以及外界因素影響的魯棒性提高階段[8-9]。

隨著我國(guó)企業(yè)專利保護(hù)意識(shí)的提高，在該領(lǐng)域的專利申請(qǐng)量已逐漸超過(guò)了國(guó)外企業(yè)。從2011年開始，有關(guān)人臉識(shí)別技術(shù)的專利申請(qǐng)量逐年遞增，人臉識(shí)別技術(shù)也逐步成熟和完善[10-11]。我國(guó)企業(yè)在該領(lǐng)域的專利布局集中在國(guó)際專利分類表IPC分類的G06K、G06F、H04N等領(lǐng)域方向，具體如圖6所示。目前，人臉識(shí)別技術(shù)改進(jìn)方向主要有：

圖6 人臉識(shí)別技術(shù)專利申請(qǐng)趨勢(shì)圖

（1）為提高時(shí)效性，對(duì)人臉識(shí)別所運(yùn)用的神經(jīng)網(wǎng)絡(luò)模型算法的改進(jìn)；

（2）如何減少人臉識(shí)別過(guò)程中外部因素諸如光照條件以及人臉上的胡須、頭發(fā)等影響，以提高識(shí)別精度；

（3）人臉上的眼睛視線焦點(diǎn)、嘴巴開閉程度、各種表情情緒的精確識(shí)別及智能化推薦。

4 結(jié) 語(yǔ)

根據(jù)中國(guó)專利全文庫(kù)（CNTXT）檢索的結(jié)果可以發(fā)現(xiàn)，隨著計(jì)算機(jī)和通信技術(shù)的進(jìn)步，在用戶體驗(yàn)需求不斷提升的情況下，尤其是隨著智能電視顯示屏的功能更加全面，應(yīng)用的場(chǎng)景更加多變，在不同場(chǎng)景中能夠選擇的顯示屏的尺寸也更多樣化的情況下，面對(duì)大尺寸顯示屏如超過(guò)86寸的會(huì)議白板等，智能電視人機(jī)交互技術(shù)將呈現(xiàn)多功能遙控、語(yǔ)音、體感、人臉識(shí)別相結(jié)合的多模式交互方式，如語(yǔ)音、臉部表情、嘴唇開啟閉合程度及相關(guān)動(dòng)作、手及與胳膊結(jié)合的動(dòng)作、肢體姿勢(shì)等，以充分理解用戶意圖，執(zhí)行指令操作。

在我國(guó)智能電視領(lǐng)域興起之前，美國(guó)的蘋果、谷歌、微軟，韓國(guó)的三星、LG，日本的索尼、松下等公司已經(jīng)完成了智能電視上游技術(shù)領(lǐng)域的專利布局。面對(duì)當(dāng)前國(guó)際貿(mào)易存在的很大不確定因素以及復(fù)雜的國(guó)際知識(shí)產(chǎn)權(quán)環(huán)境，以騰訊、華為、海信、小米、百度、長(zhǎng)虹、TCL等為代表的中國(guó)企業(yè)需要合理運(yùn)用知識(shí)產(chǎn)權(quán)制度，從自身技術(shù)優(yōu)勢(shì)出發(fā)，進(jìn)行智能電視人機(jī)交互領(lǐng)域的專利布局分析，梳理智能電視領(lǐng)域的全球發(fā)展脈絡(luò)，把握機(jī)會(huì)，提升自身競(jìng)爭(zhēng)力，在知識(shí)產(chǎn)權(quán)強(qiáng)國(guó)建設(shè)政策激勵(lì)下，全面提升知識(shí)產(chǎn)權(quán)創(chuàng)造、運(yùn)用和保護(hù)，創(chuàng)建中國(guó)智能電視的自有技術(shù)生態(tài)。