基于狀態(tài)機(jī)的手語(yǔ)動(dòng)畫自動(dòng)生成技術(shù)*

張軼秋 王衛(wèi)民 唐 洋 張 健

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

手語(yǔ)生成技術(shù)最早可追溯到1982年Shantz和Poizner在1983年實(shí)現(xiàn)了一個(gè)用計(jì)算機(jī)合成美國(guó)手語(yǔ)的BASIC程序［1］。在此之前，手語(yǔ)生成技術(shù)發(fā)展緩慢，主要因?yàn)槿藗儾粔蛑匾暼鮿?shì)群體，尤其是聽(tīng)障人群。隨著這個(gè)程序的問(wèn)世，越來(lái)越多的人開始關(guān)注與聽(tīng)障人群之間的交流，并將手語(yǔ)電子化。根據(jù)實(shí)現(xiàn)方式的不同，可將手語(yǔ)生成分為兩大類：基于虛擬人的手語(yǔ)生成和基于視頻拼接的手語(yǔ)生成。基于虛擬人的手語(yǔ)合成就是捕捉手語(yǔ)動(dòng)作數(shù)據(jù)構(gòu)建運(yùn)動(dòng)參數(shù)數(shù)據(jù)庫(kù)，根據(jù)輸入文本檢索出對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)，并估計(jì)軌跡進(jìn)而驅(qū)動(dòng)虛擬人運(yùn)動(dòng)。如2002年，Stephen等［2］利用動(dòng)作傳感器對(duì)手語(yǔ)表達(dá)者的動(dòng)作進(jìn)行獲取，得到相對(duì)應(yīng)的數(shù)據(jù)信息，再利用這些信息直接控制模型進(jìn)行表達(dá)，實(shí)現(xiàn)文字轉(zhuǎn)化為手語(yǔ)的過(guò)程；基于視頻拼接的手語(yǔ)合成則是直接錄制真人手語(yǔ)視頻數(shù)據(jù)庫(kù)，根據(jù)輸入文本搜索對(duì)應(yīng)的手視頻，最后通過(guò)對(duì)手語(yǔ)視頻片段的組合拼接實(shí)現(xiàn)手語(yǔ)合成。如1999年，Slavko Krapez等［3］將單個(gè)手語(yǔ)動(dòng)作錄成相對(duì)應(yīng)的視頻片段［4］，再將這些視頻片段拼接形成手語(yǔ)句子視頻。

2 相關(guān)工作

手語(yǔ)是一門極其復(fù)雜又精確的肢體語(yǔ)言，如果用建模的方式把手語(yǔ)語(yǔ)句動(dòng)作一一表現(xiàn)出來(lái)［5］，成本十分高昂，而且手語(yǔ)語(yǔ)句的重復(fù)利用率不高［6］。因此，本文采用拼接的方法把單個(gè)手語(yǔ)分詞拼接成完整句子的方式進(jìn)行手語(yǔ)生成［7］。

本文利用狀態(tài)機(jī)［8］來(lái)實(shí)現(xiàn)手語(yǔ)動(dòng)畫的過(guò)渡。使用狀態(tài)機(jī)來(lái)合成動(dòng)畫最早可追溯到Raibert等［9］利用狀態(tài)機(jī)合成了動(dòng)畫人物運(yùn)動(dòng)。之后又有許多人在此基礎(chǔ)上實(shí)現(xiàn)了動(dòng)畫人物跑步、跳躍等一系列動(dòng)作［10～12］。本文通過(guò)狀態(tài)機(jī)識(shí)別上一幀與下一幀之間的動(dòng)作差異，判斷是否插入過(guò)渡手語(yǔ)動(dòng)畫，來(lái)實(shí)現(xiàn)手語(yǔ)動(dòng)畫的平滑過(guò)渡。

狀態(tài)機(jī)［13］是表示事物狀態(tài)的一種機(jī)制。事物一般有靜態(tài)和動(dòng)態(tài)兩個(gè)狀態(tài)，狀態(tài)機(jī)通過(guò)確定狀態(tài)特征，將輸入信號(hào)運(yùn)用組合邏輯進(jìn)行狀態(tài)的轉(zhuǎn)移，將狀態(tài)從一個(gè)到另一個(gè)的流暢過(guò)渡。本文的動(dòng)畫生成技術(shù)運(yùn)用了狀態(tài)機(jī)狀態(tài)轉(zhuǎn)移這一特性，對(duì)手語(yǔ)動(dòng)作進(jìn)行中間狀態(tài)的過(guò)渡，使動(dòng)作與動(dòng)作之間呈現(xiàn)更流暢，平滑。

狀態(tài)機(jī)在手語(yǔ)動(dòng)畫生成中有很好的運(yùn)用。在手語(yǔ)動(dòng)畫中，動(dòng)畫即狀態(tài)，我們通過(guò)設(shè)定一個(gè)起始狀態(tài)，或者可以說(shuō)是一個(gè)過(guò)渡狀態(tài)，如關(guān)鍵幀一樣，所有的動(dòng)畫都由這個(gè)狀態(tài)過(guò)渡，我們?cè)O(shè)定為T狀態(tài)，就像一個(gè)人伸直手臂一樣，這樣使得生成的動(dòng)畫更加流暢。

3 手語(yǔ)生成方法

手語(yǔ)生成技術(shù)是將一段完整的文字或語(yǔ)音轉(zhuǎn)換為手語(yǔ)動(dòng)畫的過(guò)程。手語(yǔ)生成主要由手語(yǔ)詞匯動(dòng)畫庫(kù)的建設(shè)、句子分詞、分詞找同義詞及手語(yǔ)動(dòng)畫拼接等技術(shù)組成。

3.1 手語(yǔ)詞匯動(dòng)畫庫(kù)的建設(shè)

手語(yǔ)詞匯動(dòng)畫庫(kù)的建設(shè)是手語(yǔ)生成中最基本也是最重要的環(huán)節(jié)。系統(tǒng)利用該技術(shù)通過(guò)各種渠道建立手語(yǔ)詞匯庫(kù)，其中包括字母、稱謂、職業(yè)、姓氏、衣物、食品、日用品、時(shí)間、空間、生活、社交、哲學(xué)、心理、民族、宗教、交通郵電、農(nóng)牧副漁、文化、體育、衛(wèi)生、科學(xué)、數(shù)學(xué)、物理、化學(xué)、生物、洲洋國(guó)家名稱、動(dòng)植物等54大類共5234張常見(jiàn)手語(yǔ)圖片。將這些自然手語(yǔ)分詞對(duì)應(yīng)成每個(gè)分詞序列，借狀態(tài)機(jī)這一媒介進(jìn)行動(dòng)畫生成，構(gòu)成完整真實(shí)的手語(yǔ)動(dòng)畫片段，然后整合到動(dòng)畫庫(kù)中去。

3.2 句子進(jìn)行分詞

因?yàn)槊總€(gè)句子都由單詞或詞組組成［14］，該步驟是將一段文字（句子）進(jìn)行拆分，分成許多個(gè)單詞或詞匯的集合。

3.3 分詞找同義詞

同義詞目前采用人工錄入的方式進(jìn)行。經(jīng)過(guò)多年的積累，系統(tǒng)常用詞匯基本上都有比較全的同義詞集，其中詞條已達(dá)千萬(wàn)級(jí)。對(duì)公交報(bào)站常用語(yǔ)句的同義詞進(jìn)行了擴(kuò)展，形成標(biāo)準(zhǔn)詞。

此外，系統(tǒng)還對(duì)標(biāo)準(zhǔn)詞進(jìn)行了擴(kuò)展，運(yùn)用了術(shù)語(yǔ)語(yǔ)義網(wǎng)。例如：國(guó)家，可以擴(kuò)展為馬來(lái)西亞、阿根廷、斯里蘭卡等。將標(biāo)準(zhǔn)詞的范圍擴(kuò)大，將相關(guān)聯(lián)的所有詞匯進(jìn)行擴(kuò)展整理，豐富句子的含義，使句子表達(dá)更加準(zhǔn)確，也為之后的手語(yǔ)動(dòng)畫生成的準(zhǔn)確性提高作貢獻(xiàn)。

通過(guò)將句子進(jìn)行分詞后找到對(duì)應(yīng)的同義詞、近義詞，擴(kuò)展成標(biāo)準(zhǔn)詞，再找到手語(yǔ)詞匯動(dòng)畫庫(kù)與之對(duì)應(yīng)的手語(yǔ)動(dòng)畫序列，進(jìn)行含義的表達(dá)。

3.4 動(dòng)畫拼接（基于狀態(tài)機(jī)）

從手語(yǔ)詞匯動(dòng)畫庫(kù)中找到詞匯序列所對(duì)應(yīng)的動(dòng)畫，形成手語(yǔ)動(dòng)畫序列，這就是手語(yǔ)動(dòng)畫拼接過(guò)程，則有如下定義：

定義 1：WS（手語(yǔ)詞匯庫(kù)）=（W1，W2，…，Wn）其中，Wi是第i個(gè)手語(yǔ)詞匯。

當(dāng)i＜j時(shí)，Len（Wi）＜Len（Wj）

定義2：詞匯Wi的手語(yǔ)詞匯動(dòng)畫表。

T（Wi）=｛A1，A2，…，An｝

把每個(gè)手語(yǔ)動(dòng)畫序列看成一個(gè)狀態(tài)，則手語(yǔ)動(dòng)畫生成方法可如圖1所示。

圖1 原狀態(tài)機(jī)示意圖

在此狀態(tài)機(jī)中，所有詞都互相連接，由判斷條件判斷是否可以直接連接，此狀態(tài)機(jī)運(yùn)行較快，但缺點(diǎn)也很明顯：若有新詞匯添加時(shí)，需添加一個(gè)新的狀態(tài)，同時(shí)添加新?tīng)顟B(tài)與現(xiàn)有詞匯狀態(tài)的相互連接以及添加與T-box狀態(tài)之間的連接。這樣，當(dāng)詞匯較多時(shí)程序的代碼將極其龐大，不利于維護(hù)。所以本文將此狀態(tài)機(jī)改為如圖2所示。

圖2 現(xiàn)狀態(tài)機(jī)示意圖

一段手語(yǔ)詞匯序列［15］，狀態(tài)機(jī)通過(guò)上圖機(jī)制將其生成為手語(yǔ)動(dòng)畫序列。每個(gè)手語(yǔ)詞匯之間互不相連，都與any狀態(tài)互相連接，從而產(chǎn)生間接的聯(lián)系。這樣的優(yōu)點(diǎn)在于有新的詞匯添加時(shí)只需添加新詞匯與any狀態(tài)的兩個(gè)關(guān)聯(lián)，和與T-box狀態(tài)的一個(gè)關(guān)聯(lián)即可。減少了詞與詞之間的關(guān)聯(lián)［16］，減少了工作量，也減輕了系統(tǒng)的運(yùn)行負(fù)擔(dān)。

4 數(shù)據(jù)集和評(píng)估標(biāo)準(zhǔn)

4.1 數(shù)據(jù)集

公交手語(yǔ)常用語(yǔ)句庫(kù)。

4.2 評(píng)估標(biāo)準(zhǔn)

1）分詞識(shí)別率：

（1）單個(gè)句子的識(shí)別率

S表示手語(yǔ)句子；W（S）表示每個(gè)句子分成的每個(gè)詞語(yǔ)的個(gè)數(shù)；N（W）表示分詞W中，產(chǎn)生手語(yǔ)的詞的個(gè)數(shù)；所以，單個(gè)句子S的識(shí)別率可表示為：

（2）句子庫(kù)的識(shí)別率

SS=｛S1，S2，…｝表示句子S對(duì)應(yīng)的測(cè)試集；n是句子庫(kù)SS中每個(gè)句子的數(shù)量；所以，句子庫(kù)SS的識(shí)別率可表示為

2）識(shí)別精度

識(shí)別精度指的是給一個(gè)句子，產(chǎn)生手語(yǔ)，讓聽(tīng)障人士去理解，是不是句子所表達(dá)的含義；如果能完全理解，說(shuō)明句子產(chǎn)生的手語(yǔ)理解率為100%；完全無(wú)法理解為0%。

LS=｛L1，L2，…，Lm｝表示多個(gè)聽(tīng)障人士，形成的一個(gè)庫(kù)；m表示聽(tīng)障人士L的個(gè)數(shù)；P（S，L）代表聽(tīng)障人士L對(duì)句子S自動(dòng)產(chǎn)生的手語(yǔ)進(jìn)行語(yǔ)義打分，表示聽(tīng)障人士對(duì)句子的理解程度。聽(tīng)障人群LS對(duì)句子S的理解程度（識(shí)別精度）可表示為

聽(tīng)障人群LS對(duì)句子庫(kù)SS的理解程度（識(shí)別精度）可表示為

5 實(shí)驗(yàn)

我們將本系統(tǒng)的手語(yǔ)動(dòng)畫自動(dòng)生成技術(shù)應(yīng)用于公交手語(yǔ)報(bào)站系統(tǒng)。對(duì)公交車的手語(yǔ)報(bào)站進(jìn)行識(shí)別精度的實(shí)驗(yàn)。

對(duì)每一個(gè)站點(diǎn)的報(bào)站用本文算法生成一段手語(yǔ)動(dòng)畫視頻，讓聽(tīng)障人群理解，用評(píng)估標(biāo)準(zhǔn)去評(píng)價(jià)每一段生成的手語(yǔ)動(dòng)畫質(zhì)量。

例句：

“鎮(zhèn)江移動(dòng)”溫馨提示，您現(xiàn)在乘坐的“1”路公交車，是從“科技新城東園”開往“迎江橋”，全程22個(gè)站臺(tái)，下一站是“明都大酒店”。

句子分詞：鎮(zhèn)江、移動(dòng)、提示、您、乘、1、公交車、科技、新、城、東、園、去往、迎江、橋、全部、22、站臺(tái)、下一個(gè)、站臺(tái)、明都、酒店。

手語(yǔ)分詞：鎮(zhèn)江、移動(dòng)、提示、您、乘、1、公交車、科技、新、城、東、園、去往、橋、全部、22、站臺(tái)、下一個(gè)、站臺(tái)、酒店。

得出這句的分詞識(shí)別率為90%；由聽(tīng)障人群判斷得出識(shí)別精度為80%。以上過(guò)程進(jìn)行反復(fù)對(duì)比、比較，結(jié)論如表1，自動(dòng)手語(yǔ)生成在分詞識(shí)別率和識(shí)別精度上都有良好的表現(xiàn)。

表1 手語(yǔ)動(dòng)畫識(shí)別精度

本文還用人工手語(yǔ)報(bào)站來(lái)檢測(cè)本文手語(yǔ)動(dòng)畫生成技術(shù)的有效性，識(shí)別精度如圖3所示。可以看出，動(dòng)畫手語(yǔ)報(bào)站的識(shí)別精度與人工手語(yǔ)報(bào)站在識(shí)別精度上相差不大，聾啞人都可以有效地理解。

圖3 識(shí)別率對(duì)比圖

6 結(jié)語(yǔ)

本文將狀態(tài)機(jī)應(yīng)用于手語(yǔ)動(dòng)畫生成［17］中，設(shè)計(jì)了基于狀態(tài)機(jī)的手語(yǔ)動(dòng)畫自動(dòng)生成技術(shù)算法，生成的手語(yǔ)動(dòng)畫，準(zhǔn)確率高。本文的創(chuàng)新點(diǎn)在于基于狀態(tài)機(jī)的手語(yǔ)動(dòng)畫自動(dòng)生成技術(shù)［18］，實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展［19］，解決了手語(yǔ)資源無(wú)法動(dòng)態(tài)擴(kuò)展的問(wèn)題［20］；生成的動(dòng)畫連貫、自然。下一步工作，豐富手語(yǔ)庫(kù)，可以向云方面發(fā)展，將手語(yǔ)動(dòng)畫存儲(chǔ)到云服務(wù)器，更方便調(diào)用。