手機(jī)3D動畫中場景材質(zhì)的自動規(guī)劃①

李 晶

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

1 引言

全過程計算機(jī)輔助動畫自動生成技術(shù)是20 世紀(jì)90年代中國科學(xué)院陸汝鈐院士提出的一種嶄新的計算機(jī)動畫技術(shù),是將人工智能技術(shù)與電影藝術(shù)、圖形學(xué)等知識相結(jié)合,以圖形學(xué)技術(shù)為支撐,運(yùn)用人工智能技術(shù)以及電影藝術(shù)實現(xiàn)的一個全新領(lǐng)域[1].基于這個技術(shù),陸汝鈐院士率領(lǐng)科研人員研制出了一個動畫自動生成原型系統(tǒng)《天鵝》,這個系統(tǒng)能夠?qū)⒂檬芟薜淖匀徽Z言描述的故事進(jìn)行故事理解、動畫的定性規(guī)劃、導(dǎo)演規(guī)劃、攝影規(guī)劃、動畫定量規(guī)劃直至最后生成可觀看的視頻動畫.基于全過程計算機(jī)輔助動畫自動生成技術(shù),在審視了3G 通信技術(shù)及其應(yīng)用背景之后,中國科學(xué)院張松懋研究員創(chuàng)新性的提出了將3D 動畫自動生成技術(shù)應(yīng)用在手機(jī)短信上的全過程計算機(jī)輔助手機(jī)3D 動畫自動生成技術(shù),它能夠?qū)⒍绦艃?nèi)容以3D 動畫的形式展示在短信接收者的手機(jī)上[2].

動畫中場景的材質(zhì)包括基礎(chǔ)材質(zhì)、色彩、紋理和貼圖,是動畫最直觀的展示,它就像是動畫作品的包裝,獨(dú)具匠心的材質(zhì)設(shè)計往往使一個簡單的場景蓬蓽生輝[3].材質(zhì)擁有物理效應(yīng)和心理效應(yīng),不同的材質(zhì)會呈現(xiàn)出不同的視覺特征,給人不同的視覺感受,喚起人們的情感,產(chǎn)生心理感受、聯(lián)想,在3D 動畫中,提升紋理材質(zhì)與成像貼圖的美學(xué)功能,能夠更好地表現(xiàn)出鏡頭的美感,增強(qiáng)鏡頭的感染力,使畫面具有無與倫比的真實性,針對動畫場景整體的材質(zhì)規(guī)劃在呼應(yīng)主題、增強(qiáng)動畫表現(xiàn)力以及豐富動畫表現(xiàn)形式等方面能夠取得更加突出的表現(xiàn).

手機(jī)3D 動畫自動生成系統(tǒng)現(xiàn)在的版本并沒有材質(zhì)相關(guān)的規(guī)劃,場景中的模型所展示的僅僅是建模時設(shè)計的外觀,由于系統(tǒng)模型庫模型數(shù)量有限,導(dǎo)致最終生成的動畫效果較為單一,尤其是動畫場景的展示效果.為此,本文提出在手機(jī)3D 動畫自動生成系統(tǒng)中增加場景材質(zhì)的規(guī)劃,在豐富動畫展示效果、增強(qiáng)模型真實感的同時,通過不同的材質(zhì)方案反映動畫的主題,表現(xiàn)動畫的整體氣氛,帶給短信接收者更直觀的心理感受.

本文完成的主要工作是在手機(jī)3D 動畫自動生成系統(tǒng)中實現(xiàn)場景材質(zhì)的自動規(guī)劃和生成,具體內(nèi)容包括：將語義網(wǎng)技術(shù)應(yīng)用與手機(jī)3D 動畫自動生成系統(tǒng)的材質(zhì)規(guī)劃部分,構(gòu)建材質(zhì)本體庫,通過短信中的相關(guān)信息得到關(guān)于材質(zhì)的定性描述,最終在具體的動畫場景中實現(xiàn)材質(zhì)的生成.

2 動畫材質(zhì)相關(guān)研究

在計算機(jī)動畫中,材質(zhì)的研究主要包含色彩和紋理貼圖兩部分.早期的計算機(jī)動畫技術(shù)中,場景中模型的材質(zhì)都是在建模時確定的,當(dāng)需要更改模型材質(zhì)時,只能采取手動調(diào)整的方式,使得動畫場景表現(xiàn)形式較為單一[4].近十幾年來,計算機(jī)圖形學(xué)中,發(fā)展出很多關(guān)于圖像著色的方法,主要分為基于圖片引導(dǎo)和基于數(shù)據(jù)驅(qū)動兩種更改方式[5],三維場景中模型的材質(zhì)更改方法,大多由這兩種方式演變而來.基于圖片引導(dǎo)的方式通過對示例圖像進(jìn)行特征識別,擬合出一組材質(zhì)賦予場景中的模型,如趙福愷等人提出的一種從單幅圖像獲取三維場景材質(zhì)風(fēng)格的方法[6],該方法通過對場景進(jìn)行多次視圖采樣,利用反繪制技術(shù),能夠快速有效的從圖像中擬合得到多組材質(zhì)并選取最優(yōu)材質(zhì)賦予三維場景中各個模型,最終場景材質(zhì)效果取決于場景的采樣和示例圖像的選取,實際上很難得到與場景相符的示例圖像;基于數(shù)據(jù)驅(qū)動的方式通過選取大量相關(guān)的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,通過相關(guān)的輸入數(shù)據(jù)計算模型材質(zhì),Chen 等人基與數(shù)據(jù)驅(qū)動方法,提出了一種自動為三維室內(nèi)場景中的模型分配材質(zhì)的方法[7],該方法收集大量與室內(nèi)場景相關(guān)的圖像,在每幅圖像按照模型種類及材質(zhì)信息進(jìn)行標(biāo)注后作為驅(qū)動數(shù)據(jù)進(jìn)行訓(xùn)練,達(dá)到為場景中不同模型規(guī)劃材質(zhì)的目的.

基于圖片引導(dǎo)的材質(zhì)實現(xiàn)方式需要提前獲知場景的最終形態(tài)并根據(jù)場景內(nèi)容選取合適的示例圖像,對于多樣化的場景應(yīng)用極其有限,與3D 動畫自動生成系統(tǒng)每次生成動畫通過添加模型改變場景的現(xiàn)狀不符;基于數(shù)據(jù)驅(qū)動的方式需要提前準(zhǔn)備大量的具有良好效果的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,且在應(yīng)用時需要對每個模型單獨(dú)進(jìn)行計算,耗費(fèi)時間較長.結(jié)合3D 動畫自動生成系統(tǒng)實際情況,本文提出基于語義網(wǎng)技術(shù)的場景材質(zhì)規(guī)劃方法,通過構(gòu)建材質(zhì)本體庫刻畫與材質(zhì)有關(guān)的各種屬性,根據(jù)短信文本中有限的信息實現(xiàn)三維場景材質(zhì)的規(guī)劃和生成.

3 材質(zhì)自動生成的整體框架和流程

手機(jī)3D 動畫自動生成系統(tǒng)接收用戶發(fā)出的短信之后,首先進(jìn)行信息抽取,通過哈爾濱工業(yè)大學(xué)分詞系統(tǒng)對短信文本進(jìn)行分詞處理后,經(jīng)過命名實體識別、否定分析、主題識別、模板識別、情感分析等模塊對分詞結(jié)果進(jìn)行分析,將信息抽取結(jié)果以結(jié)構(gòu)化的形式輸出到系統(tǒng)指定位置保存;然后是定性情節(jié)規(guī)劃,讀取信息抽取結(jié)果后,通過評分系統(tǒng)進(jìn)行場景的選擇,根據(jù)主題、模板、情感分析結(jié)果等信息,以O(shè)ntology 知識庫為基礎(chǔ),確定添加的模型,并通過變形規(guī)劃、布局規(guī)劃、動作規(guī)劃、表情規(guī)劃、粒子特效規(guī)劃等子系統(tǒng)對場景及場景中的模型定義相關(guān)操作,將各自的屬性信息輸出;之后是定量計算模塊,定量計算依賴定性規(guī)劃結(jié)果,通過調(diào)用Maya API[8]以及mel 腳本,實現(xiàn)對動畫場景及模型的各種操作,包括空間布局計算、動作計算、變形計算、色彩計算、燈光計算、攝像機(jī)計算、粒子特效計算、表情計算、材質(zhì)計算等,得到一個與短信內(nèi)容相符的動畫文件;最后是網(wǎng)絡(luò)渲染模塊,將定量計算得到的.ma 文件上傳到系統(tǒng)的網(wǎng)絡(luò)服務(wù)器,服務(wù)器通過批處理程序渲染出一個圖片序列,使用渲染程序?qū)D片序列和音樂、字幕合成為.MP4 格式的視頻文件,并將動畫視頻發(fā)送給短信接收者.

圖1 場景材質(zhì)規(guī)劃流程圖

本文主要研究通過不同的材質(zhì)搭配方案來反映動畫的主題,表現(xiàn)動畫的整體氣氛,主要包括以下兩個部分：

(1)材質(zhì)定性規(guī)劃主要包括場景整體基調(diào)的規(guī)劃、基礎(chǔ)材質(zhì)與色彩的規(guī)劃以及紋理貼圖的規(guī)劃三個部分,其中場景基調(diào)由基礎(chǔ)材質(zhì)與色彩以及紋理貼圖來表達(dá).首先根據(jù)知識庫中關(guān)于場景的標(biāo)記屬性和信息抽取的內(nèi)容對場景進(jìn)行整體基調(diào)的規(guī)劃,確定動畫場景的整體氛圍;然后基于場景基調(diào)進(jìn)行基礎(chǔ)材質(zhì)與色彩的規(guī)劃,為場景背景和場景中每個模型分別確定基礎(chǔ)材質(zhì)及色彩搭配;最后進(jìn)行紋理貼圖的規(guī)劃,根據(jù)知識庫對場景中每個模型的屬性標(biāo)記、信息抽取的內(nèi)容以及場景的整體基調(diào)對每個模型分配紋理貼圖.定性規(guī)劃完成后生成定量實現(xiàn)所需要的定性信息,每條信息包括模型名稱、模型基礎(chǔ)材質(zhì)、模型基礎(chǔ)顏色、模型紋理名稱以及貼圖文件名等信息.

(2)材質(zhì)定量實現(xiàn)是整個材質(zhì)規(guī)劃中最重要的部分,定量計算的結(jié)果直接影響最終場景表達(dá)效果的好壞.在定量實現(xiàn)部分,首先根據(jù)定性信息中的紋理名稱及貼圖文件,通過機(jī)器學(xué)習(xí)圖像處理使得貼圖展現(xiàn)出我們需要的紋理效果;然后通過Maya 中的Hypershade系統(tǒng),調(diào)用API,根據(jù)定性信息依次創(chuàng)建材質(zhì)節(jié)點(diǎn),通過組合得到最終的材質(zhì)效果并賦予指定的模型.對于定性信息中沒有提到的模型以及場景中原有模型,根據(jù)場景基調(diào)進(jìn)行隨機(jī)的基礎(chǔ)材質(zhì)及色彩的規(guī)劃和實現(xiàn).圖1是整個系統(tǒng)的流程圖.

4 動畫場景材質(zhì)的定性規(guī)劃

材質(zhì)定性規(guī)劃的實現(xiàn),主要依靠系統(tǒng)本體庫,結(jié)合材質(zhì)知識庫進(jìn)行匹配選擇,包括材質(zhì)本體庫的建立及定性規(guī)劃設(shè)計兩個部分.在目前動畫系統(tǒng)成功運(yùn)行所使用的系統(tǒng)知識庫的基礎(chǔ)上,我們通過構(gòu)建材質(zhì)本體庫,支持動畫材質(zhì)的定性規(guī)劃.

4.1 構(gòu)建動畫材質(zhì)本體庫

本體[9](Ontology)是由AI 中的語義網(wǎng)絡(luò)演化的一種概念化的、結(jié)構(gòu)化的表示方法,能夠捕捉相關(guān)領(lǐng)域知識,提供對該領(lǐng)域知識的共同理解,確定該領(lǐng)域內(nèi)共同認(rèn)可的詞匯,并給出這些詞匯和詞匯間相互關(guān)系的明確定義,通過概念之間的關(guān)系來描述概念的語義,被廣泛應(yīng)用到知識工程、軟件復(fù)用、信息檢索和Web 上異構(gòu)信息處理.本體開發(fā)所采用的建模語言通常基于描述邏輯,本文選擇Protégé[10]本體編輯工具進(jìn)行知識庫的構(gòu)建.

整個系統(tǒng)的知識庫包括本體庫和規(guī)則庫,本文主要使用其中的本體庫.本體庫由各種動畫相關(guān)的類及屬性組成,包括主題類、模板類、動畫場景類及動畫模型類等.圍繞系統(tǒng)本體庫,最終建立的材質(zhì)本體庫如圖2所示.

材質(zhì)本體庫包含newMaterial 和scenceHypershade 兩個類,其中scenceHypershade 類為動畫場景材質(zhì)球類,分為室內(nèi)場景(inDoorScence)和室外場景(outDoorScence)兩個子類,每個子類下定義動畫場景中的材質(zhì)球?qū)嵗?通過isMaScence 屬性與系統(tǒng)本體庫中定義的動畫場景實例關(guān)聯(lián),并刻畫材質(zhì)球類型及名稱(如圖3所示).

圖2 材質(zhì)本體庫

圖3 場景材質(zhì)球?qū)嵗皩傩?/p>

newMaterial 類定義了材質(zhì)的各個基本屬性以及場景材質(zhì)風(fēng)格,包括材質(zhì)類型(HyperType),基礎(chǔ)材質(zhì)(BasicMaterial),顏色(Color),紋理(Texture),圖片(Picture)以及場景風(fēng)格(Scene_style)六個子類,其中場景風(fēng)格類有室內(nèi)設(shè)計和室外設(shè)計兩個子類,根據(jù)室內(nèi)外場景不同的特點(diǎn),室內(nèi)場景設(shè)計按照裝修風(fēng)格劃分,室外場景設(shè)計按照季節(jié)劃分,通過hasScenceBaseFor-Template 和hasScenceBaseForTopic 兩個屬性與系統(tǒng)本體庫中的模板和主題實例關(guān)聯(lián),并刻畫場景風(fēng)格實例對應(yīng)的材質(zhì)色彩、紋理和貼圖屬性(如圖4所示);基礎(chǔ)材質(zhì)類按照Maya 軟件中提供的幾種基礎(chǔ)材質(zhì)創(chuàng)建,圖片類定義了系統(tǒng)庫中的圖片素材實例,色彩類定義了各種色彩的HSV 值,紋理類包含兩個子類：程序紋理和圖片紋理,程序紋理類為Maya 軟件Hypershade編輯器中提供的二維和三維紋理,圖片紋理類依據(jù)DTD 數(shù)據(jù)集中圖片的紋理分類,定義了47 種紋理類型實例.

圖4 場景風(fēng)格實例及屬性

4.2 基于材質(zhì)本體庫的定性規(guī)劃

場景材質(zhì)定性規(guī)劃的目標(biāo)是對動畫情節(jié)規(guī)劃部分所選擇的動畫場景及新添加到場景中的模型進(jìn)行材質(zhì)的分配,根據(jù)信息抽取模塊得到的短信主題和模板來推出與短信內(nèi)容相符的材質(zhì)信息.定性規(guī)劃遵循以下的策略：

(1)根據(jù)短信主題和模板確定場景材質(zhì)的整體風(fēng)格,后續(xù)的所有材質(zhì)規(guī)劃在這個風(fēng)格上進(jìn)行;

(2)為場景背景及其中添加的模型選擇合適的材質(zhì).對于原始場景,根據(jù)材質(zhì)本體庫中定義的材質(zhì)球名稱和類別,選取材質(zhì)風(fēng)格下定義的相應(yīng)類別的材質(zhì)實例得到材質(zhì)定性描述信息;對于新添加到場景中的模型,根據(jù)適用于模型和適用于材質(zhì)風(fēng)格兩個條件選取得到貼圖、紋理和色彩的集合,從中隨機(jī)選擇實例得到材質(zhì)定性描述信息.

(3)對于信息抽取中沒有抽取到主題、模板信息或是選取得到的主題、模板沒有在材質(zhì)庫中匹配到相應(yīng)材質(zhì)風(fēng)格的情況,本文采用根據(jù)材質(zhì)庫中定義的與動畫場景相符合的材質(zhì)風(fēng)格實例進(jìn)行隨機(jī)選擇,即與信息抽取結(jié)果相分離的方法得到材質(zhì)風(fēng)格實例并進(jìn)行后續(xù)材質(zhì)規(guī)劃.

以短信“好好寫論文吧,馬上就要畢業(yè)了”為例,圖5是這條短信信息抽取的結(jié)果.對于室內(nèi)場景,材質(zhì)規(guī)劃分為兩個部分,首先是從信息抽取結(jié)果獲取場景材質(zhì)風(fēng)格,然后根據(jù)材質(zhì)風(fēng)格對添加到場景中的模型依次進(jìn)行材質(zhì)的規(guī)劃.

圖5 “好好寫論文吧,馬上就要畢業(yè)了”信息抽取結(jié)果

從圖5看出這條短信沒有抽取到明確的情緒主題或是模板,室內(nèi)場景與季節(jié)主題或模板無關(guān),所以在進(jìn)行材質(zhì)規(guī)劃時,隨機(jī)的選擇場景材質(zhì)風(fēng)格.材質(zhì)風(fēng)格確定之后,從材質(zhì)本體庫讀取到當(dāng)前所選擇場景所包含的材質(zhì)球信息如圖6所示,6(a)是room1 場景在材質(zhì)本體庫中所擁有的全部材質(zhì)球?qū)嵗?6(b)是room1_floor 材質(zhì)球的屬性信息,6(c)是中式場景材質(zhì)基調(diào)中對應(yīng)于floor 類型的材質(zhì)實例信息.

根據(jù)材質(zhì)球類型,從所選取的場景材質(zhì)風(fēng)格類下獲取相應(yīng)類別的材質(zhì)實例并保存到定性規(guī)劃文件中;然后依次處理添加到場景中的模型材質(zhì).圖7是選取到中式風(fēng)格時的材質(zhì)定性規(guī)劃信息輸出.下面的定性規(guī)劃信息的參數(shù)說明如表1所示.

圖6 room1 場景材質(zhì)球?qū)嵗龑傩孕畔?/p>

5 動畫場景材質(zhì)的定量實現(xiàn)

根據(jù)動畫場景材質(zhì)定性規(guī)劃結(jié)果,材質(zhì)的定量實現(xiàn)部分讀取到每一條定性描述信息之后,首先進(jìn)行圖像紋理的合成,并對每一條定性描述信息在具體的場景中進(jìn)行計算,得到相應(yīng)材質(zhì)的節(jié)點(diǎn)連接方法,從而達(dá)到更改動畫場景材質(zhì)的目的.

圖7 中式場景材質(zhì)風(fēng)格定性規(guī)劃結(jié)果

表1 材質(zhì)的定性規(guī)則信息描述

5.1 圖像紋理合成

在計算機(jī)動畫技術(shù)中,材質(zhì)的研究主要包含色彩和紋理貼圖兩部分.由于Hypershade 編輯器中提供的紋理類型有限且無法與貼圖同時使用,需要進(jìn)行紋理合成處理.根據(jù)Subhransu Maji 等人提出的基于機(jī)器學(xué)習(xí)的圖片紋理合成方法[11],本文使用B-CNN[12,13]網(wǎng)絡(luò),通過vgg-16 模型[14]對DTD 數(shù)據(jù)集[15]和FMD 數(shù)據(jù)集[16]進(jìn)行訓(xùn)練獲取紋理分類器,訓(xùn)練完成后將定性規(guī)劃中選擇的貼圖以及紋理屬性作為輸入數(shù)據(jù),最終得到符合相應(yīng)紋理的紋理圖片.圖8是使用圖片plank.eps 進(jìn)行圖像紋理合成的結(jié)果示例.

5.2 基于Maya Hypershade 編輯器的材質(zhì)計算

本文選擇Maya 軟件中的Hypershade 編輯器進(jìn)行材質(zhì)的定量計算.Hypershade 編輯器主要是用來制作紋理、材質(zhì)節(jié)點(diǎn)的,它是從Maya2.0 中引入的.在Hypershade 編輯器中,有3 種基本的材質(zhì)類型,分別為表面材質(zhì)、體積材質(zhì)、置換材質(zhì).Maya 軟件中使用表面材質(zhì)模擬金屬、卡通、木頭、玻璃等質(zhì)感;體積材質(zhì)多用于模擬霧、煙、云等粒子特效;置換貼圖可以實現(xiàn)真實的凹凸效果.在Maya 中,紋理貼圖不能直接指定給場景中的物體,必須與材質(zhì)球的某個屬性連接起來才能賦予場景模型,創(chuàng)建紋理時,系統(tǒng)會默認(rèn)創(chuàng)建出對應(yīng)的紋理貼圖坐標(biāo)器,用于對曲面進(jìn)行定位.紋理貼圖坐標(biāo)器可以定位紋理在UV 空間的位置及方向,還可以通過操作手柄及參數(shù)的設(shè)置來控制其在物體表面覆蓋的位移、旋轉(zhuǎn)、重復(fù)次數(shù)等屬性.利用編輯器中提供的各種材質(zhì)節(jié)點(diǎn),能夠組合得到不同效果的物體材質(zhì).

根據(jù)定性規(guī)劃結(jié)果,對場景進(jìn)行材質(zhì)規(guī)劃時,材質(zhì)類型分為組合材質(zhì)和簡單材質(zhì).按照讀取的定性信息,首先判斷是否有圖片需要處理,經(jīng)過圖像紋理合成得到符合相應(yīng)紋理特征的紋理圖片.

對于動畫場景中的單一材質(zhì),直接在程序中調(diào)用Maya API,通過Hypershade 編輯器在模型的原始材質(zhì)上進(jìn)行修改,包括修改材質(zhì)顏色,基礎(chǔ)材質(zhì)類型以及貼圖路徑等;對于組合材質(zhì),在Hypershade 編輯器中,依次創(chuàng)建相應(yīng)的材質(zhì)節(jié)點(diǎn),按照特定的組合方式完成材質(zhì)的合成,比如在基礎(chǔ)材質(zhì)上連接凹凸紋理、透明通道貼圖及色彩等,之后再賦予相對應(yīng)的模型,覆蓋模型原始材質(zhì)信息.如圖9(a)所示,在room1_floor 材質(zhì)球上連接色彩通道貼圖plank-meshed 和凹凸紋理bump2d1 后,在貼圖節(jié)點(diǎn)連接著色節(jié)點(diǎn)shadingMap1將貼圖顏色改為紅褐色再賦予場景中的地面得到圖9(b)所示效果.

在定性規(guī)劃中,一般只對場景中部分模型的材質(zhì)進(jìn)行規(guī)劃,對于那些沒有顯式定性規(guī)劃的模型,定量計算采取“就近取材”的方式,根據(jù)它在場景中鄰近模型的材質(zhì)的色彩,微調(diào)得到它的色彩.

圖8 圖像紋理合成效果

圖9 中式風(fēng)格場景地板材質(zhì)連接及效果

按照圖7的材質(zhì)規(guī)劃結(jié)果,得到圖10(b)所示的動畫截圖,在中式風(fēng)格場景地板材質(zhì)中,采用了圖9(a)所示的材質(zhì)組合方式.

圖10 定量計算結(jié)果示例

6 系統(tǒng)實驗

目前,手機(jī)3D 動畫自動生成系統(tǒng)中已經(jīng)基本實現(xiàn)了場景材質(zhì)的自動規(guī)劃模塊,本實驗的目的是驗證材質(zhì)規(guī)劃的有效性及多樣性,選取系統(tǒng)從2018年6月至2018年10月期間接收的所有短信進(jìn)行測試并統(tǒng)計測試結(jié)果.短信數(shù)量共計314 條,其中273 條短信進(jìn)行了材質(zhì)規(guī)劃,22 條短信由于程序啟動不當(dāng)未進(jìn)行定性規(guī)劃,21 條短信由于所選擇場景不適合作材質(zhì)規(guī)劃且未添加任何模型,沒有進(jìn)行材質(zhì)規(guī)劃.在進(jìn)行了材質(zhì)規(guī)劃的273 條短信中,約71.4%的短信針對動畫系統(tǒng)場景庫中的原始場景進(jìn)行了材質(zhì)規(guī)劃,改變了整個動畫場景的材質(zhì)風(fēng)格(如圖10),28.6%的短信未改變系統(tǒng)中原有的場景材質(zhì),僅改變程序添加到場景中的模型材質(zhì),這是由于系統(tǒng)未選擇使用場景庫中的原有場景,而是由程序自動生成全新場景(如圖11(a)),或是所選取的場景不適合進(jìn)行材質(zhì)規(guī)劃(如圖11(b),所選擇場景有明顯的指向為海底場景).

圖11 未進(jìn)行原始場景規(guī)劃

6.1 材質(zhì)規(guī)劃多樣性實驗

為了驗證材質(zhì)規(guī)劃的多樣性,從上述進(jìn)行了材質(zhì)規(guī)劃的273 條短信中隨機(jī)選取60 條短信,每條短信運(yùn)行10 次,統(tǒng)計600 次短信運(yùn)行的材質(zhì)規(guī)劃結(jié)果如圖12所示.圖12中,x 軸為一條短信測試10 次得到不同材質(zhì)效果的個數(shù),從圖中可知,17 條短信出現(xiàn)了7 個不同材質(zhì)效果,約占總短信數(shù)28.3%;81.7%的短信得到了5 個以上的不同材質(zhì)效果.總體來看,材質(zhì)規(guī)劃多樣性取得較好效果.

圖12 材質(zhì)規(guī)劃多樣性實驗統(tǒng)計結(jié)果

圖13 同一場景多次規(guī)劃結(jié)果

圖13是對短信“好好寫論文吧,馬上就要畢業(yè)了”多次運(yùn)行得到的不同材質(zhì)風(fēng)格的規(guī)劃結(jié)果截圖,圖13(a)是場景庫中原始場景,圖13(b)-圖13(f)依次是田園風(fēng)格場景、日式風(fēng)格場景、都市風(fēng)格場景、地中海風(fēng)格場景及中式風(fēng)格場景,材質(zhì)規(guī)劃系統(tǒng)根據(jù)短信選取到合適的場景風(fēng)格后,能夠得到一組相應(yīng)的材質(zhì)組合并對應(yīng)的選取材質(zhì)包含的色彩、貼圖及紋理.

6.2 材質(zhì)規(guī)劃效果評估實驗

為了進(jìn)一步分析添加材質(zhì)規(guī)劃后的動畫效果,本文采用調(diào)查問卷的方式評估場景材質(zhì)效果.從成功進(jìn)行了材質(zhì)規(guī)劃的273 條短信中隨機(jī)抽取80 條作為評價樣本,設(shè)計兩個評價指標(biāo),分別是“我認(rèn)為材質(zhì)效果符合動畫場景”、“我認(rèn)為材質(zhì)效果表達(dá)短信主題模板”,采用十分制進(jìn)行評價打分,得分越高,說明場景材質(zhì)效果越好.本次問卷共發(fā)放120 張,填寫調(diào)查問卷的人群為隨機(jī)抽取人員,問卷收回120 張,對調(diào)查結(jié)果進(jìn)行統(tǒng)計,統(tǒng)計結(jié)果如圖14所示.

圖14 材質(zhì)規(guī)劃效果評估性試驗結(jié)果

根據(jù)圖14得分統(tǒng)計,“我認(rèn)為材質(zhì)效果很好表現(xiàn)了短信內(nèi)容”的加權(quán)平均分為7.8,“我認(rèn)為材質(zhì)效果很美觀”的加權(quán)平均分為6.4.通過上述數(shù)據(jù)說明,在系統(tǒng)中添加材質(zhì)規(guī)劃是比較被認(rèn)可的,達(dá)到了本文設(shè)計的初步要求.在“我認(rèn)為材質(zhì)效果與短信內(nèi)容相符”的評價中,部分短信所得分值較低,主要原因是目前的材質(zhì)規(guī)劃中,當(dāng)信息抽取部分沒有抽取到短信主題、模板,或是所抽取的主題、模板在材質(zhì)庫中匹配不到相應(yīng)的材質(zhì)風(fēng)格時,所采取的方式是根據(jù)動畫場景隨機(jī)選擇材質(zhì)風(fēng)格進(jìn)行材質(zhì)規(guī)劃,導(dǎo)致材質(zhì)風(fēng)格與短信內(nèi)容不符.后續(xù)的工作中,將考慮根據(jù)短信主題之間相關(guān)性進(jìn)行主題、模板推導(dǎo),以得到相符的材質(zhì)風(fēng)格.

7 結(jié)語

本文的主要研究內(nèi)容是手機(jī)3D 動畫自動生成系統(tǒng)中動畫場景材質(zhì)的自動規(guī)劃,目前計算機(jī)技術(shù)中,對于三維場景材質(zhì)的制作,主要有基于圖片引導(dǎo)和基于數(shù)據(jù)驅(qū)動兩種方法,需要依賴有很高參照性的示例圖像或是大量材質(zhì)圖像數(shù)據(jù)集進(jìn)行材質(zhì)擬合,計算的復(fù)雜度較高且耗費(fèi)時間較長.基于手機(jī)3D 動畫自動生成系統(tǒng)動畫場景中模型添加的多樣性,本文提出基于語義網(wǎng)技術(shù)的材質(zhì)規(guī)劃方法,通過提取短信文本中有限的信息進(jìn)行材質(zhì)規(guī)劃.在開放性短信測試中,使用了314 條短信進(jìn)行測試,我們的方法對273 條短信所生成的動畫成功進(jìn)行了材質(zhì)規(guī)劃,其中218 條短信多次運(yùn)行得到了不同的材質(zhì)結(jié)果,實驗結(jié)果表明此方法能夠產(chǎn)生正確、多樣的材質(zhì)效果;同時,也發(fā)現(xiàn)目前材質(zhì)規(guī)劃系統(tǒng)中一些潛在的問題和不足,主要表現(xiàn)在以下兩方面：(1)場景中材質(zhì)的最終表達(dá)效果受燈光的影響,尤其是一些對光線比較敏感的材質(zhì);(2)材質(zhì)規(guī)劃依賴于信息抽取算法對短信文本的抽取結(jié)果,當(dāng)抽取結(jié)果不準(zhǔn)確時,可能導(dǎo)致最終場景材質(zhì)的規(guī)劃與短信語義不符.針對以上問題的改進(jìn)將是后續(xù)研究的重點(diǎn).