手機短信3D動畫中光照規劃的自動生成①

黃 蕾,王曉飛

(北京工業大學 信息學部,北京 100124)

手機短信3D動畫中光照規劃的自動生成①

黃 蕾,王曉飛

(北京工業大學 信息學部,北京 100124)

手機短信3D動畫自動生成系統是根據發送方短信的內容,經過信息抽取、語義分析等一系列步驟,最終生成一段與短信內容匹配的三維動畫并發送給接收方.動畫中光照不僅能照明整個場景,還能起到烘托主題、表現氛圍等作用.本文重點研究面向手機短信3D動畫自動生成系統中光照的自動生成,主要從定性規劃和定量計算兩方面著手.定性規劃的主要任務是通過本體庫刻畫與光照相關的主題、模板,利用規則庫將主題、模板、場景、光照屬性等以規則的方式關聯起來.定量計算的主要工作是結合具體場景,將定性規劃的信息轉化為具體數據,然后調用Maya API,將定性規劃的結果在Maya場景中實現.

三維動畫; 定量計算; 定性規劃; 光照效果

1 引言

手機短信作為現代通訊方式,以其便捷、及時、實惠等特點成為當代人日常交流工具.但短信內容的枯燥、乏味,也是人們選擇其他通訊工具的主要原因.為了彌補短信內容的枯燥、乏味,中科院張松懋研究員將全過程計算機輔助動畫自動生成技術[1]應用到手機短信中,提出并研發了面向手機短信3D動畫自動生成系統.該系統將圖形學知識與人工智能技術相結合,把短信文本轉化為一段與短信內容匹配的三維動畫,并發送給接收方.同時,4G及無線網絡通信技術的發展也為該應用的實現提供了良好的先決條件.

在影視、動畫作品中,光照效果的好壞直接關系到作品的成敗,不論是角色、場景還是道具都需要進行合理的光照設計.因此,光照效果的塑造是影視、動畫作品制作的重要環節.在影視、動畫作品的用光中,光的語言有兩種形態:直接呈現的語言和暗示性語言.直接呈現的語言是指在作品中通過光照再現出被攝對象的真實形態,畫面的意義是直接由被攝對象表達出來的.暗示性語言,屬于一種光線氣氛,是通過光線效果制造出表象的意味[2].

初期,手機短信3D動畫自動生成系統中并不存在光照規劃,僅在已有的場景中設置幾盞固定的燈光,而且這些燈光的顏色和亮度都不會改變,這樣容易造成光照效果在場景中一成不變,并且不能保證光照效果與短信表現的內容相匹配.同時,隨著完全自動生成場景的實現,系統中也需要一個完整的光照規劃與之配合.為此,本文提出在手機短信3D動畫自動生成系統中增加光照規劃.使添加光照規劃后的動畫視頻滿足以下效果:一、塑造時空間感,光照在動畫場景中不僅起到照明的作用,還可以通過光照描述時間、展現靜態空間的立體感等[3,4]; 二、通過光照奠定動畫場景的基調,表現動畫的氣氛和氛圍,突出短信的主題.

本文完成主要的工作是首次在3D動畫自動生成系統實現全過程光照自動生成.具體內容包括:將語義網技術應用于手機3D動畫自動生成系統的光照規劃部分,構建光照本體庫和規則庫,并通過情節推理對動畫的光照進行規劃.

2 相關工作

在生活、電影、藝術品的布光中,通常采用美國設計大師查德·凱利(Richard Kelly)提出的三點照明法[5],該方法提到的照明有:Ambient Light(環境照明)、Focal Glow Light(焦點照明)、Scene Lighting(情景照明).環境照明的作用是照亮整個場景,焦點照明的作用是塑造形象,情景照明的作用是表現氣氛、氛圍等.這種方法可以將人物或模型的立體感、縱深感等基本造型呈現在鏡頭中,是一種保證被攝物體基本造型的程式化照明方法.

在三維動畫布光中,根據人工干預的工作量,將光照規劃分為三類:非自動規劃、半自動規劃、自動規劃.非自動光照規劃是人為手工調節或設置場景中的燈光.通常,動畫設計師借鑒三點照明法的思想對場景布光,通過主光描繪物體的輪廓,輔光照亮主光沒有照亮的部分,輪廓光勾畫物體的外輪廓,背景光烘托整個環境的氣氛和基調[6].半自動光照規劃是借助動畫軟件,預先設置若干種光照布局,根據場景或情景表現的需要,來選擇所需要的光照布局.例如2010年德國烏爾姆大學的Holger Dammertz[7]等人建立了一種基于認知的全局照明系統,包括一個主光源和多個輔助光源.這個燈光系統可以通過對局部和整體形狀的認知來表達視覺信息.陳鵬[8]提出一種針對三維光影效果進行快速控制的方法,依據三維場景中光源的特點,構建燈光陣列,預設置若干種不同時段的場景效果,然后人工選擇適合的光照效果.自動光照規劃,一般運用于自動生成系統中,依據場景中燈光的特性,結合劇本知識,自動生成與劇本匹配的光照效果.趙燁[9]提出在手機3D動畫自動生成系統中增加通用燈光布局和專用燈光布局,通用燈光布局表示一個燈光布局可以運用于多個動畫場景,而專用燈光布局只適合一個特定的動畫場景.劉暢[10]提出在手機3D動畫自動生成系統中增加燈光背景組合規劃,將自動生成燈光與場景的背景關聯起來.

3 系統介紹

3.1 系統流程

手機短信3D動畫自動生成系統是以中文短信作為輸入,使用機器學習算法的思想和方法對短信內容預處理.包括信息抽取、情感分析、命名實體識別等步驟.本系統利用哈爾濱工業大學自然語言處理系統對短信進行標注,再經過命名實體識別[11]和否定分析器[12],提取出短信中的主題、模板等信息,然后將這些信息作為各個子系統的輸入,進入下一步處理步驟.其中,子系統主要包括情節規劃子系統、變形規劃子系統、動作規劃子系統等,它們分別實現動畫中的情節、模型的變形,人物的動作等功能.這些子系統并不是簡單的耦合,而是有一定的關聯.例如,情節規劃的結果包含喝水的信息,那么動作規劃根據情節規劃結果生成喝水的動作.每個子系統通常是由定性規劃和定量計算兩部分構成的.定性規劃實現的是依據信息抽取的結果,對情節、人物動作、攝像機、光照等進行初步規劃,生成定性描述語言; 定量計算是根據場景、模型等,將定性規劃的結果轉化為具體的數值,通過調用 Maya API生成相應的動畫文件.最后,系統將動畫文件經過渲染與合成處理,生成可以播放的動畫視頻,把動畫視頻的網址、短信內容發送到接收方.圖1為系統流程圖.

圖1 手機短信3D動畫自動生成系統流程圖

本文研究的光照規劃主要包括光照定性規劃和光照定量計算兩部分,具體內容包括:

(1)光照定性規劃是整個光照規劃的核心部分,最終呈現的光照效果與定性規劃結果密切相關.它依據信息抽取結果為輸入,首先根據光照本體庫、光照規則庫,生成初步光照指令,然后結合場景中影響光照的其他定性規劃結果(例如,霧雨雪等),修正初步光照指令,最終將修正后的光照指令以XML形式輸出.主要工作包括建立光照本體庫、建立光照規則庫、將光照本體庫與系統本體庫關聯等.

(2)光照定量計算是光照規劃最后階段,主要任務是將定性規劃結果在動畫場景中實現.具體工作包括:場景中燈光位置的計算、燈光顏色計算、燈光亮度計算等.

3.2 Maya軟件內置燈光

手機短信3D動畫自動生成系統底層通過三維軟件Maya實現的,為此有必要了解一下Maya中光源系統.Maya光源系統中內置有六種基本燈光:Ambient Light、Directional Light、Point Light、Spot Light、Area Light和 Volume Light.各種燈光除了具有亮度、顏色基本屬性[13]外,還具有一些其他特性,具體屬性如表1所示.

表1 Maya 光源系統中基本屬性部分對比

本文主要通過燈光的顏色、亮度、特效、陰影來表現短信的環境、氣氛.燈光顏色是依據色彩理論知識,根據顏色的冷暖色調,設置相應的屬性值.本文中,顏色的色調分為暖色調、冷色調和中性色調.其中紅、黃、橙為暖色調,青、藍為冷色調,灰色、白色為中性色調.燈光亮度是燈光在場景中的照射效果,分為亮光、正常光和暗光.特效是依據燈光是否可以產生特殊的效果劃分的,例如點光源可以模擬太陽光光輝、光霧的效果.陰影說明燈光照射到模型的時候是否燈光亮度是燈光在場景中的照射效果,分為亮光、正常光和暗光.

4 光照定性規劃

光照定性規劃的實現,主要依靠內容豐富的系統本體庫,結合光照知識庫進行邏輯推理.其中,系統本體庫經課題組成員的逐步完善,已經實現了基本的架構,并且成功的運用到系統中,實現了情節規劃這一重要模塊.下面簡單介紹一下已有的本體庫,然后對光照知進行設計進行介紹.

4.1 系統本體庫

本體(Ontology)[14]是共享概念模型形式化的規范說明,是對一個特定領域中重要概念的共享的形式化描述.其概念包括概念(Conceptualization)、明確(Explicit)、形式化(Formal)、共享(Share)四個方面.它是由AI中語義網絡演化的一種概念化、結構化表示方法,被廣泛應用到知識工程、軟件復用、信息檢索和Web上異構信息處理等領域.

Protégé[15]是由斯坦福大學開發的一個開源本體編輯器.它提供了本體概念類、關系、屬性和實例的構建,并且屏蔽了具體的本體描述語言,用戶只需在概念層次上進行領域本體模型的構建.它界面操作簡單,構建的本體以樹形結構顯示.基于以上特點,本系統構建本體庫的工具采用Protégé.

整個系統知識庫包括本體庫和規則庫.本體庫由各種動畫相關的類及類的屬性組成的,主要包括Topic(動畫主題類,如圖2 所示)、Template(動畫模板類,如圖3 所示)、Animation Scene(動畫場景類)、Animation Model(動畫模型類)等.Topic 和 Template 是整個系統定性部分的中心,主題類分為節日類、情感類、動作類等,常用于描述短信中的時間、地點、節日等,模板類是主題類的補充,分為季節類、情緒類、食物類等.圖2-3為部分主題類與模板類截圖,其中每個大類下面還有具體的小類.

圖2 部分主題類截圖

圖3 部分模板類截圖

4.2 光照本體庫建立

為了構建光照本體庫,需要對Maya軟件中光源系統進行抽象,建立燈光類作為父類,及建立燈光類型(如圖4所示)、燈光色調(如圖5所示)、燈光亮度(如圖6所示)等子類.其中燈光類型類包括Maya光源系統中六種基本燈光類型; 燈光色調類分為靜態的和動態的,靜態色調類包括冷色調、暖色調和中性色調,動態色調類由兩種靜態色調類構成,描述燈光色調的變化; 同理,燈光亮度類也包括靜態亮度類和動態亮度類.

圖4 燈光類型示意圖

圖5 燈光色調類示意圖

圖6 燈光亮度類示意圖

4.3 光照規則庫的設計

為了增強知識表示能力和推理能力,人們提出了一種新的用語義方式呈現規則的語言——SWRL(Semantic Web Rule Language)[16].SWRL 規則部分的概念是由 Rule ML演變而來,目前SWRL已經成為W3C的規范之一.

本文使用SWRL RULS建立添加光照效果的規則.這些規則為定性部分的推導提供了支撐.

下面舉例光照規則說明:

AngryTopic(?t)∧AnimationScene(?a)∧coldHue(?m)∧ lightSuitableForTopic(?m,?t)→addLightToMa(?m,?a)

該規則表示:情節規劃給出一個動畫場景(AnimationScene),從短信中抽出一個生氣的主題(AngryTopic),并且有一個光照效果(coldHue)能夠表現這個主題,則將此光照效果添加到場景中.根據上述規則,獲得適合表達短信主題的光照實例,讀取該光照的顏色值,存入定性信息中.

4.4 光照定性輸出描述

光照定性輸出描述以情節規劃結果作為輸入,經過光照定性規劃,最終生成光照定性規劃描述.照定性規劃結果,下面給出一條具體示例:

上述示例表明,該燈光是在室外自動生成的動態環境光,沒有陰影和特效,初始顏色為白色,亮度為一般亮度,顏色和亮度在150幀處開始變化,變化后的顏色和亮度分別為黃色和強光.該燈光的變化可以表現動畫中自然環境由寒冷變溫暖或者氣氛變得溫馨的效果.根據上述設計的定性規劃,我們列舉如下兩個示例,如表2所示.

表2 短信“天陰了,馬上要下雨了,我們趕緊回家吧”的定性規劃描述

5 燈光位置計算

定量計算是根據具體場景,將定性生成的屬性值轉化為具體數值.其中,計算的數據包括燈光顏色、燈光亮度、場景中燈光的位置等.燈光的顏色是通過色彩理論知識計算所得.燈光亮度是通過大量實驗,找到比較合理的范圍,既能有效區分亮度的級別,又能減少渲染時間.燈光位置的計算,需要結合場景的類型,設計不同的計算策略.對于室內場景中燈光位置的計算,需要對室內場景的邊界位置提前做標注并且確保最終生成的燈光不在模型內部; 室外場景中燈光位置的計算需要考慮場景中模型y軸的最大值和天空球的高度.

在影視、藝術品的布光中,關于燈光位置的論述,最常用的是三點照明法.三點照明法實際上指的是光從三個不同的角度對物體進行照明,這三個燈光分別是:主光、輔助光和輪廓光.主光為物體提供主要照明,光照強度最為強烈,其位置一般與攝像機和物體所在直線成45度角.輔助光主要對場景中的物體進行輔助照明,用來補充主光沒有涉及到的區域,其位置一般與主光垂直.輪廓光一般放置在與主光源相對的位置,主要為了突出物體的輪廓,從而將場景中主體從背景中分離出來,增加主體的深度感、立體感,如圖7所示.

圖7 三點照明示例

依據三點照明法的思路,結合Maya場景中光照效果和手機短信3D動畫自動生成系統中渲染模塊的承受力,本文采用的是三點照明法中的主光和輪廓光.主光的主要作用是照明場景,輪廓光的主要作用是突出場景中主體.結合場景類型、場景邊界、攝像機位置、模型位置等,我們設計如下位置規劃算法.

算法1.位置規劃算法LPA(Location Planing Algorithm)輸入:場景名字M.ma,燈光名字lightName輸出:lightName的三維坐標(x,y,z)LPA(Ma,lighName)Begin(1)x=y=z=0;(2)maxX=maxY=maxZ=0;(3)If Ma為室內場景 //室內場景(4)maxX,maxY,maxZ的值為房屋邊界最大值(4)Else //室外場景(6)maxX,maxY,maxZ的值為室外場景地面最大值(7)獲取攝像機初始位置的三維坐標(a1,b1,c1)(8)獲取攝像機所有拍攝目標的中心位置的坐標(a2,b2,c2)(9)取一點A(x,y,z),與(a1,b1,c1)和(a2,b2,c2)兩點所在直線成45度角,距(a2,b2,c2)長度為(10)while(x>maxX||y>maxY||z>maxZ)//燈光坐標不在場景內,需要移動(11)x=x-2,y=y-2,z=z-2(12)If lightName is ambientLight //輪廓光,與主光關于(a,b2,c2)對稱(13)(x,y,z)最新值為(x,y,z)關于(a2,b2,c2)對稱的位置(14)輸出lightName的三維坐標(x,y,z)(15)Else //主光,直接輸出即可(16)輸出lightName的三維坐標(x,y,z)End■(a2?a1)?(a2?a1)+(b2?b1)?(b2?b1)+(c2?c1)?(c2?c1)

根據上述算法描述,首先根據場景類型不同計算場景的邊界,然后根據三點照明法的思路計算燈光位置,如果燈光位置在邊界外,需要移動燈光位置,保證生成的燈光在場景中,最后判斷燈光類型,如果燈光是輪廓光,需要保證燈光位置在物體背面,如果是主光,需要保證燈光位置在物體正面.

圖8是根據表2的定性規劃結果,經過位置規劃算法,以及燈光亮度計算、燈光顏色計算等,最終通過渲染與合成等步驟,生成動畫的截圖.

圖8 根據表2 生成動畫后部分截圖

6 實驗及結果分析

實驗包括光照規劃評估實驗與光照規劃多樣性實驗兩部分,其中光照規劃評估實驗的目的包括兩方面,一方面評估光照效果是否符合當前動畫場景,另一方面評估是否可以通過光照效果表達短信主題.多樣性實驗的目的是驗證是否可以有多種光照效果表達同一條短信內容.

6.1 光照規劃評估實驗及分析

根據實驗目的,本人統計了課題組2016年5月到11月之間測試的短信,共計320條,測試人員為課題組人員,短信內容為開放的文本,內容長度一般在20字之內.其中添加失敗的有 17 條短信,造成原因有:人為啟動程序不當、渲染服務異常.其余303條短信全部生成動畫并且實現自動添加光照效果.由于實驗結果是以動畫的形式展現,為了進一步分析添加動畫后的效果,本文采用調查問卷的方式評估光照效果.從成功添加燈光效果的303條短信中隨機抽取120條,設計兩個評價指標,分別是“我認為光照效果符合動畫場景”、“我認為可以通過光照效果表達短信主題”,所有指標均采用十分制,評價分值越高,說明光照效果越好.本次問卷共發放120張,填寫調查問卷的人群為隨機抽取人員,都是非課題組成員,收回 120 張,并對其統計.統計結果如圖9所示.

圖9 光照規劃可行性實驗統計結果圖

根據圖9得分統計,“我認為光照效果符合動畫場景”的加權平均分為7.8,“我認為光照效果可以表達短信主題”的加權平均分為 5.4.通過上述數據說明,在系統中添加光照規劃是比較被認可的,達到了本文設計的初步要求.

在“我認為光照效果符合動畫場景”的評價中,部分分值低于4分,主要原因有雪地場景反光、部分模型材質的反光.“我認為光照效果可以表達短信主題”評價得分較低的原因:(1)與觀看者主觀因素有關,針對同一個動畫視頻,不同的觀看者可能對動畫中的光照效果有著不同的理解; (2)同一個動畫視頻,在不同分辨率的顯示器上播放,差異也很大.為此,在后續的光照規劃改進過程中主要注意兩方面工作:(1)材質對光照的影響; (2)更多的學習在影視、動畫中布光技巧,提高通過光照效果表達短信主題的能力.

6.2 光照規劃多樣性實驗及結果分析

光照規劃多樣性不僅體現在相同的主題或模板,會有不同的光照效果; 也體現在光照定性規劃相同的情況下,定量計算中光照亮度及顏色也會有差別.這就使得光照規劃在符合情節表達的基礎上擁有了更多的變化,豐富了動畫的視覺效果,這也是光照規劃另一個較大的優點.為此,本次試驗選取了 50 條短信,每條短信分別進行10次光照規劃,統計每一條短信會有多少種不同的光照效果,得到統計結果如圖10所示.

圖10 光照規劃多樣性實驗統計結果圖

圖10 中,x軸一條短信測試10次,出現不同光照效果的個數.從表中可知,出現6個不同光照效果的短信最多,約占總短信數32%; 大于6個光照效果的短信約占有 36 條,占總短信數的 72%.總體來看,短信多樣性取得較好效果.

圖11是根據短信“時間過得好快,好著急”進行多樣性實驗,取其中4種不同光照效果的截圖.

圖11 光照規劃多種效果示意圖

7 結語

本文研究的主要內容是首次在3D動畫自動生成系統中添加光照的自動生成.將語義網技術、Maya中光源應用到手機3D動畫自動生成系統中,實現光照的自動生成,是對全過程計算機輔助動畫自動生成技術的又一次應用和實現.光照效果的自動生成主要實現的功能有:通過光照表現動畫的時間感和空間感; 通過光照表現動畫中的氣氛和氛圍.具體工作包括定性規劃和定量計算兩部分.其中定性規劃描述燈光屬性與短信主題、短信模板之間的關系,定量計算結合具體場景,將定性規劃結果轉化為具體數值,從而實現光照的自動生成.

目前,光照規劃自動生成處于測試與改進階段.測試期間,為避免較長時間不能渲染出動畫,對后續短信測試產生影響,為此,系統設置從輸入短信到渲染合成動畫的時間最大值為2小時.經過大量測試后,也發現一些潛在的問題和不足.主要表現在以下兩方面:(1)場景中會有一些對光比較敏感的材質[17,18],影響燈光最終呈現的效果; (2)由于短信文本是開放的,信息抽取結果不可能100%準確,最終導致光照效果可能與短信表現的氛圍不符.

針對以上的不足,在光照規劃后續的版本中,需要提高信息抽取的準確率,使燈光能準確表達短信的情感.同時,考慮材質對燈光的影響.

1陸汝鈐,張松懋.從故事到動畫片全過程計算機輔助動畫自動生成.自動化學報,2002,28(3):321–348.

3金析.光影對動畫角色情感的表達.大眾文藝,2015,(8):67–68.

4中島龍興.照明燈光設計.馬衛星,譯.北京:北京理工大學出版社,2003.

5程娟,錢晉,錢鈳.燈光系統在三維場景中的應用策略.景德鎮高專學報,2009,(2):48–49.

6畢露予.三維動畫中燈光設計的表現風格.大舞臺,2011,(12):137.[doi:10.3969/j.issn.1003-1200.2011.12.108]

7Horridge M,Knoblauch H,Rector A,et al.A practical guide to building OWL ontologies using the Protégé’s-OWL plugin and CO-ODE tools:edition 1.0.Manchester:The University of Manchester,2004.

8陳鵬.三維場景光影效果控制與渲染的研究與實現[碩士學位論文].上海:上海交通大學,2011.

9趙曄.手機3D動畫自動生成系統中色彩和光照規劃的設計和實現[碩士學位論文].北京:北京工業大學,2012:39–42.

10劉暢.手機3D動畫自動生成系統中鏡頭規劃與燈光背景規劃[碩士學位論文].北京:北京工業大學,2014.

11裴艷霞.面向手機3D動畫自動生成的中文命名實體識別的研究[碩士學位論文].北京:北京工業大學,2011:1–74.

12孫榮榮.面向手機3D動畫的信息抽取系統的設計與實現[碩士學位論文].北京:北京工業大學,2011:1–78.

13鄧永堅,葉志峰.Maya 光與材質的視覺藝術.3 版.北京:人民郵電出版社,2010:66–78.

14Guarino N.Formal ontology in information systems.Proc.of FOIS 98.Amsterdam,Netherlands.1998.3–17.

15http://protege.stanford.edu.

16Uschold M,Gruninger M.Ontologies:Principles,methods and applications.The Knowledge Engineering Review,1996,11(2):93–136.[doi:10.1017/S026988890000 7797]

17劉文菊.Maya 材質與燈光技術精粹.北京:清華大學出版社,2011.

18胡錚.三維動畫材質燈光設計與制作.北京:機械工業出版社,2010.

Light Planning in Automatic Generation of 3D Animation for Mobile Phone Short Message

HUANG Lei,WANG Xiao-Fei
(Information Science Division,Beijing University of Technology,Beijing 100124,China)

In accordance with the sender’s message,through a series of steps such as information extraction and semantic analysis,the SMS automatic 3D animation generating system can generate a 3D animation and eventually send it back to the sender.The animation light cannot only light the whole scene,but can also foil themes,atmosphere,etc.This paper mainly focuses on automatic generation of light in SMS automatic 3D animation generating system,including qualitative planning and quantitative calculation.The qualitative planning describes themes and templates which are about light by ontology.The rule base is used to combine the subject,templates,scene,and illumination properties by rules.The quantitative calculation is combined with the specific scene,the qualitative planning information into specific data,and then calls the Maya API,and the results of qualitative planning in the Maya scene.

3D animation; quantitative calculation; qualitative planning; lighting effects

10.3969/j.issn.1004-9436.2015.10.064]

黃蕾,王曉飛.手機短信3D動畫中光照規劃的自動生成.計算機系統應用,2017,26(10):102–109.http://www.c-s-a.org.cn/1003-3254/5981.html

2016-12-22; 采用時間:2017-02-13