基于AR虛擬植入技術的互動繪本創作

邢旭帆 劉雨萱 .南京曉莊學院；.東南大學

繪本是適合兒童閱讀的一類圖書，繪本可以培養兒童多方面的能力。AR虛擬植入互動繪本改變了傳統的閱讀方式，使用AR+3D技術，讓動畫形象活靈活現地展現在繪本上，突破了平面閱讀的局限性。兒童在閱讀此類繪本時可以身臨其境，與繪本角色進行互動，產生一種沉浸式體驗感，在閱讀學習的過程中感受到樂趣。現通過為AR虛擬植入互動繪本中的虛擬人物進行配音，建立角色模型并進行蒙皮，完成互動媒體的設置，將AR技術運用到傳統繪本中，由小朋友穿上動捕傳感器，在綠幕前做出動作后，將數據傳到蒙皮動畫上烘烤生成視頻文件，導入到虛擬演播室系統中，實現真人與動畫人物的互動。

兒童繪本起源于19世紀的歐美國家，1878年美國人倫道夫·凱迪克出版了兒童圖書《騎士約翰的趣聞》。到了20世紀，越來越多色彩鮮艷的圖片被添加到兒童圖書中，與文字一起為孩子們呈現出一個個美麗的世界。1922年，商務印書館發行的《兒童世界》是中國第一本真正面向兒童的期刊，其中刊載的“圖畫故事”欄目，可視為中國兒童繪本的萌芽。隨著科技的發展，兒童繪本不再局限于紙質手繪，電腦繪制也成為繪本制作的一種方式，研發數字化兒童繪本成為一種趨勢。但由于許多家長不希望兒童長時間接觸電子設備，沒有將電子繪本作為兒童早期教育的一種方式，導致數字化兒童繪本并沒有太大的發展空間。2000年后，市場上出現了點讀機等將紙質繪本與電子技術結合的兒童閱讀方式，繪本的形式開始逐漸向多元化方向發展，如今更是出現了以交互體驗為主的智能繪本閱讀設備。這類設備是更加專業的兒童繪本閱讀類設備，具有點讀、AI圖像識別、繪本智能識別翻譯、朗讀、智能對話、錄音、與家長遠程溝通等功能，豐富的內容不僅方便了工作繁忙不能陪伴孩子的父母，還可以起到某些早教機的作用。

智能兒童繪本的發展困境分析

目前，國內家長比較重視孩子的知識積累和技能學習，對繪本這種讀物并不喜歡，覺得這類課外讀物并不重要，認為花很多錢買一本圖多于字的書不如直接買一本故事書。此外，一些國外優秀兒童繪本的授權機構會要求這些繪本的開本、版式、裝幀設計等與原版書相同，這給兒童繪本的本土化改編帶來了很大的困難。因此，目前國內的兒童繪本市場還處于發展期。

我國每年的新生兒數量龐大，是國內兒童繪本市場龐大的客戶基礎。經過多年的發展，國內外的繪本創作方式更加豐富與完善，這為更多優秀兒童繪本的出現奠定了一定的基礎。隨著兒童繪本的發展，智能繪本閱讀設備的品類也不斷增加，產品更加完善，功能越來越多。

雖然人們越來越重視兒童繪本，很多家長愿意和孩子一起閱讀繪本，甚至有家長對語音問答設備提出了一定的需求，但是仍有不少家長更愿意讓孩子去上各種早教班，甚至還有家長不支持孩子閱讀繪本，這給繪本和智慧繪本閱讀設備的發展帶來了一定的阻礙（如圖1所示）。

圖1 社會實踐調查（作者自制）

兒童審美心理與繪本的關系

兒童的天性是純真的，他們不受各種知識和思想的束縛，對世界的認識并不是固定的，有很強的可塑性，因此，兒童的審美教育不可或缺，每個人都可以按照自己的審美方式和興趣愛好去尋找自己喜歡的東西，人都是懷著一顆好奇心來到這個世界上的，往往對于成年人來說平淡無奇的事物對于兒童卻有著極大的吸引力。好奇心是探索世界的基礎，強烈的好奇心體現了人們對未知世界的濃厚興趣，所以兒童審美教育應該注重他們在審美方面的好奇心，鼓勵他們大膽想象，不干涉他們的想象力。兒童的客觀認知能力和視覺能力相對較弱，往往更具主觀性，這種主觀性的欣賞和創作形式與他們的審美天性有直接的關系，所以繪本的主觀化和抽象夸張都能啟發和引導兒童的審美。在審美活動中，強烈鮮明的色彩、簡明清晰的結構、簡潔的旋律和韻律才是兒童喜歡的對象。繪本是適合兒童閱讀的圖書，兒童可以直觀地感受繪本，好的繪本可以影響孩子的童年，影響孩子的個性審美發展。

虛擬植入技術在繪本中的應用探索

當前，虛擬植入技術已經應用在繪本中，該技術能夠幫助兒童在互動中更好地了解繪本，達到更好的閱讀效果。在不同領域中，虛擬植入技術的運用也有不同的效果（如圖2所示）。

圖2 在虛擬演播室場景（圖片來源：http://mt.sohu.com/20160826/n466183611.shtml）

AR虛擬植入互動繪本為兒童提供了身臨其境與故事人物互動的可能，將學習與實踐結合起來，既可以教給孩子知識，又可以在游戲中帶給孩子快樂，提高兒童的審美能力。繪本的知識部分主要通過老師及家長的講解來傳授給兒童，互動部分主要利用各種技術使兒童與繪本中的動畫角色互動，增加學習的趣味性。主題繪本可以幫助兒童在閱讀繪本的過程中發現和探索美，更好地促進兒童個性審美的發展。制作一本AR虛擬植入互動繪本主要包括以下環節。

第一，確定繪本內容。繪本的思想要正面積極，故事情節要貼近生活，人物角色形象要可愛，語言要簡單易懂，畫面要符合兒童的審美。

第二，制作繪本。首先要選擇符合兒童審美心理的故事，然后繪制角色與場景的草圖，畫面內容要符合兒童的審美，色彩搭配要注意考慮到后面閱讀的畫面協調。

第三，根據繪本內容為繪本中的任務配音。首先要尋找合適的房間進行聲音測試，然后安裝好麥克風，將其接入電腦，打開Au音頻軟件，做好心理準備，放松心態進行聲音錄制（如圖3所示）。

圖3 配音錄制（作者自制）

第四，使用繪本閱讀臺燈對繪本進行識別。智能繪本閱讀臺燈利用圖像識別技術識別掃描繪本，然后將視頻疊加到繪本上，但不會完全遮住繪本原來的內容，使靜態圖片與動態視頻結合起來。

第五，建立角色模型并進行蒙皮。首先利用3DMAX制作人物模型，方便后期動作的調試，同時做好骨骼綁定與角色的比例調整，然后進行人物蒙皮，為了使人物運動起來不出現問題，還需要進行權重操作（如圖4、圖5所示）。

圖4 骨骼綁定（作者自制）

圖5 刷權重（作者自制）

第六，將角色加入動捕系統，導入虛擬演播室系統。這一過程需要繪本角色與真人進行互動，真人穿上動捕設備，然后導入演播中控，最后合成畫面。

繪本制作需要準備的設備有4K超清攝像機（根據預算配各價位攝像機）、三腳架、記錄卡、讀卡器、電池、攝像機包、虛擬演播室系統、硬盤錄像機等；軟件有虛擬演播室系統、Au音頻軟件等（如圖6、圖7所示）。

圖6 虛擬演播室（作者自制）

圖7 虛擬演播室（作者自制）

繪本要想真正實現真人與角色的互動，還需要搭建綠幕，準備兩臺電腦，一臺用于播放智慧閱讀臺燈掃描出的視頻，另一臺電腦利用虛擬植入技術將視頻與繪本結合，由小朋友穿上動捕傳感器做出動作，并將有關數據傳到蒙皮動畫上，烘烤后加上綠色背景生成視頻文件，導入虛擬演播室系統中。在此過程中要控制好時間，實現真人與動畫角色的互動（如圖8所示）。

圖8 最終呈現（作者自制）

繪本對兒童的成長和教育具有重大的作用，好的繪本可以影響兒童的一生，促進兒童的個性審美發展。基于兒童審美心理的虛擬植入互動繪本不僅可以培養孩子的學習能力，豐富其認知，還可以使兒童在閱讀繪本的過程中獲得快樂，實現寓教于樂。通過虛擬植入互動繪本，孩子可以與繪本中的動畫角色進行互動和交流，這是對傳統兒童繪本形式的一種創新，更容易受到兒童的喜愛，更有利于培養兒童發現美和欣賞美的能力，從而提高兒童的審美能力。隨著越來越多的企業開始重視兒童智能繪本產業，兒童智能繪本閱讀設備的產品種類逐漸增多，品質也在逐步提升。相信傳統繪本與AR虛擬植入技術的結合能夠在很大程度上幫助兒童提升各方面的能力，為其帶來全新的閱讀體驗。