數(shù)字繪本的交互敘事設(shè)計策略研究

李萌

1.中國傳媒大學(xué)動畫與數(shù)字藝術(shù)學(xué)院，北京100024

2.北京郵電大學(xué)數(shù)字媒體與設(shè)計藝術(shù)學(xué)院，北京100876

繪本是以圖文合奏為敘事特點、以兒童為主要讀者的書籍。在新媒體時代，隨著交互技術(shù)的不斷成熟，一部分創(chuàng)作者嘗試用信息技術(shù)手段來呈現(xiàn)繪本，數(shù)字繪本在這一背景下應(yīng)運而生。數(shù)字繪本與生俱來的交互性，使其敘事也呈現(xiàn)出交互式特點。作為隨著新媒體技術(shù)發(fā)展起來的新型敘事形態(tài)，數(shù)字繪本允許讀者針對情節(jié)的發(fā)展作出自己的選擇，從而參與到虛擬的故事世界之中[1]。

一、數(shù)字繪本和交互敘事的相關(guān)內(nèi)涵

（一）信息時代下的數(shù)字繪本

繪本即圖畫書（Picture Book），是一種通過一系列的圖畫，結(jié)合較少的文字或完全沒有文字來傳達信息或講故事的藝術(shù)形式[2]。作為兒童閱讀啟蒙的重要讀物，傳統(tǒng)繪本以紙質(zhì)書為主要的承載形式。隨著技術(shù)對數(shù)字出版的影響，繪本以虛擬現(xiàn)實、增強現(xiàn)實和混合現(xiàn)實等形態(tài)出現(xiàn)，逐漸突破基于紙媒的傳統(tǒng)形態(tài)。智能移動終端為繪本的形式提供了更多可能性。基于這些智能設(shè)備的繪本，也被稱為數(shù)字繪本或交互繪本。在這一背景下，讀者正在經(jīng)歷著從紙質(zhì)實體書閱讀到基于屏幕交互的電子閱讀的這一空間和形式的雙重跨越。

數(shù)字繪本（Digital picture book）是用數(shù)字化的形式呈現(xiàn)的繪本[3]。數(shù)字繪本所涵蓋的范疇較為寬泛，既包括了傳統(tǒng)繪本的數(shù)字掃描形式，又包括了帶有交互特性的數(shù)字化繪本應(yīng)用程序（Application）。作為能夠真實觸摸到的實體書，紙質(zhì)繪本為兒童帶來了可以翻閱和觸摸的真實閱讀體驗。但是，傳統(tǒng)繪本傳遞的信息量較小，交互方式也不夠豐富，這已經(jīng)無法滿足隨著互聯(lián)網(wǎng)長大的新一代數(shù)字公民的閱讀體驗需求。數(shù)字繪本（digital picture book）不僅擴充了紙質(zhì)繪本的信息量，還將交互性引入了閱讀中。不過，目前市場上的部分交互繪本僅僅將傳統(tǒng)紙質(zhì)繪本進行了數(shù)字化處理，或是在繪本故事中添加了與情節(jié)關(guān)聯(lián)性較弱的動畫和游戲。這些數(shù)字化方式盡管在一定程度上使繪本實現(xiàn)了數(shù)字化，增加了交互性，但因為其用戶體驗仍然停留在表面，交互和敘事之間的融合仍然有較大的改進空間。

（二）繪本的交互敘事

交互敘事是敘事學(xué)的相關(guān)研究在現(xiàn)代交互媒介中的延伸。媒介的變化導(dǎo)致了敘事方式的改變，在交互敘事的研究中涉及到了交互與沉浸敘事之間的矛盾、敘事者和觀看者的身份界限等問題。在繪本中，針對交互敘事的研究大體可以分為廣義和狹義2 個層面，主要以人機交互為劃分界限。廣義的繪本交互敘事研究將“交互”放置在文本內(nèi)的交互、人與人的交互等更加宏觀的層面，而狹義的研究將“交互”限定在“人機交互”這一更加具體的范疇之中。

從更廣義的層面來看，繪本交互敘事首先囊括的是文本中基礎(chǔ)的文、圖交互。加拿大學(xué)者佩里·諾德曼運用符號學(xué)的方法，對繪本中文字和圖片的關(guān)系進行了深入的探討。他在觀察中發(fā)現(xiàn)，當繪本中的文字或者圖片單獨存在時，往往會令讀者無法準確的接收故事的信息，甚至令他們對故事的內(nèi)容不知所措。這一結(jié)論是對那些認為圖片只有輔助性作用的觀點的有力回應(yīng)，因為在去掉圖片的情況下，繪本中的文字基本無法有效地進行信息傳遞。以諾德曼為代表的研究者針對繪本中文圖交互敘事的探討屬于跨媒體的研究，即將不同的媒體類型進行綜合，共同演繹一個故事[4-5]。

從狹義的層面來看，繪本交互敘事的相關(guān)研究處于敘事學(xué)、設(shè)計學(xué)和計算機科學(xué)的交叉地帶。在敘事的過程中引入交互不僅帶來了新的敘事體驗，也引入了新的研究問題。瑪麗-勞爾·瑞安的交互敘事研究引起了敘事學(xué)領(lǐng)域的關(guān)注，她對超文本小說、電子游戲、互動戲劇等具有互動性的文本都展開了研究[6-8]。她認為數(shù)字媒介具有5個基本屬性，分別是互動性、多重知覺和符號渠道、網(wǎng)絡(luò)化能力、易變的符號和模塊性。其中，互動性是最為基礎(chǔ)，也是最重要的[9]。瑞安還提出了需要解決線性敘事和讀者交互之間的矛盾，并通過情節(jié)曲線、影響話語的互動架構(gòu)和影響故事的互動架構(gòu)來分析文本的架構(gòu)方式。

二、數(shù)字繪本中交互敘事設(shè)計的特征和問題

（一）數(shù)字繪本中交互敘事的特征分析

第一，從單向度視覺呈現(xiàn)到多向度的“五感”設(shè)計。日本著名的設(shè)計師原研哉曾主張，人們應(yīng)當通過“視覺、聽覺、觸覺、嗅覺、味覺”這“五感”來進行信息的建構(gòu)，而不僅是視覺和聽覺。此后，日本的書籍設(shè)計師杉浦康平提出將這一概念應(yīng)用于書籍的裝幀設(shè)計中[10]。然而，由于紙質(zhì)書本身的材質(zhì)、成本等帶來的天然局限性，上述設(shè)想在傳統(tǒng)紙質(zhì)繪本中只得到了部分運用。例如，有些面向低齡兒童的游戲書采用了布藝、毛氈等不同材質(zhì)進行設(shè)計，或者是在紙板書中嵌入小型的發(fā)聲硬件，讓兒童在點擊時能夠聽到預(yù)先設(shè)定好的聲音。這些復(fù)雜的工藝為0～3歲的兒童帶來了全新的聽覺和觸覺體驗，但遺憾的是，它們往往被用于一些非敘事性的、以感官體驗為核心的知識普及性繪本——摸一下頁面中獅子的毛發(fā)、聽一下獅子的吼叫。這些對材質(zhì)和聲音的基礎(chǔ)性感受對于低齡兒童的益處是顯而易見的，但是如果涉及到更加復(fù)雜的敘事，厚重的書籍和發(fā)聲裝置則難以支撐故事講述的需求。

隨著硬件設(shè)備的發(fā)展，以手機、iPad為代表的智能移動終端因為其自帶的觸屏、發(fā)聲功能和多種傳感器，為數(shù)字繪本的交互敘事設(shè)計提供了新的可能。數(shù)字繪本《最遠有多遠》[11]（How Far Is Up？）提供了一種全新的、多向度的繪本設(shè)計理念，即將繪本中的圖像、文字和聲音進行了重新的排布和整合，讓三者之間進行相互支撐，而不是簡單的重復(fù)和并行。部分電子繪本對圖、文、聲音之間的支撐關(guān)系見圖1a。其中，視覺化的圖片處于底層，文字和聲音同時并行來講述一個故事。這也是最為常見的“有聲書”講述方式，即在電子繪本中出現(xiàn)文字的同時，有一個畫外音將文字讀出來。研究者提出應(yīng)該讓圖片、文字和聲音成為一個相互支撐的三角形結(jié)構(gòu)，見圖1b。此時，三者之間是一種互補的關(guān)系，讀者需要運用自己的想象力，來建立圖像、文字和聲音之間的關(guān)系。

圖1 圖、文、聲音對敘事的支撐

以《最遠有多遠》數(shù)字繪本中的場景為例，見圖2。畫面右側(cè)顯示了一棵、一個飛到樹中間的孩子，以及畫面左下角的一個紅色的房子。房子中的人說：“快下來，你爬的太高了。”在這里，文字、圖像、聲音并不是完全重合的，即畫面上的文字沒有對圖片進解釋和說明，而是用對位的方式表達了更多的信息。

圖2 《最遠有多遠》數(shù)字繪本畫面

在數(shù)字繪本中，這三者之間的對位也有更加極致的例子。數(shù)字繪本《小紅帽》（LiL Red）是一個典型的“無字繪本”，即在整篇故事中沒有出現(xiàn)任何文字。小紅帽和狼之間的對話，是通過圖示符號的形式來表達的。例如，當小紅帽對狼表達“我要送食物給外婆”的意思時，畫面上在小紅帽旁邊出現(xiàn)了氣泡框，氣泡中顯示的是一個籃子和外婆的家，以及從籃子指向外婆家的箭頭，見圖3。這些圖示符號以動畫的形式進行呈現(xiàn)，體現(xiàn)了數(shù)字繪本的特征。

圖3 數(shù)字繪本《小紅帽》（LiL Red）

第二，從傳統(tǒng)繪本的“翻頁”到以交互體驗為核心的“轉(zhuǎn)場”。“翻頁”是紙質(zhì)繪本最重要的特點之一。許多設(shè)計師甚至?xí)ⅰ胺摗边M行一番設(shè)計，在讀者翻動書頁的過程中，對故事內(nèi)容進行有意的編排以形成“翻頁的驚喜”。例如，原創(chuàng)繪本《跑跑鎮(zhèn)》就通過前后翻頁，為讀者展示了一個個設(shè)問和回答：在前一頁中，跑跑鎮(zhèn)的一匹白馬跑向黑馬，翻頁后，白馬和黑馬“咣！”撞在一起，變成了斑馬。

在電子繪本中，由于書頁隨著實體書籍形態(tài)的消解而消失。一些電子書通過添加模擬翻頁的動畫效果和翻書音效，以求為讀者帶來逼近實體書的閱讀感受。不過這種動畫和聲效，部分起到模擬作用。例如在電子繪本《小紅帽》中，小紅帽前往外婆家時，讀者通過點擊屏幕上的左、右箭頭來完成“頁面”的轉(zhuǎn)換。在這里，左、右箭頭作為翻頁動作的指示符號、讀者用手指進行點擊的動作，代替了傳統(tǒng)紙質(zhì)繪本中讀者的翻頁動作。在《小紅帽》中沒有出現(xiàn)文字，取而代之的是鋪滿整個屏幕的場景、角色和動畫效果。在這里，頁面的概念似乎被弱化了。讀者直接看到的是家門口、森林、外婆家等動畫場景的轉(zhuǎn)換，而不是紙質(zhì)繪本中的那些圖文排版。

第三，從線性敘事到非線性交互敘事。在紙質(zhì)繪本中，故事往往沿著一條完整的時間序列發(fā)展。但是在數(shù)字繪本中，故事往往在時間線上呈現(xiàn)出不連續(xù)、非線性的特點。用戶進行的交互操作會中斷他們作為讀者的沉浸式閱讀體驗。在這里，非線性交互敘事更像是一種類似游戲的體驗，即用戶通過交互操作實時參與到敘事中，對敘事產(chǎn)生某種推動作用。在這里，用戶的沉浸感并不是通過連續(xù)、被動的敘事來實現(xiàn)的，而是通過沉浸在自身驅(qū)動的交互操作中來實現(xiàn)的。

例如在《小紅帽》中，小紅帽在前往外婆家的路上時，她發(fā)現(xiàn)森林的地面上有很多紅蘋果，見圖4。在系統(tǒng)提示和引導(dǎo)下，此時的用戶需要點擊地面上的蘋果，以讓女孩將它們收集起來。在這里，這一操作方式會忽然中斷整個數(shù)字繪本的敘事過程。但就像電子游戲的交互操作一樣，給用戶帶來真實的參與感，從而增加用戶的沉浸度。在另外一些電子繪本的故事中，有時用戶甚至需要針對故事停頓的節(jié)點進行分支的選擇，系統(tǒng)會根據(jù)用戶的選擇來決定接下來劇情的走向。

圖4 數(shù)字繪本《小紅帽》中的撿蘋果交互操作

（二）數(shù)字繪本中交互敘事存在的問題

在上述闡述中，我們可以看到，數(shù)字繪本具有多感官刺激、從“翻頁”到轉(zhuǎn)場、非線性交互敘事這3 種特征。與此同時，在數(shù)字繪本應(yīng)用作品中也出現(xiàn)了一些設(shè)計上的問題。

首先，目前的數(shù)字繪本對智能移動終端的傳感器利用較少。以智能手機為例，設(shè)備擁有重力感應(yīng)、陀螺儀、氣壓傳感器等多種傳感器，而目前的數(shù)字繪本設(shè)計仍舊圍繞著視覺、聽覺來進行。有時候，一些數(shù)字繪本甚至搬運了紙質(zhì)繪本的頁面，輔以數(shù)字化的背景音樂和點擊翻頁，是一種紙質(zhì)繪本的電子掃描、點擊版。在這里，視聽體驗并沒有在新媒體設(shè)備中被充分的加以利用。

其次，敘事設(shè)計和交互設(shè)計之間缺乏緊密的關(guān)聯(lián)性。在部分數(shù)字繪本的交互設(shè)計中，交互節(jié)點的設(shè)計與敘事之間的關(guān)聯(lián)性較小。例如在《小紅帽》中，小女孩在森林中收集蘋果和落葉，這2 個以點擊操作為主的交互案例雖然讓用戶通過操作參與到了故事之中，但是和情節(jié)發(fā)展沒有必然的聯(lián)系。試想，如果將“撿蘋果”替換為“撿蘑菇”或是“捉蝴蝶”，這對故事情節(jié)的發(fā)展不會有任何本質(zhì)的影響。因此，這些交互也不會對故事情節(jié)起到推動作用，即用戶不會因為交互體驗而感到自己參與到了敘事之中。

三、數(shù)字繪本的交互敘事設(shè)計策略

（一）充分利用傳感器來體現(xiàn)“五感”

在進行數(shù)字繪本的交互敘事設(shè)計時，設(shè)計師首先要充分了解終端傳感器，以得知有哪些硬件和技術(shù)上的可能性能夠提供給交互敘事設(shè)計。目前常用的手機系統(tǒng)一般都提供了加速度、陀螺儀、光線感應(yīng)、壓力、溫度、線性加速度等十幾種傳感器，以供應(yīng)用層進行調(diào)用。以重力傳感器為例，該傳感器通過正交方向電壓的大小來計算水平方向，具體的應(yīng)用為可以進行手機橫豎屏幕的方向切換。

不同傳感器的調(diào)用，能夠?qū)?shù)字繪本的交互方式產(chǎn)生不同的影響。例如在交互繪本《愛麗絲》（Alice for iPad）中，創(chuàng)作者就調(diào)動了智能移動終端的多種傳感器。當用戶看到畫面中有一個懷表時，需要通過調(diào)用重力感應(yīng)傳感器左右晃動iPad來使懷表產(chǎn)生運動。而當愛麗絲被一張張紙牌包圍的時候，用戶同樣需要調(diào)用iPad的陀螺儀傳感器，通過晃動設(shè)備的方式來使得紙牌散開，見圖5。

圖5 《愛麗絲》（Alice for iPad）

不同的傳感器能夠讓用戶對數(shù)字繪本中的視覺、聽覺、觸覺等感官產(chǎn)生更加直接的感受。不過，由于現(xiàn)有設(shè)備硬件的局限性，嗅覺和味覺仍舊期待有相應(yīng)的傳感器來進行支撐。

（二）靈活多變的版式設(shè)計

數(shù)字繪本的版式設(shè)計大體可以遵循以下思路：其一，沿用傳統(tǒng)出版物的版式設(shè)計方式，即以頁面為單位進行平面圖文的排版設(shè)計。此類設(shè)計方式繼承了平面版式設(shè)計的靈活構(gòu)圖，并且可以用動畫、頁面內(nèi)的交互來豐富靜態(tài)的版式設(shè)計。例如，在電子書《彼得兔》中，創(chuàng)作者即采用了平面圖文的排版設(shè)計方式。有所不同的是，電子繪本中的插畫模仿立體書的形式作了立體化的分層處理，并且允許用戶通過點擊、推拉等交互操作，產(chǎn)生相應(yīng)的動畫，見圖6。

圖6 數(shù)字繪本《彼得兔》

其二，是以視聽體驗為中心，即以鏡頭為單位進行的鏡頭設(shè)計。在此類設(shè)計方式中，圖書的“頁面”往往被消解了，甚至看不到任何“頁面”。因此，版式的設(shè)計也不再以圖書排版的方式為主，而是更像電影、動畫的分鏡頭畫面設(shè)計。在這類數(shù)字繪本中，人們往往看不到分布在畫面左右的圖像和文字，而是一整張鋪滿屏幕的動態(tài)畫面。此時的數(shù)字繪本版式設(shè)計可以根據(jù)電影和動畫的分鏡頭設(shè)計規(guī)律進行。例如，在前述提及的數(shù)字繪本《小紅帽》中，頁面不復(fù)存在，取而代之的是小紅帽經(jīng)過的一個個場景。在每一個場景中，分別排布著背景、人物和道具，也不存在左右畫面的分屏設(shè)計。

（三）符合交互敘事的劇情設(shè)計

為了讓交互操作能夠更好地和劇情融為一體，設(shè)計師在進行交互設(shè)計時，需要考慮交互在敘事節(jié)點中承擔(dān)的作用和功能。在交互繪本《Florence》中，有些交互設(shè)計在技術(shù)實現(xiàn)上并不復(fù)雜，但這些設(shè)計因為和敘事緊密相關(guān)，達到了較好地推動劇情的效果。例如，在女主角收拾房間、對自己的童年展開回憶時，她發(fā)現(xiàn)了一張兒時的畫作。此時，用戶需要幫助兒時的女孩將畫作涂上顏色。作為數(shù)字繪本設(shè)計中常用的交互方式，數(shù)字化的涂色游戲經(jīng)常被用在各種類似的應(yīng)用中。但《Florence》在讓用戶完成涂色游戲之后，還設(shè)計了劇情上的小轉(zhuǎn)折。女孩的媽媽在身后看著她畫畫，十分生氣。隨后，女孩書桌上的繪畫材料也變成了習(xí)題本。此時，用戶需要通過拖動操作來幫助女孩完成一道道數(shù)學(xué)題。交互操作在愉快的繪畫填色和枯燥無味的計算題之間進行轉(zhuǎn)換，同時一道道計算題從屏幕上快速的劃過……這些都讓人對女孩心情的低落感同身受，也在故事和用戶之間建立了情感共鳴，見圖7。

圖7 《Florence》繪畫、做數(shù)學(xué)題部分情節(jié)截圖

在“撞車”這一段落中，設(shè)計師用了模擬“對焦”這一交互方式。劇情的設(shè)計是這樣的：騎車的女孩看著背大提琴的男孩出神，然后用戶親自經(jīng)歷了女孩的自行車被撞飛、女孩昏厥倒地、逐漸清醒后男孩出現(xiàn)在她眼前這一連串的過程。設(shè)計師使用了2～3個可供用戶左右移動的標尺進行“對焦”模擬，見圖8，這一交互設(shè)計不僅放慢了用戶的閱讀速度，并且讓用戶體會到女孩執(zhí)著的偷看、騎車被撞、最終看到男孩時的驚喜這一連串心情的變化。

圖8 《Florence》摔倒部分情節(jié)

此外，在交互設(shè)計方面，因為數(shù)字繪本的主要受眾以兒童為主，所以交互方式的設(shè)計應(yīng)考慮兒童受眾的認知特點。例如，可以設(shè)計具有重復(fù)性的交互操作方式來降低兒童用戶的學(xué)習(xí)成本，或是在兒童用戶的交互操作中嵌入清晰易懂的交互指引等。

本研究提出了通過充分利用傳感器來體現(xiàn)數(shù)字繪本的“五感”設(shè)計、進行靈活多變的版式設(shè)計、進行符合劇情的交互設(shè)計3種設(shè)計策略。

四、結(jié)語

在互聯(lián)網(wǎng)普及的智能時代，傳統(tǒng)紙質(zhì)繪本已經(jīng)無法滿足用戶對信息量和交互體驗的日益增長的需求。在這一背景下，本研究首先針對信息時代下誕生的數(shù)字繪本，以及繪本的交互敘事進行了概念上的闡述和澄清。以數(shù)字繪本《最遠有多遠》《小紅帽》作為案例，針對數(shù)字繪本中交互敘事設(shè)計的特征進行了分析，并提出了在數(shù)字繪本的交互敘事設(shè)計中可能存在的問題。最后，在上述分析的基礎(chǔ)上，提出了充分利用傳感器來體現(xiàn)“五感”、靈活多變的版式設(shè)計、符合交互敘事的劇情設(shè)計3個數(shù)字繪本的交互敘事設(shè)計策略。

數(shù)字繪本為兒童讀者帶來了新的閱讀體驗方式，同時帶來了新的敘事和交互設(shè)計問題。隨著信息時代數(shù)字化技術(shù)的發(fā)展，繪本的數(shù)字化已經(jīng)成為學(xué)術(shù)界和產(chǎn)業(yè)界同時關(guān)心的問題。在未來的研究中，如何針對兒童讀者的年齡層次進行數(shù)字化內(nèi)容的分級，以及根據(jù)不同年齡段兒童讀者在認知方面的特點來進行有針對性的交互設(shè)計，都是數(shù)字繪本的交互敘事設(shè)計可以考慮的研究方向。本研究基于交互敘事理論和相關(guān)實踐案例，提出了數(shù)字繪本的交互敘事設(shè)計策略，為設(shè)計師和相關(guān)領(lǐng)域的研究者提供了可借鑒的思路和研究方向。