論沉浸式出版*

■ 吳釗 趙倫

沉浸式出版是數字出版模式的再升級,我們可以稱之為“后數字出版”或者“數字出版2.0”模式。具體來說,沉浸式出版是指以數字化技術為基礎,同時在虛擬現實(VR)、增強現實(AR)、人工智能(AI)、語音、體感等新興技術的支撐下,通過視覺、聽覺、觸覺等多感官系統的交互設計,讓用戶快速產生生理和心理上的沉浸感,從而獲得審美體驗、情感體驗、認知體驗、價值體驗的出版新模式。以沉浸式出版引導“沉浸式”閱讀,將是未來克服瀏覽性閱讀危機的重要思路。

一、“沉浸”的發生與內涵演變

“沉浸”一詞在中文里并不陌生,多指全身心投入某項活動,并達到某種忘我境界或思想層面?！墩撜Z·述而》中記載:“子在齊聞《韶》,三月不知肉味,曰:‘不圖為樂之至于斯也。’”后朱熹在《四書章句集注》中進一步闡釋為“蓋心于一是,而不及乎他也?！痹诂F代語匯中,孔子這種對齊國《韶》樂的癡迷狀態,就是沉浸。

在閱讀活動中,沉浸是大多數人為之追求的理想狀態。從文本媒介的發展來看,人類經歷了語音“文本”、紙質文本、電子文本、數字“超文本”①四個時期:語音“文本”時期,閱讀依靠口傳式“聽-讀”完成；紙質文本時期又可細分為手抄紙質文本和印刷紙質文本兩個時期,手抄時期大致是在文字出現之后、印刷術出現之前,這個時期開始轉向視覺閱讀,但“聽-讀”仍為主要的閱讀方式。隨著印刷術的出現,人類進入印刷文本閱讀時代,此時以視覺為主的閱讀范式占絕對主導地位；電子文本時期,視覺為主的閱讀范式沒有改變,但是因為文本形態及存儲、獲取路徑的改變,相較于印刷文本時代,其閱讀效率和效果發生了“分野式”改變；數字“超文本”時期,文本形態發生顛覆性的變化,原來以視覺為主的閱讀范式轉向集視覺、聽覺于一體的綜合化閱讀。

那么沉浸的發生邏輯是什么？這種狀態在文本閱讀中是否普遍存在？南京大學周憲教授認為,“沉浸式”是印刷文本時代所特有的閱讀狀態。②在他看來,閱讀應該是“一個人與文本交流的孤獨情境”。本雅明也曾在《說故事的人》中指出,說故事的人常常需要聽故事的人來陪伴,而讀印刷本小說的人卻是與世隔絕的。③以聽覺式閱讀為主的語音“文本”和手抄文本時期,由于“他者”的參與,閱讀變成了一種“公眾行為”,因此沉浸難以發生。而電子文本和數字“超文本”時期制造的海量、多媒介、超時空限制的文本“狂歡”,也讓沉浸成為一種奢求。只有在印刷文本時期,閱讀從“公眾化”轉向“私人化”,人們才得以在與文本獨處的情境和靜謐的自我想象空間中產生內化的認知和深度的思考。

然而,印刷文本時代的沉浸式閱讀已成過去。在數字化閱讀時代,我們該如何實現沉浸式閱讀？近年來,沉浸式出版開始嶄露頭角,其中以童書出版領域最為突出。以中國科學技術大學周榮庭教授打造的AR有聲讀物《消失的世界》為例:該讀本以法國兒童科普作家亨利·德斯梅(Henry Desmet)的作品《消失的大陸》為藍本,采用計算機3D建模方法還原古生物外形,將語音、音樂、音效、動態視頻和虛擬模型嵌入繪本,讓古生物活起來,大大激發了孩子的學習興趣。④

在印刷文本閱讀時代的孤獨式沉浸中,人們面對的是靜止的符號,因此對文本的體驗是想象式的,對文本的接受是自主的,對文本的思考是理性的；而在“數字出版2.0”閱讀時代的狂歡式沉浸中,人們身處的是“真實”的情境,因此對文本的體驗是具身式的,對文本的接受是無意識的,對文本的思考是感性的。所以說,置身于當代語境中,沉浸又有了新的內涵。

二、“以人為中心”的沉浸式設計

沉浸的實現,關鍵在于能否通過場景化操作為用戶制造參與感,歸根結底在于能否將“以人為中心”的核心理念貫穿其中。理解“以人為中心”,要從兩個層面進行,一個是“作為體驗者的人”,還有一個容易被忽略的層面,即“作為媒介的人”。

無論是在以單向、大眾傳播為特征的“第一媒介時代”,還是在以雙向、互動傳播為特征的“第二媒介時代”,⑤人與媒介的關系都逃離不了麥克盧漢“媒介即人的延伸”的理論框制,人就是人,是受眾,是信息的被輸入對象。然而,在以沉浸為主導的傳播語境中,不僅現實社會、周遭環境變成了媒介,人本身也變成了媒介,人走入傳播的核心舞臺,主導傳播的發生,改變過去對媒介的依賴。而作為媒介本體的人,既是被動的信息接受者,也是主動的信息發送者,還是被動的信息發送者,總之,沉浸傳播的中心不再是信息,而是人。⑥

因此沉浸式設計的宗旨是創造沉浸體驗,討論“以人為中心”的設計理念最終還是要回歸到“作為體驗者的人”上。1975年,美國芝加哥大學心理學教授米哈里·契克森米哈(Mihalyi Crikszentmihalyi)曾對包括專業棋手、戶外運動愛好者、作曲家等在內的數十種特殊職業者進行過訪談,當被問到“為什么能持續地、專注地、不厭倦地從事各自領域的活動”時,他們一致認為:專注能讓自己獲得一種令人興奮的情緒體驗,特別是當他們從事的活動非常順利地開展時,這種情緒體驗會像水流一樣,毫不費力、源源不斷地出現。米哈里稱這種情緒體驗為“心流體驗”(flow experience)或“沉浸體驗”。⑦

1996年,澳大利亞心理學家蘇珊·杰克遜(Susan Jackson)在米哈里的研究基礎上從九個維度對沉浸體驗的內涵進行了闡釋,分別為:清晰的目標、明確的反饋、挑戰-技能平衡、專注任務、潛在的控制感、行動-意識融合、自覺體驗、時間扭曲感和失去自我意識。⑧杰克遜提出的九個維度實際上是對沉浸體驗發生的條件、過程以及結果的解構。

首先,米哈里認為,沉浸不僅僅是全情投入而享受到的一種精神體驗,更是一種目標驅動下的投入與付出,是人們在完成任務、實現目標時獲得的積極的、極致的精神體驗。⑨所以人們所沉浸的那個行為,必須是朝著某個目標前進的,而不僅僅是娛樂和消遣時間。

其次是對任務的專注。如圖所示,體驗者處于不同的技能與挑戰狀態時,通常會表現出三種基本情緒——焦慮、無聊和沉浸。即當個人能力超出挑戰時,通常會產生無聊感,以致懈怠任務；當挑戰超出個人能力時,通常會產生焦慮感,甚至放棄任務；只有當個人能力與挑戰達到平衡時,人們才會產生較強的專注力,任務才能繼續進行。

再者是對過程的反饋。盡管前文認為用戶在沉浸中對文本的接受是被動的、無意識的,這并不代表體驗者在整個過程中就完全失去自我,反而,如果缺乏潛在的控制感,體驗者就會游離于行動之外。當然,如果控制感過強,體驗者的參與感也會大打折扣。只有當行動與意識融為一體時,體驗者才會對執行中的任務作出明確的反饋,從而產生心流,進入自覺沉浸狀態。

其實,不論是討論“作為媒介的人”還是“作為體驗者的人”,都有一個共同的邏輯出發點,就是交互性。正因為有了交互性,人的媒介作用才得到彰顯,體驗需求也得以滿足。因此,在沉浸式設計中,我們應該著重從內容與形式、規則與任務等方面考慮交互實現的可能。

三、多感官敘事與交互實現:以“小熊尼奧”系列產品為例

從“想象式”到“具身式”,從“心理沉浸”到“身心沉浸”,沉浸式閱讀在印刷文本和數字出版兩個時代的含義有云泥之別。具身式,即人真實地投入到虛擬世界中,通過多感官上的沖擊和碰撞,產生近乎于真實世界感受的方式。也就是說,數字時代談沉浸,首先要談“身體在場”、以何種方式在場、以何種程度在場,只有“身體在場”了,才有條件談“心理在場”。

人有五感,視覺、聽覺、觸覺、嗅覺、味覺,其中視覺、聽覺和觸覺是人與機器交流的主要界面,是人產生沉浸感的主要通道。目前,大多數沉浸式出版物也都從視覺、聽覺和觸覺三大系統進行敘事建構,我們以“小熊尼奧”系列產品為例來討論一二。“小熊尼奧”創立于2012年,系央數文化(上海)股份有限公司旗下主力品牌,專注于2-10歲學齡前和學齡期兒童的互動智能產品開發與銷售,目前主要有“口袋動物園”“口袋動物園2”“口袋交通”“神筆立體畫”“AR地球儀”“神奇AR識字卡片”等系列產品,其中“口袋動物園”僅2015年第一季度銷量就達到150萬套,銷售額過億。⑩

1.視覺敘事

視覺是人體感知外界事物、獲取外界信息的第一來源。人的視覺器官——眼睛通過光的作用,感知有關物象的空間、大小、色彩、形狀和動態,組合成有用信息傳至腦部進行分析,并做出思想或行動上的反應。沉浸式出版在視覺效果的營造上有多種方式。

譬如,創造虛實相生的故事情境。虛實相生是中國古典詩詞常用的結構之法,“實”是指客觀世界中存在的實象、實物、實境,“虛”則指由實境誘發和開拓的審美想象空間。在沉浸式出版中,“虛”還有另一層含義,就是通過現代技術實現的想象空間的“實象化、實物化、實境化”?！靶⌒苣釆W”系列產品利用增強現實技術將平面圖像瞬間轉換成三維動畫,屏幕中的圖像可以隨卡片作橫向360°旋轉和直立320°翻轉,從而展現出豐富的動畫效果,用戶也可以實現全方位的觀察和學習。通過增強現實及三維實時渲染等技術將原本虛擬的物象“實物化”并融入實景空間,營造了虛虛實實的故事情境,可以快速使用戶進入沉浸狀態。

2.聽覺敘事

人體感知外界事物、獲取外界信息的第二來源是聽覺。事實上,聲音往往更容易使聽者產生想象的空間,這得益于它的兩大特點:一是穿透性。聽者在遠距離、不明方位的情況下都可以接受信息?！都t樓夢》中用“未見其人,先聞其聲”來描寫林黛玉進賈府時首次見到王熙鳳的情景,充分地體現了聲音穿透力對人體感知的影響。二是戲劇性。文字是“冰冷”的,而聲音是有“溫度”的,聲音情緒的改變會直接影響聽者對事物的感知。所以在文化藝術創作中,借助聲音來敘述情節、塑造形象、勾畫場景、營造意境,可以達到事半功倍的效果。

正因為如此,以音效增強代入感的手法在沉浸式出版中得到了廣泛運用。以“口袋動物園”為例,被“召喚”出來的動物除了會跑會跳還會叫,發出的聲音大都采集于動物原聲,營造的打雷、閃電、刮風、下雪等環境音效也十分逼真,動物在不同的環境中還會通過聲音表現出不同的情緒?！翱诖煌ā敝行∑?、火車、警車、救護車等不同車種的鳴笛聲,賽車炫技產生的“飄移”聲,直升飛機起飛時旋翼發出的聲音……在虛擬場景中,這些音效可以增強環境的仿真性,輔助視覺系統加深對外界信息的感知和記憶,加速沉浸感的產生。

3.類觸覺敘事

在一般出版物的設計中,觸覺是人們很少探索和研究的感官系統。杭云、蘇寶華認為人體在交互中獲得的觸覺信息是兩種信息的混合,首先是通過皮膚與物體接觸而感受到的信息,比如物體的紋理、質感；然后通過相互“運動”產生力的作用,從而產生更進一步的感受,比如物體的軟硬、形狀。兩種物理信息經過大腦的加工和轉化,就形成人們對物體的觸覺感知。然而,在虛擬現實環境中,我們很難感受到虛擬物體的物理屬性,更難與虛擬物體發生力的關系。

為了延展產品的敘事維度,市場上有一些新的嘗試。2017年戛納電影節上展映了一部六分半鐘的影片——《肉與沙》(Carne y Arena),這部影片不僅采用了VR技術,還以圍墻、沙石、鐵銹、破鞋等實體裝置營造了真實的觀影環境,幫助觀眾通過與實體裝置的接觸產生身臨其境之感,這種“裝置化”模式就是一種典型的觸覺敘事方式。

“小熊尼奧”系列產品中也有一些近似于觸覺感知的設計,比如“口袋動物園”里,用戶可以將動物放在手心,可以隨意放大縮小或移動它們。然而,盡管用戶對虛擬物體實現了操控,但是他實際感受到的卻僅僅只有點擊屏幕時產生的機器震動感,而非與虛擬物體之間真實的觸覺感知,因此,從嚴格意義上講,這種感知不是觸覺感知,姑且稱之為“類觸覺”感知。

4.交互實現

無論是視覺敘事、聽覺敘事還是觸覺敘事,都是為了在虛擬世界里營造一種逼近真實的感受,從而促進人與虛擬世界的交互,增強人在虛擬世界里的沉浸感。如果未來真像尼古拉·尼葛洛龐帝(Nicholas Negroponte)所預言的,“虛擬現實能使人造事物像真實事物一樣逼真,甚至比真實事物還要逼真”,那么人在真實世界和虛擬世界里的自由切換,也會使沉浸成為一種常態。

“小熊尼奧”致力于互動智能產品開發,其產品也在不斷升級。相較于“口袋動物園”,“口袋動物園2”增加了七項功能,其中就有五項與交互實現有關。其一是場景切換,針對不同的動物生成它們所生活的環境,幫助體驗者深入了解動物棲息環境；其二是天氣控制,根據喜好選擇多種氣候,體驗呼風喚雨的快感；其三是語音聲控,說出動物名字即可召喚出想要的動物,動物們可接收走、跳、跑等七十多種指令,一呼百應；其四是道具組合,生成對應道具并與動物進行互動,比如用殺蟲劑殺害蟲、給老虎喂食、給海獅玩球等；其五還增加了寵物模式,體驗者可以飼養虛擬小動物,并隨時與它們互動?！翱诖鼊游飯@2”的多種交互設計,打破了傳統識字卡片枯燥乏味的學習過程,提高了用戶學習的專注度,讓早教學習效率大幅提升。

沉浸式出版物集合了視覺、聽覺、觸覺等多種感知元素,并通過交互設計模糊了現實世界與虛擬世界的邊界,“讓體驗者像感知真實一樣感知虛擬、像與真實世界互動一樣與虛擬世界互動”,從而實現從“生理”到“心理”的完全沉浸。

四、面向現實的技術哲思

作為一種新型出版模式,它的出現讓人耳目一新,但同時也暴露了諸多問題,尤其是在技術面前,我們不得不做出反思和回應。

1.裝置佩戴的繁瑣與輕松閱讀的需求相悖

德國學者漢斯·薩克塞曾在其著作《技術與責任》中指出,“技術可理解為人的自然器官的完善,它使人們能夠更好地去聽、去看、動手去做?！闭\然,人的五感感知能力是有限的,唯有通過技術來幫助人體獲得正常感知范圍之外的信息。

自2013年來,以VR眼鏡、VR耳機、頭盔顯示器、數據手套、力反饋器等為代表的技術裝置層出不窮,極大地滿足了人們的新鮮感和好奇心,然而。在調查中我們發現,在日常閱讀體驗中,大部分人對這種“裝置式”閱讀方式并不適應。佩戴裝置時,體驗者的身體會產生緊張感、束縛感甚至眩暈感,而閱讀本身是一種放松的、享受型的活動,這兩者是相違背的。這種體驗帶來的沉浸感往往也是短暫的,因為這種狀態通常會因為裝置佩戴調整等情況而中斷。未來技術創新的方向應該聚焦在如何使裝置設計充分適應人體學構造上,要最大程度地減少裝置佩戴給人帶來的不舒適感。

2.技術的有限表達對想象力的扼殺

印刷文本意義的表達主要依靠文字和圖片,沉浸式出版卻可以利用技術建構一個豐富、立體的虛擬世界。正如恩格斯所說,“科學是一種在歷史上起推動作用的、革命的力量”,科學技術的發展必然會引起生產方式的變革。然而我們不能忽略,技術對虛擬世界的營造是機械化、單一化、標準化的,它的豐富是有限的豐富,立體是有限的立體,所以它給讀者帶去的想象空間也是有限的。在技術建構的閱讀世界里,“一千個讀者心中可能就只有一個哈姆雷特”。因此本雅明(Walter Benjamin)就在《機械復制時代的藝術》中指出,機械復制技術制造了“世物皆同的感覺”,消解了古典藝術的距離感和唯一性。

我們很難想象VR或AR技術該如何呈現《紅樓夢》中寶玉初見黛玉時的風姿綽約。正如海德格爾所說,“技術是對意義的遮蔽”,技術也是對讀者想象力的扼殺。

3.技術“狂歡”下的文化沉淪

沉浸式出版帶來的最大危機可能是對技術的過分崇拜而導致的對文化價值的忽略。美國社會理論家赫伯特·馬爾庫塞(Herbert Marcuse)曾尖銳地指出,“現代科技只關心那些可以衡量的東西以及它在技術上的應用,而不再去問這些事物的人文意義,只問如何運用技術手段去工作,而不關心技術本身的目的,從而產生出被扭曲的科學……”所以談沉浸,一定是兩個維度,一個是表面維度的技術沉浸,一個是內在維度的文化沉浸,更重要的是內在維度。

馬克思·韋伯比喻,科技技術就像一張地圖,它可以告訴你到某一個地方怎么走,但是它不能告訴你往什么地方去。因此,沉浸式出版一定要警惕技術“狂歡”下的文化沉淪,這也是我們為什么提“沉浸式出版”概念而非“VR出版”概念的原因。

注釋:

① “超文本”是20世紀60年代美國技術先鋒德特·納爾遜(Ted Nelson)創造的術語,指用超鏈接的方法,將各種不同空間的文字信息組織在一起的網狀文本。其特點是鏈接、分叉選擇和非順序性。

② 周憲:《從“沉浸式”到“瀏覽式”閱讀的轉向》,《中國社會科學》,2016年第11期。

③ [德]本雅明:《說故事的人》,《本雅明文選》,陳永國、馬海良譯,中國社會科學出版社1999年版,第321頁。

④ 童云:《沉浸的故事:增強現實技術有聲書的內容創新》,《中國廣播》,2018年第4期。

⑤ 李沁、熊澄宇:《沉浸傳播與“第三媒介時代”》,《新聞與傳播研究》,2013年第2期。

⑥ 李沁:《沉浸傳播的形態特征研究》,《現代傳播(中國傳媒大學學報)》,2013年第2期。

⑦ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑧ Jackson S A,Marsh H.DevelopmentandValidationofaScaletoMeasureOptimalExperience:theFlowStateScale,Journal of Sport & Exercise Psychology.1996,18(1):17-35.

⑨ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑩ 劉一鳴、胡伯俊:《基于增強現實技術的兒童出版物利潤源研究》,《出版發行研究》,2017年第5期。