基于認(rèn)知負(fù)荷理論的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)與應(yīng)用

吳元培 黃 晨

1(上海星河灣雙語學(xué)校 上海 201108) 2(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)

基于認(rèn)知負(fù)荷理論的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)與應(yīng)用

吳元培1黃 晨2

1(上海星河灣雙語學(xué)校 上海 201108)2(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)

針對(duì)在移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中如何有效顯示增強(qiáng)信息的問題，以提高用戶書籍選購效率為應(yīng)用背景，設(shè)計(jì)并實(shí)現(xiàn)一套移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。基于認(rèn)知負(fù)荷理論對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景中疊加顯示的多媒體信息的數(shù)量與類型進(jìn)行了篩選，并根據(jù)書籍具體內(nèi)容選擇高相關(guān)性的多媒體信息。使用Unity 3D與Vuforia實(shí)現(xiàn)了移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的開發(fā)。實(shí)驗(yàn)結(jié)果與用戶滿意度調(diào)查驗(yàn)證了系統(tǒng)的有效性。

移動(dòng)增強(qiáng)現(xiàn)實(shí) Unity3D Vuforia 認(rèn)知負(fù)荷

0 引 言

伴隨虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)在民用領(lǐng)域的快速發(fā)展，人們對(duì)這種全新信息顯示技術(shù)的熟悉與接受程度越來越高。得益于近年來智能手機(jī)產(chǎn)業(yè)的飛速發(fā)展，使得智能手機(jī)在計(jì)算能力、屏幕成像質(zhì)量、相機(jī)像素等方面都取得了長足進(jìn)步。同時(shí)由于還搭載了加速度計(jì)、光線傳感器等多種傳感器，智能手機(jī)成為實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)的理想平臺(tái)[1]。在移動(dòng)增強(qiáng)現(xiàn)實(shí)領(lǐng)域已有多項(xiàng)成功應(yīng)用案例，例如Pokemon等，而且淘寶、京東等也對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)在電商領(lǐng)域的應(yīng)用進(jìn)行了探索。

在知識(shí)獲取方面，移動(dòng)增強(qiáng)現(xiàn)實(shí)的應(yīng)用大多集中于圖書館管理[2-3]、博物館的展品介紹[4]，以及面向幼兒教育的增強(qiáng)現(xiàn)實(shí)繪本[5-6]等方面。作為傳統(tǒng)的知識(shí)傳播途徑，紙質(zhì)書籍在人們的生活、學(xué)習(xí)過程中依然具有重要地位。利用移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)幫助人們快速挑選適合自己的書籍有助于提高學(xué)習(xí)效率，并降低知識(shí)獲取成本。

雖然移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)具有強(qiáng)大的多媒體信息展示能力，但冗余或不恰當(dāng)?shù)妮o助信息反而會(huì)干擾用戶的判斷。因此本文以圖書選購為應(yīng)用背景，在移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中結(jié)合認(rèn)知負(fù)荷理論，根據(jù)書籍的類別有選擇性地顯示多媒體輔助信息，從而提高用戶的圖書選購效率。

1 基礎(chǔ)理論與系統(tǒng)架構(gòu)

1.1 認(rèn)知負(fù)荷理論

長久以來，人類對(duì)自身認(rèn)知機(jī)理的研究與探索從未停止。無論是抽象的基于邏輯推演的形式化方法，還是具體的基于現(xiàn)代神經(jīng)科學(xué)的研究，人們始終在探求與理解自身與所處世界的認(rèn)知聯(lián)系。相關(guān)認(rèn)知理論的研究與發(fā)展，在心理疏導(dǎo)、產(chǎn)品設(shè)計(jì)、教育等領(lǐng)域得到了廣泛應(yīng)用[7-8]。

認(rèn)知負(fù)荷理論最早是由澳大利亞心理學(xué)家斯維勒提出，通常與美國教育心理學(xué)家梅耶提出的多媒體學(xué)習(xí)的認(rèn)知理論一起使用[9]。認(rèn)知負(fù)荷理論認(rèn)為人類在知識(shí)學(xué)習(xí)與信息處理過程中可以分為短時(shí)記憶與長時(shí)記憶兩種機(jī)制。其中，短時(shí)記憶的信息來源可以是視覺或者聽覺，并且在進(jìn)行信息處理時(shí)，短時(shí)記憶能同時(shí)處理的信息數(shù)量只有2～3條；長時(shí)記憶所能存儲(chǔ)信息的種類、規(guī)模和數(shù)量幾乎可以認(rèn)為是無限的，因而長時(shí)記憶是知識(shí)學(xué)習(xí)的中心。在本文應(yīng)用場(chǎng)景中，依據(jù)短時(shí)記憶的特點(diǎn)，向用戶快速傳遞有效信息是本文系統(tǒng)的主要功能。

1.2 系統(tǒng)架構(gòu)

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，用于幫助用戶快速獲取書籍信息，提高選購書籍的效率，系統(tǒng)結(jié)構(gòu)如圖1所示。用戶使用智能手機(jī)的攝像頭捕獲目標(biāo)書籍的封面信息，在系統(tǒng)后臺(tái)對(duì)書籍的封面圖像進(jìn)行特征識(shí)別，進(jìn)而識(shí)別書籍類型，并依據(jù)書籍類型的不同選擇合適的多媒體信息疊加到真實(shí)場(chǎng)景中，通過手機(jī)屏幕呈現(xiàn)給用戶。根據(jù)認(rèn)知負(fù)荷理論為特定類型的書籍匹配合適種類的多媒體信息，是本文的研究重點(diǎn)。

圖1 系統(tǒng)結(jié)構(gòu)圖

2 關(guān)鍵技術(shù)與系統(tǒng)實(shí)現(xiàn)

2.1 多媒體信息管理

增強(qiáng)現(xiàn)實(shí)技術(shù)為人們提供了全新的信息顯示方式與人機(jī)交互界面，所能承載的媒體類型十分豐富，包括文字、圖形圖像、三維模型、視頻、音頻等。但如果在同一個(gè)場(chǎng)景中同時(shí)疊加過多的信息，會(huì)分散用戶對(duì)主要目標(biāo)的注意力，因此需要對(duì)所要疊加媒體的類型和數(shù)量進(jìn)行挑選。本文系統(tǒng)對(duì)輔助信息的類型、數(shù)量、布局進(jìn)行了研究。

根據(jù)認(rèn)知負(fù)荷理論，人們獲取信息的主要來源是視覺與聽覺，據(jù)此對(duì)媒體類型進(jìn)行分類。結(jié)合本文應(yīng)用場(chǎng)景，與書籍介紹相關(guān)的多媒體信息分類如表1所示。本文認(rèn)為書籍的封面是能表征書籍內(nèi)容的典型二維圖像信息，為避免信息冗余，本文系統(tǒng)不采用額外的二維圖像信息。在真實(shí)場(chǎng)景中疊加三維模型是增強(qiáng)現(xiàn)實(shí)技術(shù)的一項(xiàng)優(yōu)勢(shì)，在很多場(chǎng)景下，三維模型能更直觀地傳遞內(nèi)容，因此本文系統(tǒng)優(yōu)先考慮疊加三維媒體信息。此外，雖然人們能同時(shí)接受視覺與聽覺信息，但同時(shí)處理多種視覺信息的能力要明顯高于同時(shí)處理多種聽覺信息，因此本文系統(tǒng)在同一場(chǎng)景中音頻信息與視頻信息僅采用其中一項(xiàng)。

表1 多媒體信息分類

由于人們能同時(shí)處理的媒體信息數(shù)量有限，在本文系統(tǒng)中定義輔助媒體信息的數(shù)量為3種。同時(shí)，有別與在傳統(tǒng)二維平面中采用平鋪方式對(duì)內(nèi)容進(jìn)行布局，在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中可以采取更為靈活的三維立體布局方式，如圖2所示。

圖2 輔助信息位置布局

2.2 多媒體信息與書籍關(guān)聯(lián)

多媒體信息類型與書籍種類都具有多樣性，兩者之間是多對(duì)多的映射關(guān)系。根據(jù)認(rèn)知負(fù)荷理論，與特定種類書籍關(guān)聯(lián)的多媒體信息類型應(yīng)當(dāng)在數(shù)量上進(jìn)行限制，因此需要針對(duì)特定種類的書籍挑選出最具有代表性或者最能使得用戶快速理解該書籍內(nèi)容的多媒體類型。

按照中國圖書館圖書分類法，可以將書籍分為22個(gè)基本大類。為了簡單起見，本文僅挑選其中部分類型，并將書籍分為藝術(shù)、文化教育、工業(yè)技術(shù)三種基本類型。然后設(shè)計(jì)調(diào)查問卷，讓用戶根據(jù)書籍種類的不同，從所有本文系統(tǒng)所支持的多媒體信息類型中挑選出三項(xiàng)最能有效幫助用戶了解書籍內(nèi)容的多媒體信息。25位志愿者的調(diào)查問卷統(tǒng)計(jì)結(jié)果，如表2所示。

表2 多媒體信息選擇統(tǒng)計(jì)

從表2中可以看出，用戶對(duì)文字型多媒體信息中的“主要內(nèi)容”與“書評(píng)”都呈現(xiàn)出較高的關(guān)注度，而音頻、視頻與三維模型類的多媒體信息在不同種類書籍中的關(guān)注度各不相同。分析其中原因，本文認(rèn)為該類多媒體信息與具體書籍內(nèi)容呈現(xiàn)較高的關(guān)聯(lián)度，例如，與音樂相關(guān)的藝術(shù)類書籍，用戶傾向于選擇“音樂”；介紹建筑藝術(shù)的藝術(shù)類書籍，更多用戶選擇“三維模型”。因此，本文系統(tǒng)將多媒體信息分為所有類型書籍都適用的“共性”信息，包括“主要內(nèi)容”與“書評(píng)”，以及需要根據(jù)書籍的具體內(nèi)容進(jìn)行單獨(dú)關(guān)聯(lián)的“個(gè)性”信息，包括各類音頻、視頻與三維模型。

2.3 系統(tǒng)實(shí)現(xiàn)

本文系統(tǒng)基于Android平臺(tái)，使用Unity3D與Vuforia SDK進(jìn)行開發(fā)。其中，Unity3D是一款用于創(chuàng)建各類2D與3D游戲、虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)交互式系統(tǒng)的開發(fā)平臺(tái)[10]，具有所開發(fā)的應(yīng)用兼容性好、跨平臺(tái)等優(yōu)點(diǎn)，是業(yè)內(nèi)主流的開發(fā)平臺(tái)之一, 目前已有數(shù)百萬注冊(cè)用戶。Vuforia是由高通公司推出的一套開發(fā)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的SDK[11]，它實(shí)現(xiàn)了穩(wěn)定的圖像識(shí)別與跟蹤技術(shù)，并且可以使用本地識(shí)別與云端識(shí)別的靈活部署方案，是快速進(jìn)行增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)的解決方案之一，其基本工作流程，如圖3所示。

圖3 Vuforia SDK工作流程

Vuforia與Unity3D之間具有良好的兼容性，Vuforia以獨(dú)立package的形式無縫接入U(xiǎn)nity3D開發(fā)環(huán)境，可以讓開發(fā)者在Unity3D環(huán)境中十分便捷地進(jìn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用的開發(fā)。本文系統(tǒng)的開發(fā)環(huán)境界面如圖4所示。

圖4 系統(tǒng)開發(fā)環(huán)境界面

主要開發(fā)流程描述如下：

首先，進(jìn)行Vuforia相關(guān)設(shè)置，包括注冊(cè)Vuforia開發(fā)者賬號(hào)，申請(qǐng)與本文系統(tǒng)關(guān)聯(lián)的許可證，編輯設(shè)置標(biāo)識(shí)物特征數(shù)據(jù)集等。這里的標(biāo)識(shí)物就是每本書籍的封面。

然后，在Unity3D中進(jìn)行開發(fā)，包括導(dǎo)入獲取的許可證，加載特征數(shù)據(jù)庫，調(diào)整場(chǎng)景布局，并使用C#編程語言編寫腳本實(shí)現(xiàn)系統(tǒng)的交互邏輯處理。在對(duì)場(chǎng)景布局進(jìn)行設(shè)置時(shí)，由于書籍封面尺寸存在差異，這里使用相對(duì)位置布局，以保證整體風(fēng)格的一致性。

最后，利用Unity3D將本文系統(tǒng)導(dǎo)出到Android平臺(tái)上，在運(yùn)行Android系統(tǒng)的智能手機(jī)上進(jìn)行系統(tǒng)功能的調(diào)試。這里需要說明的是，利用Unity3D的跨平臺(tái)特性，本文系統(tǒng)可以很方便地移植到運(yùn)行iOS系統(tǒng)的智能設(shè)備之上。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 系統(tǒng)運(yùn)行效果

通過事先錄入相關(guān)書籍的多媒體信息，系統(tǒng)在運(yùn)行時(shí)通過識(shí)別書籍封面來確定書籍種類并選擇合適的多媒體信息疊加在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中。部分系統(tǒng)運(yùn)行示例如圖5、圖6所示。在每本書籍的增強(qiáng)現(xiàn)實(shí)顯示場(chǎng)景中，除了“共性”的內(nèi)容簡介與書評(píng)信息，還疊加了由書籍內(nèi)容決定的“個(gè)性”多媒體信息。

圖5 系統(tǒng)運(yùn)行示例1

圖6 系統(tǒng)運(yùn)行示例2

圖5為《喬布斯傳》的顯示效果，該書為人物傳記屬于文化教育類別，系統(tǒng)在“個(gè)性”多媒體信息中選擇喬布斯的傳記短片視頻與之相關(guān)聯(lián)。圖6為《莫扎特鋼琴奏鳴曲集》的顯示效果，該書屬于藝術(shù)類書籍中的音樂類別，系統(tǒng)在“個(gè)性”多媒體信息中提供了與該書相關(guān)的經(jīng)典鋼琴曲目音頻播放列表供用戶選擇播放。用戶可以通過手機(jī)屏幕與“個(gè)性”多媒體信息進(jìn)行交互，控制視頻與音頻的播放與停止。

3.2 系統(tǒng)有效性

為驗(yàn)證本文系統(tǒng)的有效性，我們邀請(qǐng)了18名志愿者試用本文系統(tǒng)，從內(nèi)容簡介、書評(píng)、視頻或音頻、系統(tǒng)是否能幫助用戶快速了解書籍內(nèi)容，這4個(gè)方面對(duì)系統(tǒng)進(jìn)行滿意度打分，分?jǐn)?shù)(0到10)越高表示滿意度越高，打分結(jié)果經(jīng)統(tǒng)計(jì)匯總平均后如表3所示。

表3 用戶滿意度調(diào)查結(jié)果

可以看到本文系統(tǒng)能有效幫助用戶快速了解書記內(nèi)容，從而提高用戶挑選適合自身書籍的效率。另外，我們注意到用戶對(duì)“書評(píng)”輔助信息的滿意度很高，這也與用戶在選購商品前會(huì)有針對(duì)性查詢?cè)撋唐返臍v史用戶評(píng)論的購物習(xí)慣相符合。本文系統(tǒng)節(jié)省了用戶單獨(dú)查詢書評(píng)信息的時(shí)間，也從側(cè)面印證了本文系統(tǒng)的有效性。

4 結(jié) 語

本文基于認(rèn)知負(fù)荷理論設(shè)計(jì)并實(shí)現(xiàn)了一套移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，有選擇性地挑選多媒體信息，借助增強(qiáng)現(xiàn)實(shí)技術(shù)疊加到真實(shí)場(chǎng)景中，提高了用戶查閱書籍的效率，并用用戶滿意度調(diào)查驗(yàn)證了系統(tǒng)的有效性。本文工作對(duì)如何在移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中更為高效地向用戶傳遞有價(jià)值的信息進(jìn)行了有益探索。

[1] 李丹，程耕國. 基于Android平臺(tái)的移動(dòng)增強(qiáng)現(xiàn)實(shí)的應(yīng)用與研究[J]. 計(jì)算機(jī)應(yīng)用與軟件，2015，32(1): 16-19，23.

[2] 薛峰，夏輝麗. 基于Android增強(qiáng)現(xiàn)實(shí)技術(shù)在圖書館服務(wù)平臺(tái)中的應(yīng)用研究[J]. 網(wǎng)絡(luò)空間安全，2016，7(5):70-71，77.

[3] 李震，李艷誠. 圖書館應(yīng)用移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)探究[J]. 圖書館學(xué)研究，2014，33(21):17-21.

[4] 王若嘉，黃心淵. 移動(dòng)終端在博物館信息展示中的作用探究[J]. 電子測(cè)試，2014，21(18):147-149.

[5] 章輝宇，繆文南，傅凱漩，等. 基于AR技術(shù)的虛實(shí)圖書[J]. 電子測(cè)試，2016，23(20):23-25.

[6] 張健，蔡新元. “增強(qiáng)現(xiàn)實(shí)”在傳統(tǒng)出版領(lǐng)域中的應(yīng)用探索[J]. 科技與出版，2013，21(10):90-94.

[7] 韓燕娟. 基于內(nèi)容分析法的多媒體學(xué)習(xí)中認(rèn)知負(fù)荷的研究綜述[J]. 中國醫(yī)學(xué)教育技術(shù)，2016，30(01):45-48.

[8] 胡雨霞，劉志勇. 如何設(shè)計(jì)使產(chǎn)品更符合人腦認(rèn)知習(xí)慣的研究[J]. 藝術(shù)與設(shè)計(jì)(理論)，2011，2(10):111-113.

[9] 王文智. 基于認(rèn)知負(fù)荷理論的多媒體教學(xué)呈現(xiàn)原則探討[J]. 遠(yuǎn)程教育雜志，2009，17(2):33-37.

[10] 魯文娟，金一強(qiáng). 基于智能手機(jī)的Vuforia+Unity3D增強(qiáng)現(xiàn)實(shí)技術(shù)方案及其教育應(yīng)用[J]. 現(xiàn)代教育技術(shù), 2017, 27(5):19-25.

[11] 褚偉龍，柯程遠(yuǎn)，紀(jì)昌紅，等. 移動(dòng)增強(qiáng)現(xiàn)實(shí)框架系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用，2015，35(S1):214-216，300.

DESIGNANDAPPLICATIONOFMOBILEAUGMENTEDREALITYSYSTEMBASEDONCOGNITIVELOADTHEORY

Wu Yuanpei1Huang Chen2

1(ShanghaiStarriverBilingualSchool,Shanghai201108,China)2(SchoolofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)

To effectively display the augmented information in a mobile augmented reality system, we design and implement a mobile augmented reality system which improves the efficiency of book purchase. We selected the number and type of multimedia information displayed in the augmented reality scene based on the theory of cognitive load. And we chose highly relevant multimedia information according to the specific content of the books. Thus, the development of mobile augmented reality system is implemented by using Unity 3D and Vuforia. Experimental results and user satisfaction surveys show that the proposed system is effective.

Mobile augmented reality Untiy3D Vuforia Cognitive load

2017-09-05。吳元培，高中生，主研領(lǐng)域：增強(qiáng)現(xiàn)實(shí)。黃晨，博士生。

TP391

A

10.3969/j.issn.1000-386x.2017.11.034