Illumi-mory：通過AR技術創造并帶來閱讀記憶

石 磊 洪玉潔 （寧波大學科學技術學院 315000）

由于科技的快速發展，我們可以在不同的設備上閱讀，但實體書在我們的生活中仍不可或缺。我們喜歡實體書的可觸感，但我們難以通過實體書的文字去理解一些內容，特別是一些小說和奇幻的場景。通過實體書我們如何體驗從過去穿越到未來的感覺？如何體驗愛麗絲夢游仙境？

試想一下，我們能否利用AR技術讓我們在場景描寫中體驗到閱讀的真實感？如果這個系統足夠聰明，那它是否能意識到我們在哪里，并向我們發送信號，提醒我們閱讀了什么？

當我們碰到新的知識點，我們會自然而然的去查相關資料。但是如果我們不能夠清楚地記得我們要查詢的知識點，我們通常會再返回去看一遍。難道我們一定要再去看一遍？我們能否換一種方式直接提醒我們這個知識點？

Illumi-mory系統使用AR信號作為內容/記憶存儲器，并可穿戴，輸出一個微小的信號作為提醒。

我們認為把AR技術和環境智能化結合在一起是比較有趣的，這種體驗更能注意到不同的閱讀環境——這是一種很好的記憶重放方式。當我們閱讀的時候，我們會注意到周圍的環境，例如，大部分人在圖書館更能集中注意力。

我們選擇可穿戴的（例如珠寶）物體來表現光，因為它跟人比較親密——我們每天都戴著它，就像我們帶智能手機一樣。傳感器可以收集到很多人體信息，從而解鎖不同的內容。

圖2：使用環境智能化可以在特定的時間和空間內了解你的閱讀環境

相關工作：

這項研究涉及到幾個方面，例如增強實際閱讀量，通過顏色增強數字化記憶和環境智能化。

在當今的教育環境下，閱讀和與實體書的互動是學習過程中的重要組成部分[1]。我們之前一直致力于研究通過AR優化實體書閱讀過程。

例如，在文獻[2]有人開發了一套優化實體書閱讀過程的系統，給年輕讀者提供與書本內容互動的機會，通過在手持式顯示器上標記基準點，看到更準確的3D圖形。閱讀這本書籍并與之互動，為用戶提供了多感官體驗，這是很難通過其他技術實現的。在文獻[3]中作者給出了一個系統，可以自動將印刷技術文檔（如手冊）傳送到三維現實中。它幫助用戶將手冊中的圖像直接匹配到實體對象上，減少認知縫隙。

學習環境中的環境智能：

根據Cook等人[1]，任何智能環境都可以被分解成四個基本層：物理、通信、信息和決策。每一層在環境中扮演不同的角色，促進不同的操作并滿足特定的要求。在文獻[1]中，作者給出了一個環境類只讀存儲器，它幫助學生感知上下文，從而提高他們在閱讀時檢索和呈現相關材料的學習效率；在寫作時，它隨時可以提供幫助以便于完成他們的寫作任務。Hanzi Lamp是一個AR學習系統，通過改進系統對現實學習環境的掌握情況來探索如何加快漢字學習。

顏色和記憶：

對人類來說，顏色是最重要的視覺體驗，[4]它作為人類認知系統的一個強有力的信息通道，在增強記憶能力方面起著重要的作用。[5]色彩在學習和教育，營銷，溝通，甚至運動方面起著重要的作用。事實上，研究表明，生動的色彩線索有助于提高阿爾茨海默病患者的短期記憶能力。[6]

在Illumi-mory系統中，我們打算使用顏色作為外圍提示來鼓勵用戶回憶他們以前的閱讀體驗。我們利用手機內置攝像頭識別文本/圖像，同時通過照相來記錄周圍環境的優勢，然后，我們通過從像素中提取顏色信息來設計調色板。最終一種主要顏色被計算出來，代表了相應環境的主要顏色色調。基于這一功能，可以很容易地集成其他功能，如記錄聲音甚至氣味。

圖3：從左到右：通過照相記錄環境；分析環境的像素，提取出主色調

執行情況

我們通過一個概念原型來證明這個想法。軟件和硬件工具包括統Unity 3D，vuforia sdk，Samsung Galaxy Note III，Arduino，LightBlue Bean，Neopixels和webcam。關于軟件方面，我們使用跨平臺的游戲程序Unity 3D為安卓設備創建APPs。我們使用vuforia sdk，這是一個可以使用任何圖像作為標記的AR框架，在統一環境中進行文本/模式識別，我們還可在其上創建并覆蓋信息（視頻/3D模型/圖像）。IO.Ports系統被用來聯系Unity 和 Arduino in C#.。Light Blue Bean是一種新的兼容藍牙技術的Arduino，它可以無線上傳你的代碼到板子上。

主要功能

當這個攝像頭第一次掃描到不熟悉的詞，例如VERITAS，它會提供用戶全面的解釋例如一個視頻/圖表/照片。同時它會自動地記錄周圍的環境。這個環節分析了環境的主色調。Illumimory系統會記錄你查詢每個單詞的次數。所以，在第二次/第三次/...當你查詢這個詞的時候，它會根據以前記錄的環境中的主色調打開光。

使用方法

Illumi-mory系統可以被用在不同的APP上來支持用戶的閱讀行為。利用AR技術，Illumi-mory系統可以同步記錄你閱讀的地點，學習的頻率和你喜歡的內容不喜歡的內容。開發者可以制作目錄讓Illumi-mory系統表現得更好。以下是三種我們推薦使用Illumi-mory系統的場景。

學習和重放記憶

當你在圖書館溫暖的黃燈下閱讀時碰到一個國外的單詞/專業的術語，例如“拋物線”，你不理解這個詞的意思，這時你可以打開Illumi-moryAPP，用你的智能手機對準這個單詞，然后在你的手機屏幕的文字旁邊會出現一個相關的圖表解釋。有一天，你在其他的雜志上看到這個單詞但不能夠清楚的記得他的準確意思。你用這個APP來查詢它，但是這一次，這個APP不會給你解釋，相反，你戴上黃色燈的項鏈在你周圍創造了一個黃色的環境，也播放了被記錄的周圍環境的聲音。你會感覺你被帶到當你在圖書館閱讀的那一天并記起“拋物線”的圖表和意思。

圖4：用你的智能手機對準這個單詞，然后在你的手機屏幕的文字旁邊會出現一個相關的圖表解釋

圖片5：你戴上黃色燈的項鏈在你周圍創造了一個黃色的環境，也播放了被記錄的周圍環境的聲音

游戲化：

在學習時使用Illumi-mory系統，它會記錄你學習單詞的次數和學習單詞的數量。在你學習了一段時間后，有趣的內容將會被解鎖，比如一個有趣的視頻或者一個很棒的3D交互模型，以此來激勵你的努力。

圖6：完成指定的學習時間解鎖有趣的內容

推薦系統：

你可以對你閱讀過的書籍用顏色進行標記喜歡與否，這個系統會根據可穿戴的設備表現出的顏色來給你推薦一些書籍。例如，你用你最喜歡的紫色來標記你最喜歡閱讀的書，比如你喜歡那些被設計的書和女人標記的書，討厭那些帶有暴力標簽的書。當一天你去圖書館/書店的時候，你選擇的書你不確定是否會喜歡。這時你可以打開你的照相機對準書本的條形碼，這時項鏈會發出表示不受喜歡的白色的光來提醒你，你可能不想要閱讀這本書，因為這本書是關于第二次世界大戰的。然而當你掃描扎哈?哈迪德的書時，會顯示紫色的燈光表示你可能會享受這本書。用戶可以通過他們自己顏色的偏好來定制這個推薦系統。

圖7：通過掃描條形碼用顏色來標記你喜歡的書和不喜歡的書

圖8：系統會根據用戶標記的顏色來推測喜歡與否

未來圖景：

基于這樣的框架下，我們清晰的明白還有更多的需要去探索與實現。例如，我們可以通過AR將評論進行覆蓋去看到其他人的想法。或者說使用谷歌的cardboard，通過VR使文字描寫探索的虛擬世界更加逼真。將集成傳感器放置在可穿戴的設備上去捕捉使用者的表情和行為去解鎖不同的AR內容。

結論：

在本文中，我們提出了一個技術上的框架，將現實與智能結合，通過創造和帶來閱讀記憶來增強使用者的閱讀體驗。AR是用來解鎖信息并產生記憶，AI則是用來將環境與記憶相結合。概念模型的驗證也成功的證明了這個想法。一些使用場景被制作成程序。

圖9：將arduino和燈嵌入可穿戴的設備中玩轉記憶

[1] G.Margetis， X.Zabulis， P.Koutlemanis， M.Antona，C.Stephanidis.Augmented interaction with physicalbooks in an Ambient Intelligence learningenvironment.Springer Science+Business Media， LLC.2012.

[2] Grasset R， Duenser A， Seichter H， Billinghurst M（2007）The mixed reality book： a new multimedia reading experience.CHI'07 extended abstracts on Human factors in computing systems， pp.1953–1958.

[3] Peter M， et al.Retargeting Technical Documentation to Augmented Reality.CHI 2015.

[4]Adams FM， Osgood CE.A cross-cultural study of the affective meaning of color.J Cross Cult Psychol.1973;4（2）：135–156.

[5]Wichmann FA， Sharpe LT， Gegenfurtner KR.The contributions of color to recognition memory for natural scenes.J Exp Psychol Learn.2002; 28（3）：509–520.

[6]Cernin P， Keller B， Stoner J.Color vision in Alzhermer’s patients： Can we improve object recognition with color cues? Aging Neuropsychol C.2003; 10（4）： 255–267.