聯覺及其在電子游戲設計中的運用

梁司瀅

（昆明理工大學津橋學院,云南昆明 650101）

“聯覺”一詞的英文是syneshesia，源于希臘語“συν”（syn）指的是“同步”和“統一”，而“α?σθηση”(aesthesis)指的則是“感覺”和“知覺”。由其名稱可知，聯覺是一種“多重感知”的現象。聯覺者能夠在收到外界某種單一的知覺刺激后同時引發另外一種知覺的反應，例如，有的聯覺者能夠在看到一個幾何形狀時聽到一段音樂，或者聽到音樂時眼前自動浮現出不同的圖形。

一、聯覺的臨床醫學定義

當非聯覺者談道聯覺的時候，他們總會認為聯覺僅僅是一種想象，就像聽到音樂腦海中浮現出畫面一樣。但嚴格來講，這與臨床醫學定義中的聯覺是不同的。

在臨床醫學中，聯覺被描述為一種現象，當聯覺受到某種外界感官刺激后，會自動觸發另一種知覺的聯動。美國神經學家里查德·西托維齊為聯覺者的診斷提供了三個標準：無意識性、空間拓展性、基因遺傳性。無意識性意味著聯覺者并不能夠主觀選擇和控制其被觸發的另一個感官，并且也不能令其消失；空間拓展性指的是，雖然聯覺者接收到的外界刺激與其本人距離較遠，但因聯覺而觸發的另一種感官則像是圍繞著聯覺者身體周圍的感覺；基因遺傳性則是聯覺是基因性的，并且將會伴隨聯覺者一生不會隨著時間的變化而變化。對于非聯覺者而言可能很難理解這種感受（例如烤雞的味道嘗起來像是一個點陣圖形），對聯覺者來說這就是他們最日常不過的體驗。

二、聯覺的心理學研究

聯覺的心理學研究最初始于19世紀中葉，心理學家們一開始認為聯覺是存在于人類腦內的正常功能，只不過聯覺者的這一功能比非聯覺者更為發達。多年后，另一種假說則認為聯覺是一種認知功能，是聯覺者腦內存儲的感官信息的心理鏈接。然而最近的神經學研究卻推翻了這種心理學機制，因為聯覺者從出生便擁有這一體驗，還有的聯覺者則稱他們會看到在真實世界中從未見過的顏色。不過這些關于聯覺的心理學研究也并非毫無意義，它為研究人類的感官提供了一種思路。心理學家馬克思·勞倫斯發現，在聯覺者的體驗中，存在著一些共通的規則，例如，輔音字母“i”或是“e”對應的是一個明亮的顏色。

三、聯覺的藝術研究

聯覺的藝術學研究可追溯至1860年，藝術家們之所以對聯覺產生興趣是因為其涉及了人類五感的混合，繪畫、詩歌、音樂和雕塑……幾乎所有的藝術形式都含有類似聯覺的體驗。例如，一段音樂可以讓人聯想到相應的畫面甚至是一個故事。這并不僅僅是幾個音符簡單的排列組合，而是聽覺與其他感官的整合。藝術就像是用一種感官形式去表現或強調另一種感官一樣，聯覺和藝術都是與知覺相關的，藝術家們嘗試尋找一種特殊的方式去改變傳統單一的表現形式，而聯覺者們天生就具有這種多感覺互通的體驗。

藝術家卡羅爾·斯蒂恩是一名運用其聯覺經驗進行藝術創作的聯覺者，她在看到字母和數字的時候能夠看到顏色，在聽到音樂或感到疼痛的時候看到幾何圖形。斯蒂恩利用她的聯覺經驗作為靈感，創作了很多獨特的繪畫和雕塑作品。對斯蒂恩而言，聯覺是她靈感的來源，而她的作品則是給人們體驗聯覺者感受的表現形式。

非聯覺者的藝術家們也會使用聯覺經驗來進行創作。德裔瑞士藝術家梅拉·奧本海姆的代表作“object”是一個被動物皮毛包裹的咖啡杯。這個作品的獨特之處在于，咖啡杯本來作為承載咖啡的容器，會讓人聯想到咖啡的味覺信息，而皮毛則讓人聯想到撫摸寵物時候的觸感，這兩者通過視覺方式予以結合，然而毛皮摸起來舒服，可是嘗起來卻不怎么樣，所以當看到這一物件的時候會喚起人們內心的抵觸情緒，這種不和諧的感官組合給觀察者造成了緊張的壓迫感。

四、聯覺與創意的關聯

藝術們不僅對聯覺經驗感興趣，更重要的是希望能夠將這些經驗運用于藝術創作中。一些研究注意到，許多知名藝術家都是聯覺者，例如抽象派畫家先驅康定斯基·衛斯理、立體主義畫家弗朗西斯·皮卡比亞、作曲家亞歷山大·斯克里亞賓、作家弗拉基米爾·納博科夫。并有研究表明，雖然聯覺者在人群中的比例僅占2%，但他們之中有24%的人從事與藝術相關的行業。

雖然不同的聯覺者可能擁有不同的聯覺體驗，但他們在飽和度、明度和音調方面存在著一些共同的認知。而非聯覺者們也偏向于將某些固定的顏色和音調聯系起來，例如一個亮色對應一個高音。即使聯覺者與非聯覺者產生這一感官體驗的機制并不相同，但我們可以從中得到一些共性的部分，用以將感覺與認知有意識地進行更合理的引導。

五、聯覺在電子游戲設計中的運用

對電子游戲設計者而言，從聯覺體驗中獲取靈感是非常有益的。雖說聯覺是一種天生的個體體驗，大量非聯覺者的玩家是無法理解聯覺者的感受的。但設計師們可以從聯覺經驗中獲取一些共性的認知，使得各種感官的聯想更為合理。

（一）現有的游戲實踐

日本世嘉公司的音樂節奏游戲《初音未來·歌姬計劃》是一款節奏類音樂游戲。玩家需要在彩色的圖標正好移動到屏幕上固定的灰色圖標上時按下手柄上對應的按鍵。圖標主要有四個，對應著掌機上的四個按鈕，并用四種不同的顏色來表示。除了短音之外，玩家有的時候還需要長按按鍵演奏長音，此時表示長音的圖形會在形狀后加上一條曲線，曲線移動的長度就是長音所占時間長度。這種使用彩色圖形來代表不同聲音的方式正像是音調-色彩聯覺者的體驗。相較于大部分音樂游戲把按鍵固定于屏幕某一個具體位置的方式而言，該游戲采用的方式是每段旋律對應的按鈕會出現在屏幕不同的位置，而音符圖標的移動方式也是帶有節奏和韻律的動畫效果，這種方式讓音樂和視覺圖像產生了聯系，就像是彩色的圖形隨著音樂節奏起舞一樣。

另一款游戲《啪嗒砰》則采用了另一種方式表現聲音和畫面的鏈接，游戲采用不同節奏控制角色不同動作的方式進行。玩家需要通過有節奏地按下固定組合的按鍵，產生不同的旋律段來控制游戲中的角色作出如行走、攻擊、防御等動作。如果玩家按下了非設定的按鈕組合或者節奏不正確，游戲角色會很疑惑，并停止他們正在做的動作。

表1 《啪嗒砰》游戲基本操作

（二）設計元素

一些聯覺者稱他們在看到數字的時候同時會看到一些真實世界中從未見過的顏色，如果這些顏色能夠用人工的方式合成，在真實世界中得以呈現，那游戲設計者將會擁有更多的色彩選擇。

聯覺體驗也提供了一些五感之間關聯的思路，例如，一些聯覺者稱當他們感覺到疼痛的時候會看到彩色的圖形，這些經驗可以給游戲設計者在如何使用聽覺和視覺來更準確地表現疼痛提供思路。例如，紅色和黑色會讓人聯想到傷口的顏色，而為了加深痛感表現，也可以添加一段不協調的音樂，讓人聯想到傷口不規則的形狀。

（三）沉浸與交互

游戲是一個虛擬的世界，其信息都以二進制的形式被存儲。動態的3D圖像使得玩家能夠在視覺上體驗虛擬世界，環繞立體聲則讓玩家能夠在聽覺上感受虛擬世界。但僅有這兩種體驗顯然不足以支撐游戲的真實性，而利用聯覺體驗的啟發，可以將視覺和聽覺與其他感官之間建立聯系，拓展虛擬世界的感官體驗。

游戲設計是一種創作，設計者需要在虛擬的平臺上創建一個令人信服的游戲世界。但玩家能很明顯地區分游戲和現實世界，因為在游戲的世界中，玩家的五感并沒有完全投入。玩家也許可以在網絡游戲中與朋友聊天，但卻無法觸碰他們，聞到他們的味道。在電子游戲中，目前主要能夠調用的就只有視覺和聽覺這兩種，如果能夠將觸覺、嗅覺、味覺這些感官體驗也加入游戲中，那么游戲的沉浸感便會加強。

六、結語

聯覺現象歷經300多年的研究，引起了神經學家、心理學家和藝術家們的關注，然而大部分藝術家的研究偏向于傳統美術，將聯覺經驗運用到電子游戲設計當中的案例不多見。本文的研究較為泛化，但提供了聯覺在現有游戲中的實踐案例，并列舉了聯覺經驗提供的新的游戲設計元素和通過聯覺體驗創建沉浸式的交互游戲體驗的方法。在目前的技術仍然沒能找到將觸覺和嗅覺、味覺等運用到游戲設計中的現在，如果能使用視覺和聽覺觸發其他感官聯想的方式，便能為游戲體驗提供更豐富的信息。