心電信號在交互影像設計中的應用研究

王翔宇　黃晶石

摘要：目的：當代科技和經濟的迅猛發展引發了人們對設計作品中交互性體驗和情感互動的高需求，設計領域開始探索如何將反映個人情感狀態的心電信號融入交互影像設計領域。文章的研究目的在于深入了解基于心電信號的交互影像設計，探索其對視覺體驗的新維度和人們情感互動需求的滿足程度。方法：文章主要從心電信號的三種可視化表達出發，即心電信號原始信息的可視化、心電信號轉譯信息的可視化和融合心電信號信息的綜合性可視化，著重研究其在具體案例中如何深入理解觀眾的情感、情緒和生理狀態，并提供更加個性化、引人入勝的互動體驗。結果：通過分析交互影像設計案例中對心電信號信息的處理和藝術表現形式，深入剖析這三種設計類型在心電信號利用、用戶參與度、情感化表達、藝術呈現形式等方面的特點。文章的重點在于呈現這些設計類型的優勢和局限性，以及它們在滿足用戶情感需求和提升藝術表現力方面的潛力。結論：研究結果驗證了心電信號在交互影像設計中的可行性，強調了融合心電信號的設計方法不僅能夠提高用戶參與度，還能夠豐富情感表達和藝術展現形式。未來，這些設計方法將為交互影像設計，尤其是在個性化體驗、情感共鳴和深度互動方面帶來更多可能性。

關鍵詞：心電信號；交互影像；情感化表達

中圖分類號：TP391.9 文獻標識碼：A 文章編號：1004-9436（2024）05-0-03

1 交互影像設計概述

交互影像設計作為融合技術創新與藝術表現的前沿領域，開啟了信息傳遞方式的全新范式［1］。不同于傳統的單向信息傳遞，交互影像設計致力于通過多元化的互動方式和內容，構建作品與用戶之間雙向互動的溝通渠道。這種雙向互動不僅僅是技術上的創新，更是對用戶參與感的強化，將用戶置于信息傳遞的主體位置，并滿足其在情感層面的需求［2］。

在交互影像設計中，交互方式是連接作品與觀眾的紐帶。多樣化的技術手段使觀眾能夠以更直接、更即時的方式與作品互動。身體互動是其中較為常見的一種方式，即通過觀眾的身體動作、手勢或觸摸，作品能實時產生變化與回應，這種即時性的互動提高了觀眾的參與感。同時，聲音互動是交互影像設計的一大亮點，觀眾可以通過聲音的變化來影響作品的展現形式，在音與像的互動中探索更多可能性。

交互影像設計將觀眾從傳統的被動觀賞者轉變為積極參與者，賦予他們探索、影響和塑造藝術作品的機會。如今，為了滿足觀眾對交互性體驗和與作品進行更深層次的情感互動的需求，不少設計師開始從觀眾的生理狀態入手，將觀眾的生理信號與設計作品相融合。研究表明，在情緒喚醒和情感共鳴方面，心電信號這一生理信號更加符合在交互體驗過程中觀眾的需求［3］。可見，心電信號的引入不僅僅是技術上的創新，更架起了情感交流的橋梁。通過監測心電信號，作品能更準確地捕捉觀眾的情感波動，進而呈現出更符合觀眾情感共鳴的展現形式。這種情感共鳴的加深不僅能夠滿足觀眾對深度交互的期待，而且能夠豐富交互影像設計的表現形式。

2 心電信號的特征及其情感化表達

心電信號是記錄人體心臟電活動的一種重要的生物信號。它能夠捕獲并表現心臟在每個心動周期的電生理變化，展示起搏點刺激心房肌、心室肌收縮和舒張的電流傳導過程。在標準心電圖波形中一共包含4種主要波段：P波段、QRS復合波段、T波段和U波段。每一種波段都對應著心臟在特定階段的電活動和生理變化。研究表明，人的情緒狀態可以通過心率和心率變異性來分析和描述［4］。通過計算R波的變化，可以推導出心率的變化。強烈的情感，如興奮、緊張或焦慮等，通常伴隨著心率的上升，這是身體應激反應的一部分，為了應對挑戰或威脅，心臟會加速供應氧氣和能量。而在情感愉悅和放松的狀態下，心率通常會降低，這是因為人體在愉悅狀態下更傾向于放松和平靜。

基于ECG的R-R間隔節律計算可以推導出心率變異性指標。心率變異性也可稱作HRV，HRV是心率在不同時間點之間的變化，通常反映自主神經系統的活動。較高的HRV通常與愉悅、輕松和情感適應性相關，而較低的HRV可能與焦慮、緊張相關。對HRV信號進行譜特征分析，可以得出LF和HF的值，通過對兩者的計算，可以評估交感神經與副交感神經的優位性。因此，利用心電信號可以實時表現個體情感的特征，將其用于交互影像設計中，可以拉近作品與觀眾之間的距離，觀眾可以利用自己的心電信號與設計作品互動，甚至可以實時創作作品內容，成為這個作品的創作者之一。這不僅能提升參與感和用戶體驗，還能拓展用戶交互的深度，同時為交互影像設計領域帶來新的交互方式。

3 融合心電信號的交互設計形式

基于心電信號的交互影像設計流程主要包括三個關鍵步驟：信號采集、數據處理和數據可視化。在信號采集階段，系統需要獲取心電信號的數據，這需要通過心電傳感器進行。一旦數據被采集，計算機就會對數據進行處理。這個階段包括數據清洗、分析和轉換，以確保數據準確可靠。數據可視化是設計過程中的關鍵環節，涉及將經過處理的心電信號數據轉化為可視化的形式。從設計表現來看，可以分為心電信號原始信息的可視化表達、心電信號轉譯信息的可視化表達和融合心電信號信息的綜合性可視化表達。

3.1 心電信號原始信息的可視化表達

心電信號原始信息的可視化表達是以心電信號的可視化為基礎向觀眾呈現一種新型交互體驗。這種設計融合了心跳特征與視覺內容，能直觀呈現心率節奏，讓觀眾身臨其境感受心跳的律動。這種直觀的節奏表達不同于傳統藝術的靜態呈現，而是將觀眾的心率轉化為動態視覺變化。觀眾不再是旁觀者，而是作品的一部分，能夠感知自身的生理律動，從而產生更緊密的聯系。

心電信號原始信息的可視化表達探索起步較早，Cube Life是Dave Everitt和Greg Turner在1999年創作的作品［5］，作品唯一的輸入是觀眾的心電信號，這些心電信號數據用于觸發聲音并生成帶有魔方結構的圖像。每個魔方對于創建它的觀眾來說都是獨一無二的，并且能夠根據觀眾的心跳數據在虛擬空間移動，與心跳的節奏保持一致。盡管在相同的脈沖下，得到的立方體是相同的，但生理反饋意味著觀眾變得更加投入，一些觀眾為了改變魔方的移動速度和方向嘗試讓自己的脈搏速度減慢，或者跳來跳去以加快脈搏速度。Cube Life的檢測設備操作簡單，包括一個夾子，可戴在手指（或耳垂）上，內部有一個心電傳感器，用來測量心電的變化。如果觀眾在交互后摘下設備，屏幕中的魔方就會慢慢消失，直到下次輸入才會重啟。

Cube Life是比較早期的實踐作品，其將心電信號融入作品交互中，并在建立觀眾和作品全新關聯方式的同時，展示了心電信號在交互影像設計中不同尋常的表達形式，給觀眾帶來了全新的體驗，具有劃時代的意義。然而，這種具有參與感的體驗在于觀眾的互動，如果觀眾未提供心電信號輸入，作品就無法展現其獨特魅力。同時，基于此類的作品會強調技術和心電信號，從而忽視其他藝術要素，如更深層次的情感表達、藝術創意和審美等。設計師專注于獲取和直白地表達心電信號，而沒有在創作過程中將心電信號和設計元素進行情感化的融合，從而導致作品顯得過于機械和冷漠。

3.2 心電信號轉譯信息的可視化表達

心電信號轉譯信息的可視化表達是一種深度個性化的設計形式，因為它不只是簡單呈現心電信號的變化，而是將這些變化轉化為觀眾可以從中感知情緒的形式。在這樣的作品中，觀眾的心電信號不僅僅是一個輸入信號，更是一種情感和情緒的載體。通過解讀和分析觀眾心電信號，系統可以產生相應的視覺、音樂或物理上的變化。例如，圖像的形狀、大小和顏色可能隨著心電信號的變化而變化，音樂的節奏或音量也可能隨之調整。這些變化并不是孤立存在的，而是能與觀眾的情緒相呼應，呈現出與情感相關的內容，引發觀眾內心深處的共鳴。在這種情景下，觀眾成為作品的共同創作者。他們的情感和情緒變化，通過心電信號的反饋，與作品形成一種雙向互動。通過實時解讀和反饋心電信號，作品能夠更加準確地捕捉觀眾的情緒變化，并將其轉化為可感知的形式，這種形式能使觀眾進一步投入作品之中，獲得更加深刻的體驗。

2016年，設計師Bin Yu和視覺藝術家Rogier Arents合作開展了一個項目［6］，利用筆式繪圖儀實現了心電信號轉譯信息的可視化表達。在這個項目中，生物反饋技術與視覺藝術相結合創造了一種全新的繪畫過程，它由參與者的心臟活動驅動，而心臟活動又受到其精神、身體和情緒狀態的影響。這個項目以心電信號為基礎，重新定義了情感表達的方式，將觀眾的情感和內在狀態轉化為藝術作品的元素。作者使用花朵圖像作為視覺隱喻，將心率變異性（HRV）可視化為花朵的形狀。在這個項目中，每個花朵圖案都代表一個人心跳數據的獨特性，不同的線條波動代表參與者在與作品交互時不同的活動情感、身體狀態或行為，如安靜放松、進行體育活動、大笑和深呼吸等。由于心跳活動與人類的經歷和感受密切相關，因此這些生物反饋繪畫實際上反映了人的“精神狀態”。

心電信號轉譯信息的可視化表達能夠增強觀眾與作品之間的互動和情感聯系，這主要體現在心電信號的反饋上，根據觀眾情緒狀態改變設計元素，以反映觀眾的情感狀態。這些設計的成功之處在于激發了情感共鳴，使觀眾能夠積極參與并在情感上獲得強烈的個人感受。案例突出了心電信號作為一種情感表達工具的潛力，以及如何將生理數據轉化為藝術作品元素，進一步深化了觀眾與作品之間的聯系。

3.3 融合心電信號信息的綜合性可視化表達

隨著學科交叉和多領域融合的不斷推進，基于心電信號的交互影像設計逐漸成為藝術創作與科技創新的結合點。這種設計逐漸向其他領域延伸，形成了綜合性更強的藝術表現形態——將心電信號信息融入綜合性可視化表達的范疇。融合心電信號信息的綜合性可視化表達，不僅僅是為了展示觀眾心電信號的情感可視化，更在于向觀眾提供一種參與并影響作品的交互體驗。它使觀眾成為藝術創作的參與者。這種設計賦予了觀眾更多的控制權和參與感，他們可以通過自身的心電信號與藝術家共同創作作品，甚至在一定程度上改變作品的敘事方向。在舞臺表演領域，這種設計的突出表現尤為引人注目。

舞臺表演本身就是一種綜合性藝術，而融合了心電信號的交互影像設計為表演注入了新的元素和維度。Moe Sugawa和Taichi Furukawa等人在2021年進行了一次名為“Boiling Mind”的舞臺表演［7］，這場表演將觀眾的心電信號的情感化表達融入了審美創作的過程中，為觀眾帶來了一場前所未有的藝術體驗。這不僅僅是一場表演，更像是觀眾與表演之間的一次共同創作。在此表演中，觀眾的情感狀態成了表演的一部分。通過改變舞臺元素，包括投影、聲音、燈光等，觀眾的心電信號被巧妙地融入表演之中。這種表演方式不僅僅是將觀眾的生理狀態呈現在舞臺上，更是將觀眾的情感、情緒與舞臺元素有機地結合起來。同時，表演者成了觀眾情感的“反應者”。通過整個舞臺的投影，表演者能夠看到觀眾心電數據的變化，并據此調整自己的表演。他們通過觀察觀眾的心態，調整自己的動作和表演節奏，營造出更加溫和或更加激烈的氛圍，讓觀眾產生共鳴。整個表演構建起了一個令人驚嘆的反饋循環，觀眾的情感狀態通過心電信號傳達給表演者，表演者據此調整表演，并再次影響觀眾的情感狀態，形成了一種連續的互動。這種互動不是一種單向的呈現，而是一種雙向的表演與觀看，創造了一個藝術體驗的交織網絡。

這一表演是一次對傳統表演模式的大膽顛覆。它將觀眾從旁觀者轉化為參與者，讓他們的情感和情緒成了表演的一部分。這種表演形式不僅為觀眾帶來了前所未有的身臨其境般的體驗，更是將藝術和科技融合，開創了一種全新的藝術形式。融合心電信號信息的綜合性可視化表達為交互影像和舞臺表演帶來了新的可能性，使觀眾能夠與舞臺表演有更深入的互動。

4 結語

基于心電信號的交互影像設計在表現形式上正經歷一場深度變革，其交互形式從最初簡單的信號可視化到與表演內容結合的實時交互，復雜性和融合性不斷加深。在此過程中，心電信號不僅僅用于監測用戶的狀態，更參與了實時互動的創作，推動了科學、藝術和技術的有機結合，提供了更深層次、更有趣和更易引發情感共鳴的互動體驗。此外，跨領域的合作與融合將促成交互設計朝著更具創新性的方向發展，基于心電信號的交互影像設計也將滲透到更廣泛的設計領域，如娛樂產業中的游戲、虛擬現實和影視制作，甚至是教育領域的創新教學方式。這種融合將探索出更多新的應用場景，有助于深化人們對基于心電信號的交互影像設計的認識和使用，對未來的科技創新和人機交互方式具有深遠的意義和影響。

參考文獻：

［1］ 馬曉翔，孫為.數字媒體藝術概論［M］.南京：南京大學出版社，2022：241.

［2］ 楊超.新媒體環境下的影像交互發（下轉第頁）

（上接第頁）展研究［J］.西部廣播電視，2022，43（16）：42-44.

［3］ 克勞迪奧·馬特拉，艾金·格迪克，卡布雷拉·基羅斯 L，等.它怎么樣？利用智能手機傳感來測量觀眾對現場表演的隱含反應［C］//第23屆ACM國際多媒體會議論文集.紐約：計算機協會，2015：201-210.

［4］ 易慧，陳瑞娟，鄧光華，等.基于心率變異性的情緒識別研究［J］.生物醫學工程研究，2020，39（2）：128-132

［5］ 埃德蒙茲·E，埃弗里特·D，麥考利·M，等.論生理計算在交互藝術中的應用［J］.與計算機交互，2004，16（5）：897-915.

［6］ 余波，阿倫特斯·R.生物反饋繪畫：讓心引領畫筆［J］.列奧納多，2020，53（5）：504-509.

［7］ 菅川萌，古河地面，G.切爾尼紹夫，等.沸騰的心靈：通過心臟和皮膚電活動的可聽化和可視化來增強觀眾與表演者的聯系［C］//第十五屆有形、嵌入式和具體交互國際會議論文集.紐約：計算機協會，2021：1-10.

作者簡介：王翔宇（1998—），男，上海人，碩士在讀，研究方向：數媒與影像數字化。

黃晶石（1980—），男，遼寧沈陽人，博士，講師，系本文通訊作者，研究方向：生理人類學。