基于Pervasive Computing技術的外語網絡交互模態話語構想

[摘要]文章以“Pervasive Computing”為技術支撐，以“系統功能語言學”為理論研究框架，以外語教學領域的模態話語研究為表現形式，探索創建多模態視野下的外語網絡交互教學模態，即供交際雙方或多方信息全球實時傳達、同步立體交互的多模態教學模式。

[關鍵詞]Pervasive Computing話語語境；網絡交互；模態構想

[中圖分類號]G420 [文獻標識碼]A [論文編號]1009-8097(2011)06-0091-05

一 引言

Pervasive Computing(普適計算)是近年計算機技術的進步成果，是網絡計算的自然延伸，它方便人們即時地獲得信息并采取行動。Pervasive Computing可以無所不在地、隨時隨地進行計算機運算，無論何時何地，只要需要就可以通過某種設備訪問到所需的信息。其“無處不在”和“以人為本”的理念，使得許多領域里虛擬現實語境成為可能，尤其適用于外語交互學習語境的建立。本研究以Pervasive Computing為技術支撐，以“系統功能語言學”為理論研究框架，以外語教學領域的模態話語研究為表現形式，探索創建多模態視野下的外語教學模態，即供交際雙方或多方信息全球即時傳達、同步立體交互的多模態性教學模式，它將是基于當代傳播技術的信息集散共同體，使往返交互形成的虛擬空間中實現的真實社會語境成為可能。

二 話語語境理論與研究現狀

1 研究的理論基礎

網絡交互模態話語研究基于系統功能語言學的語言即社會符號(social semiotic)和意義潛勢(meaning potentia)的認識，將語言以外的其它符號系統也列入研究的范疇；同時從系統功能語言學的系統觀出發，認為多模態話語本身就是一種有機的系統；此外，從語域(register)理論角度可以認為，語境因素和多模態話語的意義解讀之間有著緊密的關聯：而基于純理功能假說(metal function hvpothesis)，認為多模態話語與單純的語言符號話語一樣，也同時具有概念功能、人際功能和語篇功能等的多功能性。多模態話語研究可涉略的課題很多，本文擬就網絡交互模態教師話語進行探討研究。從系統功能語言學的系統觀出發，教師話語即是教師同時運用多種符號資源完成意義建構的語言系統，對其研究的重點本應就是話語語境的問題，語境因素和多模態話語的意義解讀之間必然有著緊密的關聯。因此，這樣的話語意義，也只有在多種符號資源對應的語境中才能得到完整的體現。由此可以肯定，實際交流中發生的話語，本來就具有傳播的多模態性(multimodality)。而教師話語研究，也正需要弄清文字、圖象等與此相關因素之間的關系，探索如何構建這樣一種話語傳播的多模態性。

近年來，隨著多媒體技術、語料庫研究及言語工程技術研究的迅猛發展，從技術和方法層面上使得實現話語傳播多模態成為可能。多模態話語語境創構的研究方法，正是在此前提下整合語言及其相關資源，利用當今高度發展的計算機數碼技術，以求實現模擬實際語境進行多感官同步交互與意義傳遞，從而使話語的意義解讀更加全面和準確。這種摒棄以往脫離語境的抽象“文本”，將話語作為一種具體交際行為的研究形式，即是3G時代的多模態話語研究，它具有數碼信息的時代特征。

2 國內外研究現狀

雷鈉特.N.凱恩和杰弗里，凱恩的研究認為PervasiveComputing技術可模擬出真實的或無法再現的場景，如視頻游戲一樣使學習者進入到既熟悉又陌生的探索活動中，成為其中的一個角色，使其獲得沉浸感，能夠在復雜而具有挑戰性的環境中重構信息。模態話語分析則始于R.Barthes，其較早探討了圖像與語言在表達意義方面的相互作用；O'Halloran，K.L.僅研究多模態的理論建構，還專門研究了教學語篇中的多模態現象：Royce.T.又研究了不同符號在多模態話語中的互補性，以及在外語課堂教學中多模態的協同性等。

近年國內多有將Pervasive Computing應用于學習領域的研究，但涉及到外語教學者甚少。如周雪、任友群研究了Pervasive Computing技術下的學習環境：徐光、陶霖密、史元春、張翔研究了Pervasive Computing模式下的人機交互，指出Pervasive Computing使既往顯性交互轉變為了隱性交互；蘇偉的研究涉略了基于普適計算的交互漢語學習。外語教學方面國內李戰子提出以系統功能語言學理論對多模態話語研究，胡壯麟“社會符號學研究中的多?；庇懻摿硕嗄B符號學和多媒體符號學的區別，介紹了具有媒體和模態雙重特性的計算符號學。但這些研究均未涉及到基于Pervasive Computing的外語教學。

三 Pervasive computing技術與應用現狀

1 “普適計算”無所不在

當前，人類社會已由前期PC(Personal Computer)時代進入網絡時代的后PC(Pervasive Computing)時代，即“普適計算”時代。IBM在1999年提出了Pervasive Computing即“普適計算”概念，經過十余年的不懈努力，當下“普適計算”研究已經臻于成熟，全球網絡化和電子產品智能化進入了加速發展的階段，“普適計算”已可以在任何時間和地點，只要需要便可能通過某種PC設備訪問到所需的信息。普適計算為我們描述了這樣一種狀態：即PC無處不在的計算能力將融入到人類生活的一切領域，它既能夠幫助我們輕松地完成日常的生活、工作與學習，而且，這種計算能力又可以是動態實現的，它能把住宅、學校、汽車、辦公室、商店和銀行里的計算設備以及個人計算設備加以連接和協調，不僅為信息、服務和應用提供接入點，而且可以在此過程中實現高度虛擬真實的實時交互。

2 我國應用研究現狀

我國這方面的研究成果已在一定范圍內投入應用，如清華大學的普適計算研究項目Smart Classroom創建的便是未來教學系統的雛形。整個系統由教室和電腦系統組成，教室裝有兩個等同墻面積的投影屏幕，一個屏幕在前面，另一個屏幕在側面。前面的Media Board是對觸摸敏感的Smart Board，教師使用數字筆和橡皮擦在上面寫和擦，用于顯示教學材料，遠程學生也能夠實時看到這上面發生的一切；側面的StudentBoard顯示遠程學生圖像及電腦驅動的虛擬助手。當教師得激光筆指向某一個學生的圖像選中一個遠程學生，對方能夠實時感知和反映。教室里的攝像頭，準確捕捉教師的動作和課堂情境，當教師作出某一動作，用于拍攝教師動作的攝像、圖像即會被實時傳送。隨身佩帶的麥克風捕捉教師的話語，以實現教學意圖。這些技術設施，使得遠程和當下課堂之間的交互就像在同一課堂的交互情形近乎完全一樣。

毫無疑問，在新一代高速互聯網飛速發展、網絡荷載和CPU計算能力空前增長、多媒體技術日益成熟的今天，我們已經能夠通過網絡和計算機系統的幫助，隨意克服地理和時空的差距，以語音、視覺、觸覺、嗅覺等多模態的方式實現全球性的人際協作交互。這樣一代分布式多媒體信息系統是以人為本的，即讓人們以符合人自身習慣的方式進行信息交互，它是一個支持多用戶以多種媒體實現交互的集成系統，這種集成系統足以完成教學的多模態需求，能夠滿足遠程交互式研究、交互式學習、交互式娛樂等人際合作真實語境的需要。

四 話語語境與模態研究

1 話語范圍與模態對應

話語的范圍、對象、基調和方式是英語教學話語模態的基本要素。話語范圍即教學內容，指施教課程的內容與程度；話語對象即包括學生現有知識結構、智力結構和興趣所向等；話語基調指教師個性特征及與學生之間的關系，其中包括交際目的；話語方式則是指教學設備、信息傳播方式等話語載體的基本情況。

生物學研究認為，人類五種獲取外部信息的感知渠道分別產生了五種交際模態：即視覺模態(visual modality)、聽覺模態(auditive modality)、觸覺模態(tactile modality)、嗅覺模態(olfactory modality)和味覺模態(gustatorymodality)。在上述模態中，與話語分析關系最緊密的是視覺模態和聽覺模態。近年來，由于科學技術的發展，觸覺模態、嗅覺模態和味覺模態也開始用于遠程話語交際，如數據手套(data glove)不僅可以傳遞觸覺，而且還可以在虛擬的網絡環境中有真實的觸摸感覺，從而使人機對話更加接近于自然的人際交互。

不同教學目標則需要選擇不同的模態形式。語言學基礎理論課程通常采用解析理論原理并用實例進一步說明原理的講解方式授課，一般選擇視覺的書本、PPT和聽覺的口頭講授與解答問題等常規模態，基本能夠滿足課程的要求；語言學必修課程的教學目的是幫助學生獲得聽、說、讀、寫的綜合應用能力，相對靜態的模式就難有理想的教學效果。如寫作必須在獲取了生動鮮活的目的語背景文化之后，才便于正確地表達，而鮮活的目的語背景文化又是需要在動態發展的信息中才能準確獲取的。至于培養實際交際能力的語言學課程，就更需要接近真實的語境。因此可以說，最佳的教學效果往往來自于模態話語組合的有機性。在既往的技術條件下，視覺模態通過PPT等傳達信息框架和圖形信息，同時又以書本補充提供具體的知識信息；聽覺模態則以聲音合成模擬真實語境；所謂多媒體則是視覺模態與聽覺模態組合協作，形成視聽整合的模態形式。這些每一種模態形式都能獨立傳達信息，但難以形成語言交際教學的語境效果。因為，英語教學語境需要達到能夠感受基本話語之外意識情感的程度。這就需要全方位立體動態的模態形式，需要在傳統口述、讀寫的文本模態特性基礎上，跨越時間和空間，達到立體表達、同步傳遞、大功率儲存、情景模擬交互等多項數字化的超文本功能。

綜上所述，英語語言教學必然選擇各模態協作的多模態綜合效應，只有這樣才能夠同步調動多感官接受話語信息，從而形成信息開始、延續和結束的完整系統，增強對話語信息的接受和理解效果。為此，尤其需要整合國際資源的網絡模態，其強烈的時效性和生動鮮活的信息內容，才有益于提高英語習得的接受興趣與理解程度。

2 建構同步交互的網絡模態語境

當前關于課堂話語的研究還遠不能與上述的教學要求相匹配，英語教學領域中迄今為止的多模態話語(multimodaldiscourse)研究，仍停留在使用多種信息媒體如PPT、實物投影、影像和網絡資源等分類話語模態形式的多種組合上。這雖然也是一種融合了多種信息的交流模態，如聲音、文字、形象等傳遞信息的話語篇，但由于其只是多種設備功能的有限整合，必然遠不能創造出高度虛擬真實的實時協作交互。為此，需要創設基于“普適計算”可供多用戶實時沉浸交互的、用戶可控的一體化信息交互環境。區別于多媒體設備各具所長的特性，基于“普適計算”的網絡交互模態則是一個集成的、不受時空限制的信息交互系統，它能以人習慣的、而不是更多被技術條件限制的方式完成教學任務的全過程。

為此，本文所探討的網絡交互模態不等同于分別由PPT、實物投影、影像和網絡資源等實現的分類話語模態形式，它在實現話語語境方面具有更多的系統性和有機性。網絡交互模態指的是基于“普適計算”(Pervasive Computing)與數碼技術的三維虛擬動態的網絡開放環境，它的主要特點是國際開放性、同步交互性、人際真實性。它依賴于計算機和網絡平臺，以其獨特的交互語言創造“人機共棲”的信息空間?！敖换バ浴?Interactive)是網絡交互模態的根本特征，而虛擬現實(Virtual Reality)則是其信息形態的最終體現，它將以高度逼真的視覺、聽覺、觸覺、嗅覺和情感特征的智能交互，模糊主客體之間的關系，超越多媒體而實現了人際交際的系統體驗。它不僅適用于國內校際間合作共享，也適合于國際校際間的協作教學，是必然為當今時代普及的全新模態范式。

網絡交互模態的可能性源于“普適計算”(PervasiveComputing)視野下的數字式電子傳播技術。當前，飛速發展的計算機技術不僅攻克了文字數字化的難題，而且還使復雜的聲音和圖像的全球即時共享成為可能。通過計算機二進制語言的數字化處理，可以使以往相互界限分明的語言、文字、數字、聲音、圖形與影響等各種信息傳播載體實現交互，并成為渾然一體的信息共同體。在數字信息技術和網絡技術大發展的前景下，網絡交互模態融合了數字處理技術、網絡傳輸技術、現代通訊技術、多媒體傳播技術等技術領域，實現了跨學科的高度融合，使課堂中的任何話語形式都將成為可能。

創建這樣國際、校際間基于數碼技術三維虛擬動態的網絡開放環境，須研究其在外語教學中可能應用的具體模式，使這一模式所建構的虛擬真實語境，既可以使外語學習者與目的語參與者直接交互，也可以通過外語教師與目的語教師實時交互溝通，更好地指點外語學習者進行多方的正確交互(見圖1)。

這一模態依賴于計算機和網絡平臺，以其獨特的交互語言創造人機共棲的信息空間。這一教學模態將實現如下具體內容：(1)設計基于Pervasive Computing的學習系統的框架理論，定義各功能模塊；(2)搭建Pervasive Computing系統平臺，擬定各項技術功能；(3)完成基于Pervasive Computing技術下的整體網絡教學模態建構，實現建構外語教學信息共同體的目標定位。

3網絡交互模態的語境形式與特性

“多模態話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象?！?1 o]在此基礎上，網絡交互模態不僅打破了文本時代線形敘事的信息方式，利用上述多種手段和符號資源進行交際，網絡交互模態通過計算機網絡技術實現的雙方或多方的信息即時交互，還將成為知識信息全球立體表達、同步傳遞的交互平臺。由于雙方或多方國際性的共同交際，其交互結果具有無限的可能性，其模態形式具有國際開放性、多方交互性和用戶沉浸性的綜合特性。

(1)國際開放性

第二語言教學網絡交互模態首先必須具有足夠的開放性，即國際開放性，如建立目的語國家間的國際性校際合作與開放等。如果缺失這樣一個國際性的資源平臺，無論利用怎樣先進的技術，都仍然難以實現真正意義上的話語語境和交互意義。如《英語高級聽力》等交際程度較為深入的課程，需要以專題采訪等形式習得和檢驗英語的聽說能力，不在國際性資源平臺的目的語真實語境中，便難以取得理想的成效。為此，網絡交互模態的開放性需要實現開放性環境、開放性過程和開放性結局的全方位開放，才能形成接近社會現實交際的真實語境，取得預期的交互效果。

(2)多方交互性

交互模態交互性即能動的可參與性，是指雙方或多方現實空間的參與者對虛擬空問的實時交際體驗。由于現實交際往往是多方參與互動的，因此，利用網絡實現雙方或多方互動是交互模態的必然前提，不能實現多方參與的網絡交互是不完整的模態形式。網絡交互模態區別于被動接受的視聽音像模態，是它實現了信息即時接受與能動參與的可能性。網絡交互模態與現實環境中的情景一樣，不同的參與者在參與過程中將形成不同的交際結果，獲得各自不同的體驗與感受。

網絡交互模態是一種模擬現實、擬人化的虛擬環境中的人際交互，是在人與計算機交互的基礎上實現網絡中的人際交互的。交互雙方通過自身的語言、動作與虛擬環境中的真實對象實現交際，計算機則根據參與者的頭、手、眼、語言及肢體語言，調整系統呈現的圖像及聲音，現代數碼技術不僅可以涉及意識交互，它還逐步引導出無意識交互，交互技術正影響著人類不受時空限制地實現對自身全部心理空間的認識與把握。

(3)用戶沉浸性

網絡交互模態的虛擬真實性體現在它的沉浸性特性之中，沉浸性是指虛擬環境里交互者感官的“移情”現象。正是這種移情，利用感官經驗淡化了交互者認知與感覺的界限，創設了一種前所未有的認知體驗過程。參與者在自然的狀態下，根據自身的感知系統并借助數字交互設備，體驗虛擬真實中近乎逼真的空間感受，參與者不僅通過視覺和聽覺，還可以通過嗅覺和觸覺多維地感受虛擬界中所發生的一切。Pervasive Computing和數字式電子傳播技術使這一切看上去、聽起來、動起來似乎都是真實的，參與者感到在虛擬環境中與各種對象的相互作用，就如同在現實世界中一樣真實。這種身臨其境的逼真感覺，足以使人們全方位地沉浸于交際之中。

“外語教學主要培養學生的外語實踐能力，即在真實語境中的交際能力。所以，在外語教學中提供真實語境是一個十分有效的手段?！眰鹘y英語教學的角色模擬與情景創建方法，并不能夠使學生獲得真實的交際語境感，那樣的“語境”只是一種憑空的想象。而課堂話語網絡交互模態基于“普適計算”和數字式電子傳播技術虛擬現實語境的沉浸性，有效地破解了英語教學經久難解的語境缺失瓶頸。

4 實現模態的技術保證

網絡交互模態的虛擬環境不同于數碼三維虛擬的模態場景，它并非靜態的空間，而是由Pervasive Computing和數字式電子傳播技術營造出的一種高度開放的動態交互環境?！八梢詫⑴c者做出響應，如手勢、語言、肢體動作等。網絡兩端的參與者都可以用手直接抓取和移動模擬環境中的物體，不僅有抓東西的感覺，還能感到物體的重量；參與者可以像在現實世界中一樣拿起一把虛擬的火炬，并在虛擬環境中將它點燃”。這方面研究成果頗多，如可為多模態人機交互系統提供一種快速的手勢識別方法，該方法通過提取手勢軌跡的關鍵點及各關鍵點的運移方向而形成特征信息碼，然后與標準手勢符各種可能的特征碼進行匹配比較，其中方向特征信息用于預分類，而關鍵點位置信息用于再分類。實驗結果表明該方法不僅識別率高而且反應迅速。

此外，可穿戴計算系統(wearable computing system)這一全新的計算技術更使虛擬交互得心應手。與傳統的計算技術相區別，可穿戴計算以穿戴的方式使人和計算機更加緊密地結合在一起，提高了人的整體感知和PC的計算能力。穿戴計算機具有非限制性、非獨占性、可覺察性、可控性、環境感知性與交流性6大特性。非限制性是指穿戴計算系統不僅僅是計算，而是在計算的基礎上增強人的智慧，增強人對外部環境的感知能力；非獨占性體現在穿戴計算機不限制用戶移動，還解放了用戶的雙手，使用它時仍然可以做其它的事情；可覺察性是隨時隨地接受用戶的操作并顯示結果，并在必要時對用戶進行有效提醒；可控性是指可切斷穿戴計算機的自動控制鏈實現人工干預，或將人工干預加入到自動控制鏈中：環境感知性則指穿戴計算機具有環境覺察、增強現實感、介入現實的環境感知力，可延伸人大腦和四肢感官的多重感知；交流性是穿戴計算機具有通信能力，用戶可以與其它穿戴計算機以及電子設備、網絡隨時通信。當前可穿戴計算已不再僅限于特殊領域使用，應用已轉向人的日常生活。

由于計算機技術的高度發展，不僅能夠保證網絡交互的方便性，并且，交互中的開放性過程和開放性結局也可由交互者根據具體的交際情況隨機而定，如果需要還可依據發生的過程與結果評價話語的交際效果。交互中“普適計算”與數碼技術的三維虛擬動態技術為參與者提供了一個無限可能的交互環境，并設定了一些基本的套路或結局，而參與者可以根據自身的體驗需要，并不一定必須選擇那些指定的套路，完全可以按自己的方式創造一種新的交互情節和結局。網絡游戲和動畫設計領域現有技術能夠實現的交互可行性，同樣可以在第二語言教學網絡交互模態中得以實現。毫無疑問，現有的所有創新技術都具備使用方便、效率優良的功能特性，都能夠成為第二語言教學網絡交互模態堅實的技術保證。

五 網絡交互語境模態可能存在的問題

為了深入研究，本人在相關的多模態教學研討會上就網絡交互模態創建征求意見，與會同行大致就以下幾個方面提出質疑：多數意見擔心設備投資高難以實現：部分意見認為學生的知識水平與學能參差不齊，擔心不易在同一平臺進行網絡交互學習；更多的擔心則認為跨國際網絡交互學習最大的障礙，是地域時差和光影信息與聲音信息傳輸中的速差問題：此外，也有少部分擔心網絡交互中各種模態間協同是否和諧的想法。

以上這些擔心都是基于實際使用的考慮，所提出的問題也都不同程度的客觀存在著。然而，分析一件事物往往需要具有動態、發展的眼光，一件新的技術產品剛剛問世之際，由于高研發成本和較小的生產批量，必然售價較高：而當生產技術步入成熟期，產品趨向市場普及，由于大批量生產必然導致低價市場競爭，我國小型轎車市場就是一個最好的實例。當前PC技術超量發展，普及應用是其必然的發展趨勢，并且，普及應用已成為社會進步的迫切要求，并不取決于是否應用的人為意愿：學生的水平與學能差異雖然客觀存在，但之所以造成這樣差距的主要原因，仍不外乎是由于不同的學生處于不同學習條件所致。這樣的差距，也只有在不同程度水平與學能的交互環境中才可能有效地縮小，不能因噎廢食應是一個淺顯的道理。況且，在目標明確的前提下，學生對高一級環境的適應與追趕能力應該是可以實現的；全球有許多工作是處在時差的情況下進行的，地域時差可以通過專職教師崗位等手段來解決。至于光聲信息傳輸的速差與模態間的協同問題，當前Pervasivecomputing技術均能得以解決，完全沒有顧慮的必要。

六 結語

眾所周知，英語課堂話語作為產生意義的載體，包括概念、人際和語篇三種意義模式。其中人際意義模式即話語者運用語言參與交際活動的功能，不僅借助于稱呼語、人稱代詞以及幫助實現表達目的的動詞、名詞、形容詞和副詞等具體詞匯來體現意義，而且還常常需要通過語氣和情態系統來顯露言語之外的含意。為此，在話語主體、語篇與接受者以及語篇之間交互的對話過程中來定位意義更有利于實現話語的人際功效，而我國英語教學恰恰缺乏這樣的語境。因此，網絡交互模態正是當前實現這種互動對話過程的最佳選擇，它具有最大程度優化話語人際功能的作用與意義。

上述特定的認知模式決定了英語課堂話語的人際交互特征。課堂話語的現實狀況可概括為四種類型：即機械型，會話無交際意義；信息缺失型，上下文會話有意義，但缺失信息傳遞：偽交際型，話語方式非自然交際真實；交際型，話語方式具備自然交際真實，會話自然(spomaneous)而有意義(meanin2fuI)。㈣迄今為止，交際型教學制約因素頗多。

為此，所有的教學研究都對教師提問、學生回答的傳統模式進行了批判，認為這樣的教學難以使教師與學生產生意義的互動。然而，長期以來實際情形并未因這些批判而發生根本性的改變，究其根本原因，無外乎是由于缺乏話語的語境，就連經濟全球化進程也不足以產生這樣的現實交際語境。于是，教學課堂虛擬語境勢在必行，當前“普適計算”(Pervasive computing)與數碼技術已使這樣的虛擬構想成為可能，英語課堂話語的網絡交互模態研究，也因此具有了當下的現實意義。