AI手語主播的技術可供性：代償性機制下認知重構的發展版圖

喻國明?傅海鑫

【內容摘要】本文以聽覺障礙在AI技術的框架內的解決方案為例，探討了未來傳媒發展的“聚合”邏輯。首先，探討了AI手語主播的技術可供性，闡釋了人的多感官認知系統與認知障礙的彌補代償機制下認知重構的發展版圖;其次，考察了AI手語主播的技術迭代的演進邏輯，并論證了AI手語直播在聽覺認知彌合的未來發展中的升級版圖。指出，傳統媒介對個體的賦權總是以分割感官為前提的，個體很難在媒介世界中獲得如同真實個體般的全感官體驗，無法實現人的“感覺總體”回歸 。但是在全要素整合的AI互聯網系統中，人類將在媒介中得到全感官復制的體驗，感受到 “鏡像”般的數字孿生世界。

【關鍵詞】媒介;無障礙信息傳播;技術可供性;AI手語主播

傳播場域如今面臨巨大變局，唯有洞見傳播的核心概念“媒介”之內核，厘清媒介技術演化的中心邏輯，才能準確定位傳播的其他問題。

在麥克盧漢的“延伸觀”及萊文森的“補償觀”中，均顯示了媒介觀中最核心的觀點，即認可媒介的人本主義，強調媒介演進的邏輯起點是人類本身。如彼得斯所言，媒介技術的發明與應用之動力來源都是人類對自我與他人、私人與公共、內心思想與外在語詞之間的“交流”的渴望。①以人類視角反觀媒介演進史，可以發現它實際是一段人類實踐半徑不斷擴大的歷史。②把握人類自由度的拓展之勢，即是把握了媒介技術演進的內在規律。這其中當然也包括媒介技術的進化史，實際上也是一部對于人的感官通路障礙不斷打通的歷史。

2022年2月4日，由“百度智能云曦靈”數字人平臺聯合央視新聞打造的首個AI手語主播在冬奧會正式上崗，在冬奧會新聞播報、賽事直播和現場采訪中，為聽障人士送上實時手語翻譯服務，AI手語主播以其流暢的手語以及凝練的動作為廣大聽障人士提供了跨越聽覺的認知體驗，讓聽障人士可以快捷獲取賽事資訊，感受賽事精彩。③作為AI虛擬主播的一種，AI手語主播通過視覺方式模擬真實的手語者，幫助廣大聽障人士了解國家政策、獲取知識信息、進行情感娛樂等。這體現了技術對于無障礙傳播的推動，也彰顯了技術對于人文的關懷和對社會和諧的促進。

作為2022年北京冬奧會信息無障礙傳播的一部分，AI手語主播的出現補足了聽障人士對體育賽事和新聞信息的“聽覺”感官，通過實時演繹的手語動作、表情和唇語，從而在視覺上彌補了聽障人士在聽覺方面的認知缺陷。從信息無障礙傳播的角度來看，其強調用技術的方式彌合殘障人士與健全人之間的認知鴻溝，用技術對感官的替代達到認知要素的補足。④而AI手語主播所展現的AI對聽覺感官的彌補與多感官信息的彌合，讓聽障人士信息無障礙傳播有了進一步發展。

按照人文主義的觀點，聽障人士與健全人一樣是具有信息消費的天然權利的，而其權利必須通過媒介技術之于接收能力的改善才能夠真正實現。由于聽覺的缺失，聽障人士認識能力和反應能力相比于健全人之間具有較強認知差異。而能夠為人類所使用和不斷迭代的技術就成為了彌合殘障人士與健全人之間的認知鴻溝的重要幫手。因此，想要了解AI是如何對認知鴻溝的彌合作用則首先應從人的認知過程和感官系統出發，了解正常人如何通過包括聽覺在內的感官系統的各個要素完成認知過程以及聽覺缺失下人對感官的注意力轉移和代償。

一、人的多感官認知系統與認知障礙的彌補代償機制

在人的認知過程中，人的器官接收由外界的復雜信息經由人體感官通路轉譯并形成生物信息，再根據生物信息產生的刺激進行對信息的反饋。⑤以處在認知過程中的兒童為例，兒童通常會先采取“察看”的方式接收視覺信息，了解事物的外表包括顏色、狀態等，而后采取觸摸、嗅聞、聽、嘗的方式來對事物施加刺激并認識事物的信息反饋并最終形成對事物的認知，⑥最終，兒童會根據他們多次對話、多種感官所得到的信息來綜合認知所接觸到的事物。人的器官是人接收信息的重要媒介，通過人體的器官將所接收到的感覺轉化為人體可識別的生物信息。而在這整個的認知到反饋的過程中，人所接收的信息是綜合的且多元的系統整合的產物（見圖1）。

在多感官的信息接收系統中，聽覺是其中一個重要的感知分支，人利用耳朵為主要的感知器官接受聽覺信息。國內針對聽覺的研究提出，人在“聽”的過程中，“聽覺信息的感覺識別和登記主要是在聽覺網絡（以顳葉為核心）完成，反應選擇則需要認知控制網絡（以背外側前額葉為核心）參與，而反應準備和執行則是運動網絡（以中央后回和輔助運動區為核心）完成”，⑦換言之，聽覺可以感知聲音的音律、音色、響度、節奏的變化，并將這些復雜的音頻信息經由大腦處理后形成人的完整聽覺感知。在聽覺的支持下，人可以能夠完成接收音頻內容、感知空間方位、感受語言情感與節奏。⑧聽障人士由于聽力信息的缺失導致了對于音頻信息所包含的認知要素感知能力一并缺失，這也就形成了聽障人士與健全人之間的認知鴻溝。

而在人的認知過程中，除了對信息的接收過程，還有對情緒的感知過程。情緒的存在是人與人之間形成溝通、共情并建立良好溝通渠道的重要前提，聽覺是讓人感知情緒的主要通路，是除了圖畫（視覺）、動作（觸覺）以外的重要情感感知來源。根據研究，人的視覺與聽覺具有相同的多感覺皮層，這代表著視覺和聽覺在情感認知上具有部分的相通性，但單獨使用視覺或聽覺時或會導致情感感知上的殘缺。⑨聽覺為語言文字以音頻的方式提供了可以明確感知的情緒要素，不同的音律、節奏下能夠提供不同的情緒認知。因此，聽障人士對聽覺的缺失勢必會造成他們在情緒感知上的缺失，至少是不充分。

健全人在認知的過程中會將人的注意力進行均衡分配，以達到在不同的場景下根據人的需要感知場景中的敏感信息。當人失去聽覺時，會把原本用于聽覺的注意力分配至其他的感官上，從而迫使個體加強其他類型的感知以達到感知彌補的作用，⑩其在外在表征上則體現為聽障人士對視覺、觸覺等感覺的敏感。對聽障人士來說，他們需要一個可以提供多感官認知的中介來替代失去聽力情況下的信息接收和語言表達能力。綜合對比視覺、觸覺、味覺等感官信息接收能力，作為接收信息最充裕的視覺便成為了替代聽覺的最優感知路徑。

因此，應用于聽障人士的手語便從人可視的肢體動作上，以視覺感知為補償性通路為聽障人士構建補償聽覺缺失的溝通符號。基于這個路徑思維，服務于聽障人士的軟件輔助功能或是硬件輔助設備也大多從視覺刺激的角度出發進行開發，將文字、語言轉化為聽障人士可識別的視覺信息。AI手語主播亦是從視覺的角度出發，通過完善的人物建模和流暢的手語動作達到輔助無障礙信息傳播的目的，從而通過AI手語主播在聽障人士與媒體信息之間建立溝通的橋梁。

但是，對于AI手語主播而言，AI技術實際上可以從技術的諸多可供性上為人的聽覺溝通的重建建立更多基于AI的感官通路的合成，以便超越原有人工手語的單向度連接的局限。概言之，AI參與下的手語虛擬主播從技術可供性上是能夠在視覺感知通路的基礎上為聽障人士提供更多認知信息連接的可能性的。

二、AI手語主播技術迭代的演進邏輯

AI手語主播依托于AI技術構建手語傳播通路，其發源于早期“手語虛擬主播”的概念。在2002年，有學者針對手語虛擬主播進行了闡述，提出了手語虛擬主播的概念，在該研究所提及的手語虛擬主播是基于時下虛擬主播的既有技術，將預設動作和文本結合形成完整的手語虛擬主播。但在此概念下的手語虛擬主播是基于簡單文本反饋所得到的，由人工對所播報的字句進行手語簡化和轉譯，再進而將轉譯后的信息傳達給虛擬主播。由于手語虛擬主播對人力要求大、翻譯過程復雜、手語動作算法簡單以及早期計算機硬件算力不足等因素，手語虛擬主播在當時技術環境中難以實現。

隨著時間推移至2018年，經過長時間AI技術的發展，虛擬主播已經能夠借助算法對動作進行實時模擬。在當年12月，愛奇藝推出了全球首款AI手語主播“奈奈”，其原理是通過自動語音識別技術（ASR），準確識別視頻中的語音并將其轉換為文字，而后以NLP（Natural Language Processing）技術將文字轉換為手語內容，之后通過2D虛擬偶像進行輸出。其中，AI作為語言文字和手語語言的符號連接核心的雛形開始出現。2019年，愛奇藝與華夏出版社、中國聾人協會和鳳凰云祥等機構合作推出3D的AI手語主播，而詞匯量相比于上一代有了更大擴充，從幾十個詞到上千個詞。2021年10月，華為在開發者大會上展示了其所開發的華為手語服務（SignPal Kit），AI成為手語主播的實際核心，利用算法服務于實時語言轉譯。2021年11月，由中央廣播電視總臺央視新聞聯合百度智能云傾心打造的首個AI手語主播亦正式亮相于公眾，其AI對語言文字的翻譯已趨于成熟。

AI手語主播從最初的手語虛擬主播逐漸向目前的AI手語主播發展，究其根本，是在AI的作用下改變了其背后的傳播路徑。在“手語虛擬主播”的概念中，以文字和虛擬主播作為直接路徑，將語言文字經過電腦和算法直接生成動作。該種“文字—手語”傳播路徑下，語言符號量級較小的手語無法有效對所闡述的語言文字進行直接翻譯，而不得不采取人工校對的方式，避免產生手語語義錯誤并需要檢查內容表述完整，人工對手語語言的轉譯和對手語動作的錨定也直接導致了“文字—手語”翻譯過程的效率低下。另外，早期計算機圖像渲染能力不足也直接導致了手語虛擬主播動作無法實時生成，冗長的動作渲染時間進一步限制了手語虛擬主播的應用與發展。

在傳播路徑上（見圖2），手語虛擬主播需要從文字、口語開始，通過人工對語言的轉譯形成適用于手語語言的文字，再將文字輸入至計算機算法中并最終視覺性轉化形成手語虛擬主播，因此，“文字—手語”的翻譯過程是對文字的轉譯和轉化過程。同期與之相比的是人工手語主播，其大多出現在新聞直播間的一角，由專業的手語工作者輔助聽障群體接收新聞信息而存在。相比于人工手語主播，復雜的轉譯中介和多種語言的轉換使得流程上遠長于直接使用人工手語主播。因此，在早期無AI參與的“手語虛擬主播”中，由于語言文字翻譯效率低下和動作渲染能力不足以及轉譯流程長，其效率和使用價值上遠不如同期的人工手語主播。

而隨著AI對流程的深入參與，既有的AI手語主播技術路徑與傳播路徑（見圖3）也發生了變化。以2022年北京冬奧會AI手語主播為例，其依托于智能云，基于《國家通用手語詞典》規范建立的規模龐大的手語動作庫，導出可用于機器語言的翻譯結果，再將機器語言輸入至服務于圖像的AI中并最終輸出AI手語主播的模擬畫面。在該流程中，AI作為信息轉譯、動作生成的核心，將語言文字與最終的手語主播相串聯，取代了上述人工所需要參與的語言文本轉譯、校對的過程。

其傳播路徑上，AI手語主播已經能夠完成人工對語言文字的轉譯過程。基于語言庫的匹配和手語圖像規范的AI算法，讓AI手語主播能夠“理解”文本語言并在此基礎上形成合理的“解釋”。在AI的參與下，“文字—手語”的轉譯路徑也由多個轉譯中介變為由AI進行直接轉譯并輸出機器語言。轉譯介質上的統一讓其在傳播路徑上相比手語虛擬主播大大縮短，能夠有效避免語言多次轉譯帶來的語義錯誤或語義缺失并極大提高信息轉譯的效率。AI加持下的圖像驅動為AI手語主播提供更高效率的圖像渲染能力，憑借對動作的實時錨定，將文字符號轉化為視覺符號，實現AI手語主播實時轉譯手語的視覺性符號轉化。

但手語并不是聽障人士使用的唯一語言，瑞典研究者在《雙語論、手語以及瑞典語》中認為，聽障人士中雙語的使用能夠有效地提高對文本語義的理解能力。因此，在現有的特殊人群手語教學中，通常采用雙語教學的方式以增強對文本語言的理解力，這同時也要求手語主播能夠在演示手語的同時提供唇型等輔助動作。早期AI手語主播主要在于對單一手語的信息要素傳遞，隨著對AI手語主播使用要求的不斷提高和AI手語主播的職能要素的不斷增加，面部動作成為AI手語主播虛擬形象所必須的元素之一。因此，在AI的參與下，要求AI手語主播在生成手語動作的機械語言（指令）過程的同時，能夠根據文字需要實時生成手語相對應的唇形動作，從而進一步完善手語傳播過程中對手語、唇語的需求，進而實現對聽障人士的雙語服務要求。

此外，在手語虛擬主播與人工手語主播傳播路徑的對比過程中，人工手語主播能夠在表達手語的同時將語言情感以面部表情的方式進行傳遞，手語虛擬主播局限于語言翻譯能力和圖像渲染能力，不能將情感元素傳遞至虛擬主播而僅能進行手語語言的表達。而AI手語主播的AI能夠有效識別語言文字內容中的情感信息并將該信息傳遞至AI加持下的圖像驅動，從而使虛擬主播的表情能夠隨著語言文字的情感變化而變化，進而在應用上達到與人工手語主播近似或相同的情感傳遞效果。

在上述內容中，筆者綜合闡述了人的認知過程以及AI手語主播如何進行對語言文字內容的轉譯和轉化并最終形成手語的過程。在AI的參與下，手語虛擬主播從單一的手語語言傳達到手語、口型、表情的多方面糅合，AI助力手語虛擬主播完成向多維的視覺感官演進。AI手語主播作為聽障人士的中介，為聽障群體和媒體之間提供信息連接。彌補聽力缺失帶來的認知不足，而這種由AI建立起的連接將成為彌合聽障人士和健全人之間認知鴻溝的重要工具。

三、AI的技術可供性：AI手語直播在聽覺認知彌合的未來發展中的升級版圖

施拉姆在其大眾傳播理論中提出，信息是經由編碼者、譯碼者和釋碼者自大眾傳媒傳遞給受眾。在AI手語主播中，來自信源的文本作為信息傳遞的開端，聽障人士作為信息的受眾，AI在其中將信息進行轉譯、轉化形成手語信息，充當了大眾信息傳播途徑中的編碼者、譯碼者;而依托于AI的圖像驅動則成為了該途徑中的釋碼者，AI及依托于AI的多媒體技術彼此之間形成了良好的依附，共同構建起連接信源與聽障人士之間的信息橋梁。

另一方面，受眾在接收信息的過程中所接收的信息并不是單一的一種，而是基于上述多感官認知過程中的多種感知信息。AI在完成構建二者信息溝通橋梁的過程中需要完成對多感官信息的傳遞，即在AI手語主播中傳遞手語肢體信息的同時，還要傳遞表情、唇形等信息要素，AI技術的可供性成為了實質上的連通信息和多感官認知的核心——在既有的AI手語主播中，AI就像電腦的主機一樣掌控了AI手語主播的轉譯和轉化流程（見圖4），實現了AI對信息的翻譯，使AI成為聽障人士的信息接收端口。基于此，我們可以認為對AI信息表達的拓展即是對聽障人士的認知感官的拓寬。因此，若借助AI手語主播為聽障人士提供視覺外的多感官信息拓展，則應從AI的角度出發，以“信息轉化模塊”的方式為AI添加“三頭六臂”式的多感知通路。

AI與媒體技術之間以機器語言作為二者間的溝通中介，AI對媒體技術輸出指令讓媒體完成既定信息的展示。但在其中，“構建什么樣的信息模塊”“如何將信息進行符號化再表達”成為AI拓展“信息轉化模塊”的兩大課題。

（一）人的認知系統的互補與代償機制：AI手語主播重構聽覺補償機制的基本參照系

在關于“構建什么樣的信息模塊”中，AI所使用的媒體技術發展的基本參照系是聽障人士的認知系統各個通路之間的互補與代償機制。比如，聲音中的節奏可以通過觸覺的節奏來傳達;聲音中的情緒與情感可以通過視覺中的色彩變幻來體現;甚至旋律與風格也可以通過視覺與觸覺的統合來加以表現。如果我們考慮到未來技術可能將味覺與嗅覺統合到數字場景中，聽覺重構的手段、路徑和模式勢必將更加豐富和有效。概言之，AI技術的可供性為我們依循人的認知重構的系統框架可以越來越好地實現超越聽覺障礙的認知模式與傳播機制。

（二）專用AI感知技術裝備：聽覺認知重構的全新“入口”

在關于“如何將信息進行符號化再表達”中，AI所轉譯形成的機器語言在經過媒體技術形成聽障人士可以接收的信息過程，需要對信息進行符號化再表達，這些再表達需要專用的AI感知技術裝備來成為聽覺認知重構的全新“入口”。恰如手語對文本語言的符號化再限定，讓聽障人士能夠看懂語言文字并能夠將話“說”出來，媒體技術需要將所要傳達的信息進行符號化再表達，以完成AI對信息的轉化，并滿足聽障人士的信息接收行為。而這一過程是媒體技術對語言文字的再定義，將人需要理解的語言文字轉化為可以直接感觸的知覺信息（如感受觸覺與振動的“AI觸覺手套”，再如通過畫面和色彩變幻的節律表達來代償情緒感知與調性的視覺屏幕或AI眼鏡等）。在當下對于AI手語主播的應用過程當中，仍然存在著感知通路單一、信息語料庫不足等問題，因此AI手語主播的媒體技術要完成對信息的符號化再定義，就需要不斷地挖掘人的感知通路，尤其是聽障人士的感知通路，并形成專用裝備，通過對不同感知通路的發掘和“落地”，達到對聽覺感官通路的系統代償與彌補。

在目前AI手語主播的應用上，已經可以完成對手語表達的同時提供AI形象的表情、口型實時變化，這代表著AI能夠將一種語言文字同時輸出為多種感官的符號化再表達。那么在對聽障人士的信息供給過程中，這種多感官的符號化在表達能力上可以結合視覺與觸覺、視覺與味覺、視覺與嗅覺等方式將媒體技術模塊進行累加，拓展單一視覺路徑上的AI手語主播，將視覺上AI的手語主播作為場景元素中的“景”，利用多感官的方式為聽障人士提供可以充分感知語音代償的手語傳播場景。

現有的AI手語主播在傳播途徑上仍然是以單向傳播為主，若要建立完整的認知橋梁還需要補足溝通橋梁上最后一個要素，即人對AI手語主播的即時的多通路反饋。眾所周知，人的認知過程是根據不斷與事物進行對話而完善的，單次信息傳遞所能提供的信息量以及理解要素是有限的，如果可以將深度學習的AI技術嵌入到聽覺代償機制的反饋鏈條中，無疑將極大提升其代償性機制的契合性，這將造成AI手語主播以自適應的方式完成與聽障人士之間的對話、交互，進而提高對信息理解的系統性表達的完善。

四、一點延伸的結論

在上文中，我們以聽覺障礙在AI技術的框架內的解決方案為例，探討了未來傳媒發展的“聚合”邏輯。研究表明，未來媒介會在既有互聯網媒介技術的存量基礎上，全面、整合地拓展人類自由度。

首先，未來媒介已初步具備互聯網提供的基礎建設、用戶生態、產業集群等存量條件。Web1.0時代，互聯網發展主要著眼于基礎設施建設與軟件服務完善，集中在產業端蘊蓄;Web2.0是To C的，新技術在向用戶端轉移和普及的過程中爆發;Web3.0為包含5G在內的新媒介技術做產業準備，初步呈現出全要素聚合的樣態。一旦Web3.0的產業準備搭建完成，Web4.0聚焦無限渠道、無時無刻、無限內容的互聯網生態級系統也將來臨，未來媒介也將實現落地。

以此為基礎，未來媒介的著力點在于以更整合、全面的方式拓展人類自由度。傳統的、相對散落的媒介總是通過對個體某一方面的延伸以拓展人類活動半徑，因而傳統媒介對個體的賦權總是以分割感官為前提的，個體很難在媒介世界中獲得如同真實個體般的全感官體驗，無法實現人的“感覺總體”回歸。但是在全要素整合的AI互聯網系統中，人類將在媒介中得到全感官復制的體驗，感受到“鏡像”般的數字孿生世界。換言之，未來媒介致力于讓個體超越“分割式”的賦權，得到“感覺總體”的全部賦權，在數字世界中以完全的個體形態探索更多的實踐空間。

注釋：

①〔美〕約翰·杜翰姆·彼得斯：《對空言說：傳播的觀念史》，鄧建國譯，上海譯文出版社2017年版，第3頁。

②喻國明：《互聯網是一種高維媒介》，《教育傳媒研究》2016年第1期。

③《AI手語主播上崗 助聽障人士觀冰雪賽事》，人民網， http：//health.people.com.cn/n1/2022/0208/c14739-32347640.html，2022年2月8日。

④李東曉、熊夢琪：《“可及”之后：新媒體的無障礙傳播研究與反思》，《浙江學刊》2017年第6期。

⑤程玉潔、周曙、王優：《青年人被動型和主動型聽覺事件相關電位時空模式比較》，《中國心理衛生雜志》2014年第7期。

⑥Tamis-LeMonda， Catherine S ， Kuchirko， et al. Why Is Infant Language Learning Facilitated by Parental Responsiveness？[J]. Current Directions in Psychological Science （Sage Publications Inc， 2014）.

⑦滑蓉蓉、劉春艷、邢巖：《聽覺與認知研究進展》，《中國神經免疫學和神經病學雜志》2020年第3期。

⑧Maslen， Sarah. Researching the Senses as Knowledge： A Case Study of Learning to Hear Medically[J]. Senses & Society， 2015， 10（1）：52-70（19）.

⑨張瑤、張帆、畢泰勇、邱江：《視覺和聽覺通道情緒知覺加工的神經機制及其異同》，《科學通報》2019年第7期。

⑩張興利、施建農：《聽力障礙對視覺注意的影響（綜述）》，《中國心理衛生雜志》2006年第8期。

王兆其、楊長水：《虛擬主持人的設計與實現》，《電視字幕（特技與動畫）》2002年第9期。

《愛奇藝推出全球首個AI手語主播，讓聽障人士平等享受視頻帶來的樂趣》，愛奇藝，https：//www.iqiyi.com/common/20181203/b47c90918d000779.html，2018年11月28日。

《愛奇藝再次推AI手語主播，相比上代有表情、可識別更多詞匯》，AI云資訊， https：//www.icloudnews.net/a/20190519/20114.html，2019年5月19日。

《總臺首個AI手語主播亮相 央視新聞聯合百度智能云打造》，《經濟參考報》2021年11月24日。

Ahlgren.Sign Languageas the First Language [G]// Inger Ahlgren， Kenneth Hyltenstam. Bilingualismin Deaf Education. Hamburg： Signum， 1994.

〔美〕伯納多·胡伯曼：《萬維網的定律：透視網絡信息生態中的模式與機制》，李曉明譯，北京大學出版社2009年版，第34頁。

〔美〕約書亞·梅羅維茨：《消失的地域：電子媒介對社會行為的影響》，肖志軍譯，清華大學出版社2002年版，第154頁。