視聽觸同步刺激的數字化盲文學習方法①

陳楷聞,林 棟,鐘澤棟,胡慶玲,吳新麗,劉 瑜,楊文珍,2

1(浙江理工大學 機械與自動控制學院,杭州 310018)

2(之江實驗室 超級感知研究中心,杭州 311121)

根據世界衛生組織統計,全球約有2.85 億視力障礙人士,其中3900 萬人完全失去視力,2.46 億人為視力殘余人士[1,2].目前,我國視障群體龐大,約有1731 萬人,其中824 萬人完全失去視力,907 萬為視力殘余人士.盲文是視障人士獲取信息,學習知識的重要媒介,高效的盲文學習方法對于廣大視障人士而言意義重大.

長期以來,視障人士依賴紙質書籍學習盲文.當盲童指尖摸讀紙質盲文教材時,盲校老師在旁邊解釋盲文點位觸覺刺激的含義,通過語音幫助盲童建立起盲文點位觸覺信息和文字之間的映射關系[3].為了提高盲文學習效率,Elliott 等人[4]以兒歌的方式,加深盲童對盲文點位觸覺刺激的記憶.但是,紙質盲文教材造價高昂,工藝復雜,制作時間較長,內容滯后,存在不便攜、不易用和學習效率低等問題.而且,基于紙質書籍的盲文學習方法,視障人士無法獨立學會盲文,需要他人的輔助.因此,廣大視障人士非?？释环N高效且無障礙的盲文學習方法,來滿足他們自主學習的需求.

Watanabe 等人[5]開發了一種盲文教材輔助教學裝置,可以引導視障人士按照規定方向摸讀盲文,并提供聽覺刺激,但是,該裝置僅支持有限且特定的盲文教材,無法提供其他盲文教材.Rantala 等人[6]設計了一種便攜式盲文顯示裝置,每次只能呈現一個盲文點位,不便于視障人士快速掌握盲文.Matsuda 等人[7]研發了一種基于語音識別的盲文教學平臺,需要在老師幫助下,盲童才能學習盲文.Doi 等人[8]研發了一種盲文觸控筆,能夠把盲文轉化為語音,幫助視障人士快速獲取信息,但不適用于視障人士指尖摸讀學習盲文.蔣小艷等人[9]提出了一種基于電刺激的盲文顯示方法,容易引起指尖皮膚的刺痛感,不適合視障人士長時間使用.趙宇等人[10]利用壓電陶瓷驅動器研發了一種盲文點顯器,需要配套的電腦讀屏軟件,不方便視障人士的自主學習.

學習盲文的本質是在視覺和聽覺的輔助下,視障人士構建起盲文點位觸覺信息與文字之間的映射,從而掌握盲文[11].完全失明的人只能依靠聽覺學會盲文,視力殘余的人可聯合聽覺和微弱的視覺學會盲文.為了提高盲文學習效率,本文提出了一種視、聽、觸同步感知的數字化盲文學習方法,能夠提供視覺、聽覺和觸覺的同步刺激,以期實現視障人士無障礙地學習盲文.

1 多感知信息的匹配問題

1.1 多感知通道的盲文學習機

我們開發了一種多感知通道的盲文學習機,能夠提供視覺、聽覺和觸覺的多通道刺激,輔助視障人士學習盲文.盲文學習機的4.3 寸LCD 液晶屏可以顯示普通文字和盲文點位圖形,提供視覺感知;盲文學習機的XFS5152 語音合成芯片可以播報語音,提供聽覺感知;盲文學習機的點顯裝置可以動態生成盲文點位,提供觸覺感知,如圖1所示.

圖1 多感知通道的盲文學習機

盲文學習機是基于STM32F103ZET6 芯片開發的嵌入式系統,通過FatFs 文件系統[12]對SD 卡內的文件進行管理.SD 卡內的文件包括普通文字的文本文件和盲文二進制的點序文件.文本文件控制普通文字的視覺和聽覺信息輸出,讓液晶屏顯示普通文字和語音合成芯片播報普通文字的語音,點序文件控制盲文點位的圖形輸出和觸覺信息輸出,供給液晶屏顯示盲文點位的圖形和點顯裝置動態更新盲文點位.

1.2 多感知文件載體

1.2.1 文本文件

為了便于視障人士的摸讀,國家通用盲文規定在漢字語句轉化為盲文點位前,必須經過分詞連寫處理,以提高視障人士理解語句的效率.例如,漢字語句“天氣涼了,樹葉黃了.”分詞連寫處理后,改為“天氣_涼_了_,_樹葉_黃_了_._”,“_”為空格表示空方盲文,占有6 個位.

文本文件就是由分詞連寫處理后的漢字語句組成,承載了視障人士學習盲文的文字和語音信息.盲文學習機讀取某一文本文件的語句,比如“瑞金_城外_有個”,就可以讓用戶在液晶屏上看到文字,并聽到此語句的朗讀聲音.

1.2.2 點序文件

一個盲文點字由3 行2 列的盲文點位組成,稱為一方,占有6 個位,可組合出64 種盲文二進制點序.盲文二進制點序由“0”和“1”表示,“0”代表盲文點位不凸起,“1”代表盲文點位凸起,比如,空方的盲文二進制點序為“000000”,滿方的盲文二進制點序為“111111”.通常,一個漢字轉化為盲文點位,需要二方,分別表示聲母和韻母,占有12 個位.例如,“盲”的拼音是“mang”,聲母“m”的盲文二進制點序為“101100”,韻母“ang”的盲文二進制點序為“011001”,組合為“101100011001”.然而,也有一些漢字轉化為盲文點位,只需要一方,占有6 個位.例如,“師”的拼音是“shi”,屬于整體認讀音節,只需要一方,其盲文二進制點序為“100011”.此外,有的漢字符號為轉化盲文點位,需要二方,比如,“》”的盲文二進制點序為“001001010000”,然而,也有一些漢字符號為轉化盲文點位,只需要一方.

點序文件就是由漢字轉化為盲文點位的盲文二進制點序組成,承載了視障人士學習盲文的觸覺信息.盲文學習機讀取某一點序文件的點序,比如“111 110 011 011”,就可以讓用戶在液晶屏上看到盲文點位圖形,指尖觸覺感知到此盲文點位.

1.3 多感知信息的內容匹配

從1.2 節可知,漢字轉化為盲文二進制點序具有位數不確定性的現象,這導致了文本文件和點序文件存在位數不匹配問題.例如,盲文二進制點序120 位可以對應不同字節數目的漢字語句,如圖2所示;同樣,20 個字節數目的漢字語句也可以對應不同位數的盲文二進制點序,如圖3所示.如果不能解決這一問題,盲文學習機就會輸出文字、語音和盲文點位內容不相同的信息,使得視障人士無法正確學習盲文.

圖2 盲文二進制點序120 位可以對應不同字節數的漢字語句

圖3 漢字語句20 個字節可以對應不同位數的盲文二進制點序

另外,依據國家通用盲文規定,一個漢字的盲文二進制點序不能分行呈現,即聲母和韻母的盲文二進制點序要連續;一個詞語和一個符號的盲文二進制點序也不能分行呈現,以保證盲文摸讀的連貫性.所以,文本文件和點序文件也要滿足這一規定.

為此,我們需要設計一種文字、聲音和盲文點位的多感知信息匹配算法,能夠實現文本文件和點序文件的內容相互對應,使得盲文學習機輸出相同內容的視覺刺激、聽覺刺激和觸覺刺激,幫助視障人士正確且高效地學習盲文.

2 多感知信息的匹配算法設計

觀察漢字語句的文本文件和對應的盲文二進制點序文件,如圖4所示,我們發現文本文件以空格“_”字符切分,點序文件以空方“000000”切分.當文本文件中空格的數目與點序文件中空方的數目相等時,文本文件和點序文件的內容相同.這一特征為實現多感知信息匹配算法提供了依據.

圖4 文本文件中空格的數目與點序文件中空方的數目

盲文學習機的點顯裝置共有120 個觸點,每次最多可以顯示20 方盲文.為了盡可能利用這120 個觸點顯示更多方盲文,多感知信息匹配算法從文本文件中讀取37 個字節,從點序文件中讀取126 字節,進行文本文件和點序文件的內容匹配處理.這里,37 個字節文本是預設值,已足夠匹配點序文件中內容相同的126 字節.經過仔細分析,信息匹配算法需處理4 種情況:1) 第20 方和第21 方均不是空方;2)第20 方是空方但第21 方不是空方;3)第20 方不是空方但第21 方是空方;4)第20 方和第21 方都是空方.

情況1.第20 方和第21 方均不是空方.

此時,第20 方與第21 方構成了一個字(詞或符號).如果信息匹配算法保留第20 方盲文,會導致一個字(詞或符號)被分割,不符合國家通用盲文規定.因此,匹配算法必須把當前126 個盲文二進制點序中,舍去最后一個字(詞或符號)的盲文二進制點序.具體實現過程為:

1)點序文本的處理:倒序統計前19 方中的空方數目,記錄最后一個空方的位置,即找到最后一個字(詞或符號)的位置,存儲該位置之前的點序,然后添加“000000”至120 個字節并存儲;

2)文本文件的處理:順序存儲文本并統計空格的數目,直到文本的空格數目和點序的空方數目相同,然后添加空格至37 個字節并存儲.

情況2.第20 方是空方但第21 方不是空方.

此時,第20 方與第21 方不構成一個字(詞或符號),第20 方分隔了前一個字(詞或符號)和后一個字(詞或符號),符合國家通用盲文規定.具體實現過程為:

1)點序文本的處理:順序存儲120 個字節的盲文二進制點序,并統計前20 方中的空方數目.

2)文本文件的處理:順序存儲文本并統計空格的數目,直到文本的空格數目和點序的空方數目相同,然后添加空格至37 個字節并存儲.

情況3.第20 方不是空方但第21 方是空方.

此時,第20 方與第21 方不構成一個字(詞或符號),第21 方分隔了前一個字(詞或符號)和后一個字(詞或符號),符合國家通用盲文規定.具體實現過程為:

1)點序文本的處理:順序存儲120 個字節的盲文二進制點序,并統計前20 方中的空方數目.

2)文本文件的處理:順序存儲文本并統計空格數目,直到文本的空格數目比點序的空方數目多一個,然后添加空格至37 個字節并存儲.

情況4.第20 方和第21 方都是空方.

此時,第20 方與第21 方不構成一個字(詞或符號).具體實現過程為:

1)點序文本的處理:順序存儲120 個字節的盲文二進制點序,并統計前20 方中的空方數目.

2)文本文件的處理:順序存儲文本并統計空格數目,直到文本的空格數目和點序的空方數目相等,然后添加空格至37 個字節并存儲.

信息匹配算法遍歷源文本文件和源點序文件,每次從源文本文件中讀取37 個字節,從源點序文件中讀取126 字節,進行上述4 種情況的處理,找到并截取內容相同的文本和點序,并存儲到新的文本文件和新的點序文件.圖5為算法的整體流程圖.

圖5 信息匹配算法流程圖

3 算法結果

3.1 實例分析

為了驗證信息匹配算法的正確性和通用性,本節列舉了上述4 種情況的處理結果.

例子1.第20 方和第21 方均不是空方.

文本文件中漢字語句“第七課_《_開國大典_》_1949_年_10_月_1”中的字符“》”,在點序文件中第20 方和第21 方均不是空方,如圖6(a)所示.算法首先找到點序文件中前20 方盲文最后空格的位置(第19 方),存儲前19 方的二進制點序,統計前19 方盲文中的空方數目(3 個),并把第20 方用空方填補且存儲;然后,算法順序存儲文本文件中的字符并統計空格數目,直到空格數目與空方數目相等(“典”后面的空格),再添加空格至37 個字節且存儲.信息匹配算法處理后的結果,如圖6(b)所示.

圖6 算法處理第20 方和第21 方均不為空方的例子

例子2.第20 方是空方但第21 方不是空方.

文本文件中漢字語句“秋天_的_夜晚_,_月亮_升_起來_了_,_從”,在點序文件中第20 方是空方但第21 方不是空方,如圖7(a)所示.算法首先找到點序文件中前20 方盲文最后空格的位置(第20 方),存儲前20 方的二進制點序,統計前20 方盲文中的空方數目(6 個);然后,算法順序存儲文本文件中的字符并統計空格數目,直到空格數目(6 個)與空方數目相等(“升”后面的空格),并添加空格至37 個字節且存儲.信息匹配算法處理后的結果,如圖7(b)所示.

圖7 算法處理第20 方是空方但第21 方不是空方的例子

例子3.第20 方不是空方但第21 方是空方.

文本文件中漢字語句“那邊_升_起來_了_._是_在_洱海_里_淘洗”,在點序文件中第20 方不是空方且第21 方是空方,如圖8(a)所示.算法首先順序存儲120 個字節的盲文二進制點序,并統計前20 方中的空方數目(5 個);然后順序存儲文本并統計空格的數目,直到文本的空格數(6 個)比點序的空方數(5 個)多一個,再添加空格至37 個字節并存儲.信息匹配算法處理后的結果,如圖8(b)所示.

圖8 算法處理第20 方不是空方且第21 方是空方的例子

例子4.第20 方和第21 方都是空方.

文本文件中漢字語句“數不清_的_雨點_.__太陽_從_彩云_里_升”,在點序文件中第20 方和第21 方都是空方,如圖9(a)所示.算法順序存儲120 個字節的盲文二進制點序,并統計前20 方中的空方數目(4 個),然后順序存儲文本并統計空格的數目,直到文本的空格數(4 個)和點序的空方數相等,然后添加空格至37 個字節并存儲.信息匹配算法處理后的結果,如圖9(b)所示.

圖9 算法處理第20 方和第21 方均為空方的例子

通過這4 個實例分析,信息匹配算法能夠正確匹配文本文件和點序文件的內容,輸出相同內容的文字、語音和盲文點位信息.

3.2 盲文學習機的多感知信息呈現

我們把經過信息匹配算法處理后的新文本文件和新點序文件,存入盲文學習機的SD 卡,測試盲文學習機的輸出結果.

盲文學習機能夠輸出相同內容的視覺刺激、聽覺刺激和觸覺刺激,幫助視障人士正確且高效地學習盲文.如圖10所示,LCD 液晶屏顯示出“詠鵝(唐)駱賓王”的文字和盲文點位圖形;語音合成芯片播報出“詠鵝(唐)駱賓王”的語音,點顯裝置生成出對應的盲文點位,提供指尖觸覺感知摸讀.

圖10 盲文學習機的輸出結果

4 盲文學習效果評價實驗

本實驗經過浙江理工大學心理委員會批準,招募了20 名被試,10 男,10 女,年齡處于10～20 歲之間,均為視力殘余人士.被試均掌握漢語拼音和阿拉伯數字,實驗之前沒有任何盲文學習的經驗,沒有做過類似實驗.為了保證實驗材料的學習難度相近并且避免在短期學習后表現出地板效應[13],每組實驗材料的盲文均占一方盲文字.我們選取54 個漢語拼音和6 個阿拉伯數字的盲文,分成數量相等的6 組,每組10 個盲文,且每組實驗材料的內容由2 個兩點盲文,4 個三點盲文,3 個四點盲文和1 個5 點盲文組成.

實驗目的是探究視覺刺激、聽覺刺激、觸覺刺激對盲文學習效果的貢獻程度.被試在視、聽、觸這3 種自變量的不同組合下,借助盲文學習機學習實驗材料內的盲文,學習完畢后進行測試.根據薛紅莉等人的實驗[14],本實驗將學習時間設定為8 分鐘.

實驗的因變量為回答的正確率;自變量有3 個,分別為視覺、聽覺和觸覺,均為被試內變量.每個自變量都有兩個水平,分別是有和無.理論上,3 個自變量有8 種組合條件,但是如果只有盲文點位的觸覺刺激,被試無法建立盲文點位與普通文字的映射關系,無法在這種學習條件下學習盲文.此外,如果不借助視覺、聽覺和觸覺的刺激,被試也無法學習盲文.因此,實驗共有6 種學習條件:視覺學習盲文,聽覺學習盲文,視覺和觸覺學習盲文,聽覺和觸覺學習盲文,聽覺和視覺學習盲文,視覺、聽覺和觸覺學習盲文.

針對本實驗的6 種學習條件,分成兩種情況進行方差分析:(1)以聽覺學習盲文為對照組,分析視覺和觸覺對于盲文學習的影響;(2)以視覺為對照組,分析聽覺和觸覺對于盲文學習的影響.使用雙側t 檢驗,分別對視覺和觸覺的交互項,聽覺和觸覺的交互項進行兩兩比較.當P＜0.05 時認為差異具有統計學差異.

表1羅列了6 種學習條件下盲文學習的正確率.以聽覺學習盲文為對照組:1)視覺因素的主效應極其顯著[F(1,76)=486.13,P＜0.001],說明視覺刺激對學習盲文的效率有影響;2) 觸覺因素的主效應極其顯著[F(1,76)=96.34,P＜0.001],說明觸覺刺激對學習盲文的效率有影響;3)視覺和觸覺的交互效應同樣極其顯著[F(1,76)=14.75,P＜0.001].因此,我們需要對視覺和觸覺交互項進行兩兩比較.

表1 視力殘余人士學習盲文正確率(%)

如圖11所示,固定觸覺因素考察視覺因素的效應,成對比較結果顯示視覺因素對于盲文學習的效率有極其顯著影響(P＜0.001).固定視覺因素,考察觸覺因素的效應,成對比較結果顯示觸覺因素對于盲文學習的效率也有極其顯著影響(P＜0.001).在聽觸學習條件下,加入視覺因素,對盲文學習效率有明顯提升,正確率均值提升了(45.5±2.5)%.因此,在聽覺因素存在的前提下,視覺因素和觸覺因素的交互作用對于盲文學習有促進作用.

圖11 視覺和觸覺因素對盲文學習效果的影響(聽覺學習為對照組)

以視覺學習盲文為對照組:(1)聽覺因素的主效應極其顯著[F(1,76)=43.07,P＜0.001],說明聽覺刺激對學習盲文的效率有影響;(2)觸覺因素的主效應極其顯著[F(1,76)=156.98,P＜0.001],說明觸覺刺激對學習盲文的效率有影響;(3)聽覺和觸覺的交互效應同樣顯著[F(1,76)=4.36,P＜0.05].因此,我們需要對聽覺和觸覺交互項進行兩兩比較.

如圖12所示,固定觸覺因素考察聽覺因素的效應,結果顯示在沒有觸覺因素的條件下,聽覺因素對于盲文學習的效率有顯著影響(P＜0.05).在有觸覺因素的條件下,聽覺因素對于盲文學習的效率的影響是極其顯著的(P＜0.001).在固定聽覺因素考察觸覺因素的效應,成對比較結果顯示觸覺因素對于盲文學習的效率是有顯著影響(P＜0.001).在視聽學習條件下,加入觸覺因素,對盲文學習效率有明顯提升,正確率均值提升了(24.5±2.4)%.因此,在視覺因素存在的前提下,聽覺因素和觸覺因素的交互作用對于盲文學習有促進作用.

圖12 聽覺和觸覺因素對盲文學習效果的影響(視覺學習為對照組)

上述實驗結果表明:(1)在聽覺刺激學習條件下,加入視覺刺激和觸覺刺激都對盲文學習效果產生促進作用,其中,視覺刺激對盲文學習效果的提升更多;(2)在視覺刺激學習條件下,加入聽覺刺激和觸覺刺激都對盲文學習的效果產生促進作用,其中,觸覺刺激對盲文學習效果的提升更多;(3)在視覺刺激、聽覺刺激和觸覺刺激的共同作用下,盲文學習效果的提升最好.

5 總結

本文提出了一種多感知信息匹配算法,能夠輸出文字、聲音和盲文點位內容相同的信息.多感知通道的盲文學習機可以同步提供視覺、聽覺和觸覺的刺激,輔助視障人士高效且無障礙的學習盲文.

對于視力殘余人士,在盲文學習過程中,加入視覺刺激,比如,特大號字體顯示盲文點位,是很有必要的,可以顯著提升他們的盲文學習效率.然而,對于只能依靠聽覺和觸覺的全盲人士,學習盲文并不是一件容易的事,需要較長時間的學習和反復強化訓練.不幸的是,僅在聽覺刺激下,盲文學習效率是很低的,人們很難學會盲文,因此,語音APP 學習盲文的方法,近似于安慰劑,并無多大實效.

經過短期記憶的實驗研究,本文提出的視聽觸同步刺激的數字化盲文學習方法,可以有效提高盲文學習效率,但是,有必要進一步探究此學習方式對于盲文學習長期記憶的影響.