ALBP識別方法及其在聾人視覺輔助系統中的應用

楊小義，鄧新梅

(1.重慶師范大學 教育科學學院，重慶 401331;2.重慶科技學院圖書館，重慶 401331)

高新技術發展使人們工作更快捷，生活更便利，同時對一直存在于我們身邊的2 000多萬聾啞人弱勢群體也更加關注。為使他們更好、更快地融入正常社會，消除健全人與聾啞人之間交流的障礙，聾人視覺識別研究已受到國內外越來越多的專家和學者的關注。在現有的各種聾人視覺識別方法中，處于主導地位的主要是基于數據手套和基于數字圖像處理的聾人視覺識別方法。大部分研究是將兩者相結合，將前者用于圖像采集，而將后者用于圖像的識別和處理，以期取得更好的識別效果。盡管研究已取得某些進展，但仍面臨如手勢不變特征提取、手勢過渡模型建立等許多挑戰性課題，導致手語識別率低等諸多不足。在實際應用中，環境往往比較復雜，如光照變化強烈、有遮擋物等，使環境具有較高的不確定性，從而影響識別效果，這就要求圖像識別算法具有強魯棒性以適應各種復雜環境要求［1－3］。在光照變化較為強烈時，由于目前廣泛采用的LBP算法沒有對圖像進行預處理［4－6］，因此難以消除因光照變化強烈導致的圖像非線性扭曲。本文提出的ALBP視覺識別方法可在復雜光照條件下獲得比較好的人臉特征識別效果［7－9］。

1 ALBP算法的基本思想

ALBP算法的基本思想:首先找到圖像的某個局部區域內最大、最小像素值，再以最大值和最小值作為上下邊界，將圖像中的像素對比度分成若干個區間，計算領域像素與中心像素的對比度值，再將該差值映射到已經劃分好的某個區間上，以便對圖像的LBP進行分區間的處理。區間就是相應對比度值的對應層次。

1.1 提取LBP特征層

設在半徑為R，領域點為P的局部區域內，其對比度最大值和最小值為:

對于每個區間，對比度的取值范圍為

其中:L為區間個數;用ls表示每個鄰域點與中心點的對比度值的對應區間，ls可由式(3)計算得到。

為獲取每個區間的ALBP特征值，需要計算有多少個點的對比度值在中心點鄰域的該區間上。每個區間的ALBP特征值可由式(4)計算得到。

基于每個區間的ALBP特征值將人臉圖像劃分為N個局部區域，并按式(5)計算每個區域的ALBP值即可獲得相應的直方圖，如式(6)所示。

最后將不同區域的H連接起來，即可得到描述全局人臉多對比度層次的特征直方圖。

1.2 光照歸一化預處理

由上述描述可知，如要減小因光照變化產生的圖像扭曲，就必須將光照變化對圖像的影響控制在一定的范圍之內，因此有必要對圖像進行平滑處理，以減小因光照變化強烈而引起的圖像對比度值的變化。由于聾人視覺識別具有綜合性和多通道性的特點，相對通常的視覺識別而言，聾人視覺識別更重視人臉面部表情與手語的融合識別。因此，為了更好地進行聾人視覺識別研究，人臉面部表情的識別變得非常重要。圖1是同一張人臉區域在不同光照條件下的對比度層次映射，該圖像進行了配準處理，中心點代表人臉上的同一個點。3張人臉圖像在中心點處得到的ALBP值是基本相同的，可見在光照有變化但不劇烈的情況下所得到的ALBP特征值是大致相同的，說明ALBP特征值不隨光照的變化而變化。

圖1 不同光照下人臉圖像的ALBP特征值

當光照條件發生變化時，圖像中各點的像素值也會發生較大的變化，在一個較小的局部區域內，各點的像素值都是同時變大或減少，但它們的差值卻基本保持不變。在ALBP算法中，采用中心點像素值與鄰域點像素值的差值代替原來各點的像素值，由此得到的ALBP特征值是大致相似的，較好地避免了光照變化對圖像紋理產生的影響。

上述分析結果表明，在不同光照條件下，若將人臉圖像進行適當的預處理，再計算圖像的ALBP特征值，就可較好地消除光照變化對圖像的影響，減小圖像的扭曲，取得較好的圖像識別結果。在對光照進行歸一化預處理時，可首先用對數公式將圖像轉換到對數域，然后利用差分高斯濾波器(σ0=1.0，σ1=2.0)對圖像進行平滑處理，最后采用式(7)對圖像進行全局對比度均衡化，實現對圖像的直方圖均衡化處理，以得到具有較強對比度的預處理圖像。

圖2給出了采用上述預處理方法后得到的人臉圖像。其中:在第1列圖像中，由于受到光照變化強烈的影響，圖像存在嚴重的扭曲現象;第2列是采用Log對數對圖像進行轉化后的結果;第3列是采用高斯濾波器平滑后的圖像;第4列是對圖像進行全局均衡化后的結果;第5列是對圖像進行直方圖均衡化后的結果。

圖2 不同光照下的人臉圖像預處理結果

2 實驗結果及其性能分析

為驗證作者提出的ALBP算法的有效性，進行了ALBP算法的仿真實驗，并分析了算法的性能。實驗是在ORL人臉庫中進行的。在ORL人臉庫中包括了40個人不同的人臉圖像，每個人的人臉有10幅圖像，其圖像尺寸均為92像素×111像素，但卻由于光照、姿態、表情等的不同而存在較大差異。在實驗中，將圖像分為訓練集和測試集。在實驗之前首先對圖像進行相同的預處理:① 對原始圖像進行剪切，保留最能體現人臉特征的主要區域;②將剪切后的圖像作幾何歸一化和壓縮處理，將圖像尺寸變為64像素×64像素，以減少算法的計算量和節省存儲空間。

實驗1 考查ALBP算法與傳統的LBP算法的識別率大小。

從ORL人臉庫中隨機選擇每個人的l(0≤l≤8)張圖像作為訓練樣本，未被選擇的圖像為測試樣本。采用最小近鄰分類器(NN)算法估算識別率，并以10次實驗的平均識別率分別作為兩種算法的最終識別率。表1為ALBP算法與傳統LBP算法的識別率對照情況，其中，兩種算法的維數均為39維。

表1 ALBP與LBP算法的識別率對照情況

表1中每個人訓練的樣本數為l。表1數據表明:在訓練樣本數目相同時，ALBP算法明顯高于LBP算法的識別率，且其識別率隨l的增大而增大。當每個人的訓練樣本數為8幅圖片時，LBP算法的識別率為81.3%，而ALBP算法的識別率為85.7%。在LBP與ALBP兩種算法中，其特征向量維數是相同的，因此ALPB算法在沒有增加特征向量的維數的情況下具有比LBP算法更高的識別率。

實驗2 考察標識數據數目對LBP與ALBP兩種算法識別率的影響。

該實驗的訓練圖像和測試圖像均為200幅，即從每人的10幅圖像中選擇5幅作為訓練圖像，剩下的5幅作為測試圖像，標識數據的個數分別為20，40，60，80，100，120，剩下的為無標識數據，分別采用LBP和ALBP算法對人臉進行識別。實驗中仍然采用與實驗1相同的最小近鄰分類器(NN)算法估算識別率，并以10次實驗的平均識別率分別作為兩種算法的最終識別率。識別率隨標識數據個數的變化情況如圖3所示。

圖3 識別率隨標識數據個數的變化情況

分析圖3可知，LBP算法的識別率受標識數據個數影響較小。當標識數據個數增大時，LBP算法的識別率只出現較小波動，在標識個數為60時，其識別率甚至低于標識個數為40時的識別率。ALBP算法的識別率雖然也會出現波動，但其總體趨勢是隨著標識個數的增大而增大的。當標識的數據個數為140時，LBP算法的識別率為75%，而ALBP算法的識別率為85%，比LBP算法的識別率提高了10百分點。這是因為ALBP算法有效地利用了局部數據間的類別信息，所以其識別率明顯高于傳統的LBP算法。

3 ALBP在聾人教學軟件開發中的應用

手語和口語一樣也存在地方差異問題，比如北京手語和上海手語就存在一定的差別。在高等聾人教育教學中，由于學生來自于不同的地區，即使在聽障學生之間，手語表達也存在一定的差異。因此，在聾人的教育教學過程中，為了更好地在學生之間、老師與聽障學生之間進行交流，以獲得更好的教學效果，同時，為了適應現代聾人教育教學改革的新要求，有必要開發一套隨堂教學手語輔助軟件。該軟件可充當同聲翻譯角色，使手語實時地轉化為文字符號或語音信息，以彌補手語理解存在差異性與某些教師或聽障學生手語理解與表達不充分的不足。

基于Win7系統，隨堂教學手語輔助軟件的開發和測試借助Matlab2009平臺通過編程實現，其相關數據存儲于mat文件中。在手語輔助軟件系統中，需要用到手形庫和表情庫。手形庫主要是根據《中國手語》中的30個漢語手指字母語和2 000多個常用詞匯建立的。表情庫的建立主要來源于兩個方面:一是《中國手語》中常用詞匯的表情;二是用傳感器進行自行采用的表情。限于篇幅，本文只對采用到的人臉表情圖像的處理做簡要描述。

本文以選用手語“勇敢”的兩幅人臉表情圖像為例進行分析。這兩幅圖像具有不同的光照條件，因此圖像中存在不同程度的扭曲。為了較好地消除光照產生的圖像扭曲，系統對采集到的人臉表情圖像首先進行預處理，計算圖像的ALBP特征值，進行相應的表情識別;再將表情識別結果與手形識別結果進行融合識別，從而得出手語的識別結果;最后與后臺手語模板進行匹配，將識別結果轉化成手語信息或文字符號。圖4為手語“勇敢”表情經教學手語輔助軟件系統處理后的結果。從處理結果可以看出，借助ALBP算法對圖像進行識別，可較好地消除復雜光照的影響，使兩張在不同光照條件下的圖像識別結果的視覺差異不大。

圖4 手語“勇敢”表情的ALBP算法處理結果

4 結束語

測試結果表明，手語輔助軟件的開發和使用可在聽障人士之間、聽障人士和健聽人士之間搭建起一個良好溝通、交流的橋梁，經系統切換就可較好地將聽障學生的手語方便地轉換為健聽教師或健聽學生便于理解的語音信息或文字符號，也可將健聽人士的語音信息轉換為聽障學生能理解的手語序列，從而消除教學過程中的交流障礙，提高教學效果。盡管ALBP方法還存在非線性分層準則與降維處理等問題，需要進一步研究解決，但在解決圖像非線性扭曲問題方面的應用效果還是比較令人滿意的。

［1］陳孟元，孫書誠，王虎.基于圖像識別的尋跡智能車設計［J］.重慶理工大學學報:自然科學版，2013(3):80－84，103.

［2］趙明富，夏曦，張政委，等.基于高光譜圖像技術的指紋識別研究［J］.激光雜志，2013(1):45－47.

［3］李明富，何宸，凌艷，等.圖像識別技術在戰斗部靜爆試驗分析中的應用［J］.四川兵工學報，2014(6):101－104.

［4］Topi Maenpaa，Matti Pietikainen.Texture Analysis with Local Binary Patterns［D］.Finland:Dept.of Electrical and Information Engineering，University of Oulu，2004.

［5］Guoying Zhao，Pietikainen M.Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions［J］，IEEE Trans.Pattern Analysis and Machine Intelligence，2007，29:915 －928.

［6］李志煥.改進型的LBP算法及其在運動目標檢測中的應用［D］.廣州:中山大學，2009.

［7］Xiaoyi Yang，Wu Qian，Qing Zhou.Method Study for Facial Character Recognition Based on Improved LBP［J］.Journal on Information ＆ Computational Science，2013，10(9):2519－2528.

［8］Xiaoyi Yang，Jianwei Li.Study on Facial Character Recognition under Complex Illumination［J］.Information Engineering and Applications，2012，100:375 －389.

［9］Wu Qian，Xiaoyi Yang，Qing Zhou.Pattern Recognition and Its Application in Fault Diagnosis of Electromechanical System［J］.Journal on Information ＆ Computational Science，2012，9(8):2221 －2228.