基于像素的膚色檢測方法綜述①

鄭 燕,張 霞

(武漢大學 印刷與包裝系,武漢 430072)

1 引言

膚色檢測技術在人臉檢測與識別[1-6]、視頻監控系統[7-10]、裸圖像檢測[11-17]、基于內容的圖像檢索[18,19]、手勢識別[20-26]、膚色病學診斷[27]、駕駛員疲勞檢測[28]、人機交互[29,30]等領域有著廣泛的應用,近年來得到了廣泛的關注和研究.

膚色檢測技術采用的方法有很多,從不同的角度出發可以分為不同的類別.根據有無涉及成像過程,可以分為基于統計的方法和基于物理的方法[31];根據膚色圖像數據處理的尺度,可以分為基于像素的檢測和基于區域的檢測.基于像素的膚色檢測方法針對單個像素進行膚色和非膚色的分類.基于區域的膚色檢測方法本質和基于像素的檢測方法相似,但考慮了顏色的空間分布.本文針對基于像素的膚色檢測方法進行綜述,對比分析現有的研究成果,探討技術發展的熱點和趨勢.

基于像素的膚色檢測技術通過建立膚色模型來區分膚色像素和非膚色像素,膚色模型既可以表示為一組規則或閾值,也可以從機器學習算法中訓練出來[32].主要的檢測方法可分為基于統計的方法、基于閾值的方法和基于機器學習的方法.本文第2-4 部分分別對這3 類檢測方法進行分析討論,并在第5 部分總結了膚色檢測方法研究的特點,探討了膚色檢測領域現存的問題及技術發展的趨勢,最后對全文進行了總結.

2 基于統計的膚色檢測方法

基于統計的方法將膚色檢測視為一個概率問題,通過在特定的顏色空間中訓練數據集來計算膚色像素的概率.這類方法包括非參數方法和參數方法,具體分類如圖1 所示.

圖1 基于統計的膚色檢測方法

2.1 非參數方法

非參數方法又稱為直方圖模型法.非參數方法通過估計顏色分布和量化模型之間的點對點映射關系,將膚色概率值分配給顏色模型的每個離散點,通過概率函數判斷像素是否為膚色像素.此類方法也稱為膚色概率圖(SPM)的構造,即為離散化顏色空間中的每個點分配概率值.代表方法主要有3 種:查找表(LUT)法、貝葉斯分類器和自組織映射(SOM)法.

查找表法是膚色建模常用方法,該方法通過訓練特定組膚色像素,獲得特定顏色空間中的膚色像素分布,查找表法把RGB 顏色空間視為最優顏色空間,RGB 直方圖由256×256×256 個單元構成,每個單元代表一個RiGiBi值的膚色概率.其中每個可能為膚色像素點RiGiBi的最終概率值采用函數式(1)計算得到.膚色概率是膚色訓練樣本在這種顏色上所出現的相對頻數,如式(1)所示.

查找表法學習過程簡單,但是填充直方圖需要大量的膚色數據集.例如,Jones MJ 等[33]采用查找表法從網絡圖像中學習膚色像素和非膚色像素構建數據集,用于人體檢測和成人圖像識別,發現數據集的大小直接影響膚色檢測率.Nanni L 等[34]改進正面人臉檢測Viola-Jones 算法,第一步利用查找表去除不包含膚色像素的人臉區域,實驗結果表明,改進算法在彩色數據集檢測率優于Viola-Jones 算法.此外可以通過融合不同顏色空間構造多查找表法,例如,Ibraheem NA 等[35]將RGB、HSV 和YCbCr 等3 種顏色空間結合起來,可以減少光照變化帶來的影響,圖2 是Ibraheem 結果處理圖,可以看出用于手勢識別具有較好的魯棒性.

圖2 手勢識別效果圖[35]

與查找表法不同,貝葉斯分類器考慮不同顏色空間中膚色和非膚色像素之間的重疊問題.在式(1)中,P(RiGiBi)是已經假設觀察到的像素屬于膚色的條件概率,但在Jones MJ 等[33]的研究中,97.2%的顏色同時出現在膚色和非膚色上.貝葉斯規則根據膚色像素直方圖和非膚色像素直方圖來建立關系檢測膚色像素,如式(2)所示.

使用膚色和非膚色直方圖中的像素分別計算P(|RiGiBi|skin)和P(|RiGiBi|nonskin).在設計貝葉斯分類器時,使用ML(最大似然)方法令P(skin)=P(nonskin),當兩者比值＞θ(θ是閾值)時為膚色像素,如式(3)所示.

其中,K值是可調參數,用來消除算法對先驗概率的依賴性.θ的最佳值通過計算ROC 曲線獲得.Brand J 等[36]評估了基于像素級的人體膚色檢測方法的性能,其中貝葉斯的檢測率高達95%,優于查找表檢測方法,證明了貝葉斯分類器在估計膚色概率方面的精確性.

查找表法與貝葉斯分類器可以構造一定精度的膚色檢測器,但不能實現自適應實時環境條件下的膚色檢測.自組織映射法是針對此局限性而提出的方法.SOM 源于Kohonen 在80 年代早期的設計,采用無監督學習訓練的人工神經網絡,由輸入層和輸出層構成.算法的主要目的是將任意維數的輸入信號模式轉變為一維或二維的離散映射,并且以拓撲有序的方式自適應實現這個變換.SOM 滿足非參數法的基本思想,是特殊的無監督機器學習算法,所以歸為基于統計的膚色檢測方法.

SOM 的自適應性在于獲勝神經元的特定鄰域中的神經元根據參數化學習函數將其碼本矢量調整為更接近輸入矢量.Brown DA 等[37]提出的基于SOM 的膚色分類器中,對500 多個彩色圖像在4 個顏色空間中(HSV、笛卡爾XY、TSL、歸一化RG)訓練了兩個不同的SOM,通過訓練膚色SOM 和非膚色SOM,發現SOM 分類器的性能幾乎與顏色空間的選擇無關,解決了膚色檢測最優顏色空間的選擇問題,并實現了94%的高精度檢測率.隨后Yin H 等[38]提出自組織混合網絡(SOMN)對此進行了修改,用以提高SOM 的穩定性和適用性.

SOM 不需要區分訓練集和測試集,同時具有把高維輸入映射到低維的能力,有自適應性和拓撲保形特性的優點.但是網絡訓練時神經元存在不完全抑制情況,并且當輸入模型較少時,分類結果依賴于模式輸入的先后次序.

2.2 參數方法

參數方法通過擬合圖像數據建立參數模型來描述膚色的分布.參數方法與非參數方法相比,可以采用較少的訓練集來建立膚色模型,同時可以彌補非參數方法的高存儲要求.參數方法主要包括單高斯模型(SGM)、高斯混合模型(GMM)和橢圓模型(EM)等.

在SGM 中,平均向量周圍存在平滑的高斯分布,通過使用橢圓高斯在特定顏色空間將顏色向量C的多元正態分布建模為:

使用顏色空間為C j的N個膚色像素訓練數據集,基于ML(最大似然)方法計算分布參數,即均值向量(μ)和 對角協方差矩陣(Λ):

P(C;μ,Λ)可以直接衡量像素C屬于膚色的可能性.也可以通過高斯分布參數計算輸入像素C與均值μ的馬氏距離(MD):λc(C j)=(C j-μ)TΛ-1(C j-μ),距離大小表示輸入像素與膚色模型的接近程度.

SGM 方法比較簡單,具有計算成本低、存儲要求低的優點,但是在不同顏色空間中的性能不同.例如,Zhu SP 等[39]在YCbCr 顏色空間中采用SGM 進行膚色檢測和唇部分割,實驗結果表明,該方法滿足實時性、魯棒性和有效性的要求.Subban R 等[40]比較了不同顏色空間中SGM 的膚色檢測性能,結果顯示SGM 在YPbPr 顏色空間性能優于CIE-XYZ,YCC 和YDbDr顏色空間.Montenegro J 等[41]基于自建數據庫,使用MCC(馬修斯相關系數)作為評估指標在RGB、HSV、YCbCr、CIEL*a*b*和CIEL*u*v*顏色空間中評估SGM 膚色檢測性能,得出CIEL*a*b*是性能最佳的顏色空間.

GMM 是多個高斯密度函數的標準化加權和[42].它補償了單高斯模型在處理一般膚色分割問題中誤檢率較高,以及其峰值分布的不對稱性而無法逼近實際分布的問題.GMM 定義如下:

其中,wj是每個核的權重,N是單個高斯分量的總數.GMM 的學習過程與SGM 的學習過程不同,通常用期望最大化的迭代方法來估計擬合參數.評估過程類似于SGM,可以利用概率本身或貝葉斯規則進行分割.GMM 模型具有評估過程簡單和內存成本低的特點,引起了研究者的廣泛關注.Zhu QS 等[43]在GMM 的基礎上,提出了一種新的基于GMM 視頻膚色分割算法,實驗表明該算法能有效、快速地分割出運動目標,具有較強的魯棒性.Hossain F 等[44]提出了一種通過估計圖像的變化照明和使用GMM 來進行面部膚色提取的方法,實驗結果表明與傳統的基于GMM 的膚色分割方法相比較,該方法適用于手術過程等實際應用.不過,GMM 的計算過程比SGM 長且算法存在局限性.Caetano TS 等[45]對高斯分布性能的比較研究表明,混合模型僅在相關的操作區域(正檢率和誤檢率較高)中改善性能,此外增加內核的數量并不能有效提高模型效率.圖3 是8 種高斯模型的ROC 曲線圖,可以看出所有高斯模型在操作點上表現出非常相似的性能.因此,混合高斯模型不一定是膚色建模的最佳選擇.

EM 方法是在特定顏色空間中,如RGB、YCbCr、CIEL*a*b*、CIEL*u*v*、CIE-XYZ 等,通過分析膚色簇的類橢圓形狀來估計膚色分布模型的方法,Lee JY 等[46]將橢圓模型定義為P(C;μ,Λ):

其中,N是樣本的總數,Ω是色度矢量的平均值.給定輸入色度矢量C,可以使用閾值處理來計算像素的膚色概率[47].

圖3 8 種高斯模型的ROC 曲線圖[45]

Xu D 等[48]采用橢圓模型結合深度信息,在光照和復雜背景的變化環境下實現多人臉的定位.Tan WJ等[49]針對膚色檢測設備成像問題,在YCbCr 空間進行橢圓擬合,并將其用于手勢分割,實驗結果表明,該方法具有良好的精度,對特定的成像設備具有更好的通用性和環境適應性.Li W 等[50]于CbCr-CgCr 空間提出雙橢圓模型進行膚色分割和提取膚色區域,結合AdaBoost 級聯分類器進行人臉檢測,該算法能夠有效地應用于單面、多面、不同光照、背景復雜的人臉檢測.

Lee JY 等[46]在多個色度平面中(rg、CIE-uv、CIE-ab、CIExy、IQ、CbCr)對EM 和高斯模型進行評估并得出結論:在所有顏色空間中,從檢測率的角度來看,EM 優于SGM 和6 個內核的GMM;從訓練的角度來看,EM 比GMM 計算量少,參數簡單;在計算速度上,EM 幾乎與SGM 一樣快,但它比GMM 快.

綜上所述,基于統計的膚色檢測方法的主要優勢是模型的建立和實施比較容易,集群形狀具有獨立性[51].相對而言,非參數方法的膚色檢測率相對更高,因為在概率估計的過程中沒有擬合誤差,但需要大量膚色像素作為訓練集,當需要精細分辨率時,需要大型存儲器支持[51,52].參數方法不需要太多的訓練集,可以彌補非參數方法的高存儲要求,但是計算成本高.

3 基于閾值的膚色檢測方法

基于閾值的膚色檢測方法是通過明確規定膚色范圍來檢測膚色像素,主要考慮不同種族人群膚色的主要區別在于強度(亮度)而不是色度的特征.

基于閾值構建膚色分類器是根據特定顏色空間中的膚色軌跡來定義分類規則,圖4 是不同顏色空間中的膚色軌跡分布圖.可以看出該方法與顏色空間的選擇密切相關[5,53].通常,分類規則用以確定顏色分量之間的關系,需要對每個顏色分量確定合適的閾值.選擇閾值的方法有很多,主要可以分為兩種:一種是手動選擇閾值并以交互方式查看結果,通過不斷調試閾值得到最佳閾值,稱為閾值調試法;一種是使用閾值算法自動計算閾值,稱為自適應閾值處理.閾值調試法主要研究的是在特定顏色空間中明確定義膚色閾值范圍的方法.

圖4 不同顏色空間中膚色分布軌跡圖

Kovac J 等[5]在RGB 顏色空間提出一種閾值定義方法,在日光和閃光燈照明條件下,若滿足:

則認為像素是膚色像素.在手電筒照明中,若滿足:

則認為像素是膚色像素.

Gomez G 等[53]提出結合Harr 特征與膚色進行人臉檢測的方法,后處理采用了明確定義閾值邊界的方法,實驗結果表明該方法優于著名的正面人臉檢測Viola-Jones 算法.閾值調試法經常使用正交顏色空間進行閾值選擇,如Sagheer A 等[54]在YCbCr 顏色空間確定了兩種照明條件下(正常光照和弱光照)的膚色CbCr 閾值范圍,式(11)和式(12)所示.

自適應閾值方法針對的是可變環境下的膚色檢測,研究的是在特定顏色空間中動態配置規則的方法.如Yang GZ 等[55]為了檢測面部膚色像素,在YCbCr 顏色空間基于像素亮度值的變化,定義動態配置規則如下:

如果像素的Cb,Cr值滿足以下條件,則將其分類為膚色像素:

許多研究者采用感知顏色空間,來定義明確的閾值規則.如Zahir NB 等[56]提出了一種使用HSV 顏色空間的膚色邊界模型,滿足室內和室外照明條件.Pitas I等[57]在HSV 顏色空間定義膚色像素閾值規則如式(16)所示.

Garcia C 等[58]基于HSV 顏色空間設計了更復雜的規則,如式(17)所示.

自適應閾值方法的應用研究有很多,如Fooprateepsiri R 等[59]在HSV 顏色空間結合自適應閾值與面部重建算法,提高人臉識別的準確性;Mariappan M 等[60]在CIEL*a*b*顏色空間結合自適應閾值與橢圓模型算法來提高面部檢測準確性,精度達到97%左右.此外,還可以融合不同顏色空間構造檢測規則來減少誤報率,例如Xiang FH 等[61]提出了一種基于RGB 和YUV 組合顏色空間檢測膚色的方法,與歸一化rg、HSV、YUV、YIQ、YCbCr、RGB、YCbCr-YUV 等7 種顏色空間的檢測結果進行比較,基于RGB-YUV 組合顏色空間是所提方法的最優顏色空間.

顯式定義膚色閾值的方法具有分類規則簡單、易于調整、計算成本低等優點,但是對訓練圖像和顏色空間有高度依賴性,另外,有時閾值的選取不能描述像素的實際分布情況,規則的有限性會降低分類器的檢測性能.

4 基于機器學習的膚色檢測方法

基于機器學習的膚色檢測方法是從一組訓練數據中學習構建膚色分類器,無需構建明確的膚色模型.機器學習分為有監督學習和無監督學習,用于膚色檢測的機器學習大多是有監督學習的方法.比較熱門的是采用人工神經網絡(ANN)[62-65]的方法,人工神經網絡分類如圖5 所示.

圖5 人工神經網絡分類

人工神經網絡模型主要考慮網絡連接的拓撲結構、神經元特征、學習規則等.人工神經網絡的基本處理單元是神經元,一般是多輸入單輸出的單元,其結構模型如圖6 所示,每兩個神經元間的連接都代表一個對于通過該連接信號的加權值,稱之為權重.

圖6 神經元模型

其中,xi表 示輸入信號;n個 輸入信號同時輸入神經元j,wi j表示輸入信號xi與 神經元j連接的權重值,bj表示神經元的內部狀態即偏置值,yj為神經元的輸出.輸入與輸出之間的對應關系可用式(18)表示:

其中,f(·)為激活函數,可以有多種選擇,可以是線性糾正函數(ReLU)、Sigmoid 函數、Tanh(x)函數、徑向基函數等.

神經網絡的輸出取決于網絡的結構、網絡的連接方式、權重和激活函數.人工神經網絡的拓撲結構可以分為前饋神經網絡和反饋神經網絡,前饋神經網絡在膚色檢測問題中被廣泛采用[62].

與傳統的前饋神經網絡不同,多層神經網絡即深度學習引入了用于訓練具有多個隱藏層的神經網絡.深度學習本質上是構建含有多隱層的機器學習架構模型,通過大規模數據進行訓練,得到大量更具代表性的特征信息.深度學習算法打破了傳統神經網絡對層數的限制,可根據研究者需要選擇網絡層數.目前,用于膚色檢測的深度學習算法最具有代表性的有卷積神經網絡(CNN)[63,64]和遞歸神經網絡(RNN)[65]等.

采用神經網絡與深度學習進行膚色檢測主要目的有兩個:一是提高算法性能;二是解決膚色檢測存在的多種族膚色、多光照條件等膚色檢測挑戰問題.如Yasar A 等[66]用UCI(University of California Irvine)數據庫作為數據樣本,15% 的編號數據作為測試數據,15%的隨機數據作為驗證數據,剩余的70%作為培訓數據,在RGB 顏色空間訓練數據集,確定ANN 神經元和偏差權重值.最終由4 個輸入層、10 個隱藏層和1 個輸出層構成的神經網絡得到了平均值超過99%的驗證性能,同時可以消除年齡與種族帶來的膚色檢測影響.Vicentini RE 等[67]提出多層結構的前饋神經網絡(RNA),每個RNA 的輸入層具有與RGB、HSV 和YCbCr 顏色空間參數相對應的3 個接收器節點,中間層有20 個神經元,每個神經元的輸出信號由LOGSIG激活函數處理,該函數將其輸出范圍限制在0(非膚色)和1(膚色)之間;輸出層包含單個神經元,其激活函數為TANSIG,結果顯示,在YCbCr 顏色空間中對不同的光照條件有較好的檢測性能,一定程度上解決了光照條件對膚色檢測效果的影響.

除此之外,結合不同檢測算法與特征提高膚色檢測準確性已經成了一種新的研究趨勢.例如,Zuo HQ等[65]考慮了像素與鄰域的關系,結合全卷積神經網絡(FCN)和回歸神經網絡(RNN)進行人體膚色檢測,采用2 個公開的膚色數據集COMPAQ 和ECU 進行檢測,COMPAQ 和ECU 數據集都提供了具有多種屬性的真實膚色數據,包括膚色背景、不均勻照明、相機特征、種族、年齡等,實驗結果表明此方法有效地提高了復雜背景下膚色檢測算法的穩定性.

Al-Mohair HK 等[68]考慮基于像素的檢測方法性能會受到特定顏色空間中膚色和非膚色重疊的限制,膚色點很難從非膚色點中分離出來.為了提高膚色檢測的準確性,結合紋理特征提出了基于神經網絡和K-均值聚類技術的混合人體膚色檢測算法,實驗結果表明,該方法在ECU 數據庫(包含相同數量的膚色和非膚色像素)圖像可以實現高效率膚色檢測,表1 是文獻[68]的檢測方法與相關文獻中檢測方法的結果對比.可以看出神經網絡結合K-均值聚類方法有更高的檢測率.

表1 不同檢測方法檢測率結果對比(%)

總體而言,深度學習的分層特性可以獲得更多的信息,在膚色檢測精確度方面優于統計和閾值方法,但是增加隱藏層提高性能的同時也會增加訓練時間與計算成本,確定網絡結構與參數是其中的一大難點.

5 存在問題與發展趨勢

通過對基于像素的膚色檢測方法研究現狀的分析,可以發現,基于像素的膚色檢測方法大部分要考慮檢測方法的顏色空間選擇問題.其中,基于統計的非參數方法訓練簡單快速,但強烈依賴于膚色簇的形狀,擬合度與訓練集的大小會直接影響參數方法分類器的性能.基于閾值的方法最容易操作,但用其難以實現高識別率,主要困難是需要根據經驗找到適當的顏色空間和決策規則.與傳統的檢測方法相比,機器學習會較少地依賴先驗知識,分類精確度較高,但機器學習的研究難點是結構復雜度和高訓練成本.

從這些技術現狀可以看出,基于像素的膚色檢測目前仍然存在如下主要問題.

(1)檢測方法與顏色空間的選擇.基于像素的檢測方法大部分都要確認顏色空間的選擇,顏色空間的選擇與數據庫圖像若干因素相關,例如照明、成像條件、噪聲、圖像尺寸及清晰度等.這些圖像可以改變特定顏色空間的檢測結果.為了找到檢測方法的最優顏色空間,應考慮可能影響性能的所有因素.

(2)檢測任務的數據樣本與評價標準的建設.目前,雖然文獻中有許多膚色模型,但是如何測量模型的實用性,以及該模型的有效性范圍都存在限制.通常,模型的性能取決于許多因素,例如使用的顏色空間、分布的形狀、使用的參數、數據的性質、訓練樣本的大小、圖像特征、噪聲數據等.為了定量客觀地比較各種膚色檢測技術,需要加強公用膚色數據庫的建設,統一方法評測標準和規范.

(3)光照、種族、成像設備和復雜背景等膚色挑戰問題的解決與繼續優化.雖然許多檢測方法考慮到膚色檢測挑戰帶來的影響,并試圖解決這些不利因素.但都是針對單一因素的解決,需要改進算法解決多因素影響下的膚色挑戰任務.

針對這些問題,本文歸納了未來基于像素的膚色檢測方法的一些發展趨勢,供讀者參考.

(1)結合空間信息的膚色檢測.膚色特征通常單獨使用效果不佳,結合與空間分布有關的信息,如紋理、形狀和梯度等,可以有效提高膚色檢測性能.

(2)自適應動態膚色模型的建立.手動建立的膚色模型在不同的檢測條件下會有局限性.建立動態膚色模型包括動態直方圖、高斯分布自適應等膚色分布動態更新方法,在提高檢測性的同時更好地適應于不同的檢測環境.

(3)預處理與后處理步驟的加強.預處理對于排除復雜背景以及減少光照影響至關重要,可以通過照明補償技術增強檢測方法對光照的可控程度.通過形態學后處理增強膚色分割的效果.

(4)結合不同檢測算法進行膚色檢測與識別.每種膚色檢測算法都有各自的優缺點,可以通過不同方法的融合實現分類精度高、易操作和降低復雜度及訓練成本,同時提高膚色檢測準確度的檢測效果.

6 總結

基于像素的膚色檢測方法是膚色檢測技術采用的基礎方法.其中,基于統計與基于閾值的膚色檢測方法著重于參數與聚類模型的建立,易操作;基于機器學習的方法通過訓練數據集找到膚色區域,檢測精度高.它們的局限性都在于不能適應動態實時檢測任務,以及開放式數據庫的檢測.本文探討了基于像素的膚色檢測方法相關理論與研究,歸納了現存研究問題與發展趨勢.最終目的是為膚色檢測的方法及其應用的研究提供參考.