基于YCRCb色彩空間的手語圖像分割

鄭方梅 魏延

摘要：針對手語圖像背景的復(fù)雜性，提出一種基于YCbCr色彩空間與K-means算法的改進(jìn)膚色聚類方法。1、建立手語圖像庫;2、對待測試圖像進(jìn)行預(yù)處理，具體步驟為圖片從RGB轉(zhuǎn)換成YCbCr，減弱噪聲，光照等帶來的影響;3、計算膚色相似度，設(shè)計膚色模型;4、利用改進(jìn)后的膚色聚類方法對膚色進(jìn)行聚類;5、基于種子填充算法尋找完整的手型區(qū)域。

關(guān)鍵詞：YCbCr顏色空間;手語圖像分割;k-均值聚類;種子填充算法

中圖分類號：TP311? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? 文章編號：1009-3044（2019）02-0194-04

Sign Language Image Segmentation Based on YCRCb Color Space

ZHENG Fang-mei， WEI Yan

（ College of Computer and Information Science， Chongqing Normal University， Chongqing 401331，China）

Abstract：Aiming at the complexity of the background of sign language image， an improved skin color clustering method based on YCbCr color space and K-means algorithm is proposed.1. Establish the sign language image database;2. Pre-process the image to be tested， transform the color space， eliminate the influence of noise and illumination.3. Compute the skin color similarity， design the skin color model; 4. Cluster the skin color using the improved skin color clustering method; 5. Find the complete hand region based on the seed filling algorithm.

Key words： YCbCr color space; sign language image segmentation; K-means clustering; seed filling algorithm

1手語圖像庫的建立

手語圖像庫的圖像參考圖1中的手語標(biāo)準(zhǔn)庫，由本人和實驗室其他成員等10個人在10中不同背景，不同光照，一般視覺照相機(jī)下采集不同方向，不同大小的手語圖像組成。手語庫共有26組靜態(tài)手語，每組手語圖像100張，圖片大小均為256×256，格式為jpg格式，RGB彩色圖像。其中圖2為手語圖像庫中部分手語示例。

2處理過程

2.1 YCbCr色彩空間

色彩空間也稱為色彩模型，此領(lǐng)域的學(xué)者們使用一維、二維、三維或者四維等不同維度空間坐標(biāo)構(gòu)建了色彩模型，從而將這一色彩范圍使用坐標(biāo)系統(tǒng)進(jìn)行定義。大量分析研究表明，在不同的顏色空間，膚色的分布是不一樣的，在去除光照變化的條件下，膚色在某些顏色空間中，具有恒長性[6]，即膚色區(qū)域在單獨分量上其顏色值集中在某個固定范圍內(nèi).因此，在手語分割識別問題中，找到一種合適的色彩空間極為重要。目前國際常用的比較正規(guī)的色彩空間有RGB、YCbCr、HSV、YUV、LAB等[1]。論文[2][3]中作者詳細(xì)介紹了多種不同顏色空間的優(yōu)缺點，由圖3可知在YCbCr色彩空間中藍(lán)色色度Cb和紅色色度Cr隨著亮度Y的改變始終呈穩(wěn)定趨勢，即Cr與Cb受光強(qiáng)影響不強(qiáng)且依賴性不大，因此膚色在YCbCr色彩空間更適合聚類，能夠更好地提取膚色的分布區(qū)域。綜合比較最終選用YCbCr色彩空間手語圖像作為研究對象。

其中通過如下公式[5]將像素點從RGB值轉(zhuǎn)換成所對應(yīng)的YCbCr值：

Y? ?= 0.257*R+0.564*G+0.098*B+16

Cb = -0.148*R-0.291*G+0.439*B+128? ? ? ? ? ? ? ? ? ? ? ? ? （1）

Cr? = 0.439*R-0.368*G-0.071*B+128

2.2膚色建模

由圖3、圖4分析研究可知，膚色的Cb分量和Cr分量比較集中，整體變化不大，基本滿足正態(tài)分布，即滿足高斯分布模型。因此利用Cb和Cr分量對膚色進(jìn)行高斯建模[7]，能得到更為合理膚色閾值。

其中通過計算模型的平均數(shù)和標(biāo)準(zhǔn)差為

[μ=μCb，μCr=98.33，120.01]? ? ? ? ? ? ? ? ? ? ?（2）

[σ=σCb2σCb，CrσCr，CbσCr2=441.525.155.15289.76]? ? ? ? ? ? ? ?（3）

像素點為

[x=Cbi，Cri]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

由公式（1）、公式（2）、公式（3）和公式（4）得到最終的高斯分布模型為

[f（x）=12πσexp（-（x-μ）22σ2）]? ? ? ? ? ? ? ? （5）

3手語圖像分割

圖像分割的主要目的是從圖像中除去不需要的信息，留下有用的信息，減少后續(xù)圖像處理的數(shù)據(jù)量，提高計算時間和計算空間的利用率。

3.1 K-均值算法

K-means聚類算法容易實現(xiàn);當(dāng)簇接近高斯分布時，它的效果較好。所以接下來選定改進(jìn)k-means算法對圖像進(jìn)行聚類分割，K-means算法其基本理論如下：

給定D維歐幾里得空間的一組數(shù)據(jù){x1，...，xN}，我們的任務(wù)是將該組數(shù)據(jù)聚成K個簇（聚類和分類的區(qū)別在于分類是有監(jiān)督的，聚類是無監(jiān)督的，根據(jù)任務(wù)設(shè)定聚類依據(jù)，此處假設(shè)聚類個數(shù)K是已知的）。不考慮問題背景，單純從歐幾里得空間的角度講，我們應(yīng)當(dāng)將距離較近的點聚為一個簇，不同簇的點之間的距離較遠(yuǎn)。Kmeans聚類方法就是尋找K個聚類中心μk（k=1，...，K），將所有的數(shù)據(jù)分配到距離最近的聚類中心，使得每個點與其相應(yīng)的聚類中心距離的平方和最小。

引入二值變量rnk∈{0，1}來表示數(shù)據(jù)點xn對于聚類k的歸屬（其中n=1，...，N， k=1，...，K），如果數(shù)據(jù)點xn屬于第k聚類，則rnk=1，否則為0。如此，便可定義如下?lián)p失函數(shù)：

[J=n=1Nk=1Krnkxn-μk2]? ? ? ? ? ? ? ? ?（6）

該問題的目標(biāo)就是尋找使得損失函數(shù)JJ最小的所有數(shù)據(jù)點的歸屬值{[rnk]}和聚類中心{[μk]}。Kmeans算法提供了一種迭代求解方法，在每次迭代中交替優(yōu)化[rnk]和[μk]。

第一步，隨機(jī)選擇聚類中心[μk]的初始值，求取使損失函數(shù)J最小的數(shù)據(jù)點的歸屬值[rnk]。由（6）式容易看出，給定[xn]和[μk]的值，損失函數(shù)J是[rnk]的線性函數(shù)，而且，由于[xn]之間是相互獨立的，所以對于每一個n，我們只需將該點分配到距離最近的聚類中心，即：

? ? ? ? ? ? ? ? ? ? ? ? ? （7）

第二步，固定已求得的[rnk]，再求取使損失函數(shù)J最小的聚類中心[μk]。給定[rnk]的值，損失函數(shù)J是[μk]的二次函數(shù)，令J對[μk]的導(dǎo)數(shù)為0，我們有：

[n=1Nrnk（xn-μk）]? ? ? ? ? ? ? ? ? ? ?（8）

那么[μk]的取值為：

[μk=nrnkxnnrnk]? ? ? ? ? ? ? ? ? ? （9）

對于第k個聚類，[rnk]取1的個數(shù)就是屬于該聚類的點的個數(shù)，因此，[μk]等于屬于該聚類的點均值。

如此迭代該兩階段優(yōu)化問題直至收斂，K-means的實現(xiàn)過程大致表示如下：

（1）隨機(jī)選取K個初始聚類中心;

（2）計算每個樣本到各聚類中心的距離，將每個樣本歸到其距離最近的聚類中心;

（3）對每個簇，以所有樣本的均值作為該簇新的聚類中心;

（4）重復(fù)第（2）～（3）步，直到聚類中心不再變化或達(dá)到設(shè)定的迭代次數(shù)。

3.2 K-means算法改進(jìn)

K-means聚類算法受廣大學(xué)者喜歡的原因在于它在聚類中經(jīng)典并且有效，但是仍存在著很多可以改進(jìn)的地方，本算法針對原算法在兩方面的不足進(jìn)行了改進(jìn)，一是在 K-means 算法中非常難以估計的K個初始聚類中心值的確定進(jìn)行改進(jìn)。二是針對K-means算法迭代過程中存在的收斂到局部最小值，在龐大數(shù)據(jù)集上存在收斂較慢的問題進(jìn)行改進(jìn)。

針對初始聚類中心K值的改進(jìn)：首先選擇一個確定的點（滿足膚色模型的點）作為第一個初始類簇的中心點，然后選擇與該點相比較Cb，Cr分量相差最大（距離該點最遠(yuǎn)）的那個點作為第二個初始類簇的中心點，然后再選擇距離前兩個點的距離之和最大的點作為第三個初始類簇的中心點，……，直至所有的初始聚類中心選完。這樣既解決了初始聚類中心的選擇，利用距離最大有效地防止迭代過程中存在的局部收斂。

針對在大規(guī)模數(shù)據(jù)集上收斂較慢的問題進(jìn)行改進(jìn)：利用Mini Batch思想對K-means算法過程中的第（2）步進(jìn)行改進(jìn)，把其中計算到個聚類中心的樣本點改成從所有樣本數(shù)據(jù)集中隨機(jī)抽取一些數(shù)據(jù)集形成小樣本數(shù)據(jù)。

聚類的具體流程如下：

（1）將RGB彩色圖像所有像素點從RGB值轉(zhuǎn)換成所對應(yīng)的YCbCr值，分離出Cb分量和Cr分量，組成一個（Cb，Cr）二維矩陣。

（2）基于Canopy[8]算法進(jìn)行初始聚類，用這些類簇的中心點作為K-Means算法初始類簇中心點。

（3）基于Mini Batch[9]從所有樣本數(shù)據(jù)集中隨機(jī)抽取一些數(shù)據(jù)集形成小樣本數(shù)據(jù)（即Batch），然后使用這個Batch對聚類中心進(jìn)行更新。

（4）重復(fù)第（3）步，直到聚類中心不再變化，最終達(dá)到穩(wěn)定狀態(tài)或達(dá)到設(shè)定的迭代次數(shù)。算法停止計算。

3.3 種子填充算法改進(jìn)

基于種子填充算法[10]進(jìn)一步分割出完整的手型區(qū)域。種子填充算法基本原理是圖像的某一像素點（稱為種子）開始，由此出發(fā)找到區(qū)域內(nèi)的其他所有像素。一般有兩種連通區(qū)域：四連通區(qū)域和八連通區(qū)域。

算法流程如下：

1）從（x，y）開始，先檢測該點的顏色，若它與邊界色和填充色均不相同，執(zhí)行第二步;若不是，執(zhí)行第三步;直到檢測完區(qū)域邊界范圍內(nèi)的所有像素為止。

2）用填充色填充該點。

3）填充該相鄰點。

改進(jìn)：先對圖像進(jìn)行邊緣檢測，提取出手部輪廓，將待檢測區(qū)域劃分成多個子區(qū)域，再利用種子算法進(jìn)行填充。

4實驗結(jié)果與分析

所有實驗均在Windows7系統(tǒng)，i5的處理器，4G的運行內(nèi)存，Anaconda3（python-OpenCV）環(huán)境下實現(xiàn)。

圖8和圖9分別利用K-means算法和本文算法得到的結(jié)果。兩種算法均能合理聚類手語手勢的基本結(jié)構(gòu)，但在某些細(xì)節(jié)方面存在錯分現(xiàn)象.例如對于手背陰影部分，兩種算法均錯分為非手語手勢。通過仿真實驗對比結(jié)果發(fā)現(xiàn)，K-means算法和本文算法再對手語圖像進(jìn)行分類時，所用時間存在差異。分類進(jìn)行從第一張手語圖像到第2600張手語圖像，兩種算法雖然計算時間都有所增加，但K-means算法比本文算法多用了71秒。因此，對于大數(shù)據(jù)量的手語圖像分類，本文算法比K-means算法更具優(yōu)勢。

圖10和圖12的對比，得出改進(jìn)后的種子填充算法能得到更為完整的手型區(qū)域。

5 結(jié)論

本文對K-means算法進(jìn)行了分析研究，針對其在手語圖像分割中存在的不足提出了改進(jìn)算法。利用Canopy算法優(yōu)化K-means算法初始聚類中心的選擇，并利用Mini Batch思想融合K-means算法減少時間復(fù)雜度，提高在大數(shù)據(jù)量手語識別的計算率，并通過仿真實驗證明了本文算法相比K-means算法有效性得到提高。此外，本文算法在分類精度和計算時間上有待進(jìn)一步研究。

參考文獻(xiàn)：

[1] 李海朝.復(fù)雜背景下基于彩色圖像的人臉檢測[D].電子科技大學(xué)，2008.

[2] 武紅嬌.復(fù)雜背景下的靜態(tài)手語識別技術(shù)研究[D].沈陽工業(yè)大學(xué)，2017.

[3] 吳要領(lǐng).基于YCbCr色彩空間的人臉檢測算法[D].電子科技大學(xué)，2013.

[4] Christopher M. Bishop. Pattern Recognition and Machine Learning[M].2006.

[5] 李杰，郝曉莉.一種基于橢圓膚色模型的人臉檢測方法[J].計算機(jī)測量與控制，2006，14（2）.

[6] 江鳳兵.基于RGB-H-CbCr新顏色空間的膚色檢測算法研究[J].科技廣場，2011（9）.

[7] https：//blog.csdn.net/jia20003/article/details/72771737.

[8] 陳凱，陳秀宏，孫慧強(qiáng).基于 Canopy 聚類的噪聲自適應(yīng)模糊C-均值算法[J].計算機(jī)應(yīng)用研究，2018（4）.

[9] 修瑛昌，楊文靜.Mini Batch K-means算法在遙感影像分類中的應(yīng)用[J].魯東大學(xué)學(xué)報：自然科學(xué)版，2017，33（4）：359-363

[10] 李盤榮，徐文波.整數(shù)階濾波的分?jǐn)?shù)階Sobel算子的邊緣檢測算法[J].安慶師范學(xué)院學(xué)報，2006，12（4）.

[11] 李忠海，金海洋，邢曉紅.種子填充算法的改進(jìn)[J].計算機(jī)工程與應(yīng)用，2018，54（4）：179-184.