基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

?

基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

(華南農業大學數學與信息學院, 廣州 510642)

為提高紅綠色盲患者對色彩的分辨能力, 提出一種基于圖像分割的局部色盲矯正方法. 首先研究了色盲圖像的仿真方法, 然后結合K-means和系統聚類算法對原圖像進行分割, 并計算各個區域在色盲圖像下LAB顏色空間中的歐氏距離作為顏色相似性的度量, 確定紅綠色盲難以分辨的顏色區域, 最后將該區域替換成亮度一致且顏色區分度大的顏色, 從而實現色盲圖像矯正的目的. 基于Matlab平臺對算法進行驗證, 結果表明: 該方法能夠改善紅綠色盲患者對顏色的分辨能力, 同時在減少對顏色的認知偏差方面優于已有的方法.

色盲仿真; 局部矯正; K-means聚類; 顏色相似性; 亮度因子

1　概述

色盲是由于人體視網膜錐細胞的缺失或者變異, 造成人類顏色辨認障礙的視覺缺陷. 色盲按照臨床表現可分為全色盲和二色盲(紅色盲、綠色盲、藍色盲等), 而二色盲又在色盲中占絕大部分比例. 研究表明, 僅紅綠色盲在亞洲人的發病率就達到5%[1], 截至2015年末我國大陸人口為13.75億[2], 現有色盲人數就已經達到六千萬. 生活中, 設計人員在設計產品的時候, 難以獲取色盲人群的視覺體驗, 造成了產品在色盲人群中不友善的用戶體驗, 使得色盲人群不能有效的工作和學習.

使用圖像處理方法進行色盲矯正, 從操作的可行性, 對人體的無害性、安全性上看, 具有很高的價值. 目前, 在色盲圖像仿真上, 研究者主要根據色盲患者視覺的三通道建立了圖像的色盲模型[3-5]. 而在色盲矯正方面, Si Di等[6]基于多濾光片的顏色濾波器對不同波段的可見光進行捕獲, 從而設計出一款特殊的光學透鏡對色盲患者的視覺認知進行矯正. Noriaki Suetake[7]等基于C-O效應對圖像的亮度進行修正, 從而通過突出圖像的對比度來達到色盲矯正的效果. 但該方法對亮度的修正參數需人為確定. Karl Rasche[3]通過對原始圖像和矯正圖像建立目標函數并求極小值, 對圖像進行矯正. 但是極小值不只一個, 當圖像顏色較多時, 運算時間將大大增加. Enrico等[4]根據不同的色盲特性設計出四種不同的色度變換模型并植入到可穿戴式設備中, 模型根據不同場景對圖像的色度進行變換來提高色盲者的辨色能力. 鮑吉斌等[8]在HSI顏色空間對H分量進行旋轉實現了色盲圖像矯正, 該方法在提高紅色與綠色的分辨度的同時卻降低其它顏色的辨識度. 該課題組還提出了SOM神經網絡算法[9]和幾何變換映射[10]進行圖像矯正. 以上方法均對圖像進行了全局矯正, 整幅圖像的顏色發生了變化. 這種矯正后的圖像顏色與色盲患者原先的顏色認知產生較大的沖突, 不利于色盲患者適應. 因此, 本文提出了一種局部矯正方法, 即保留圖像中的大部分信息, 僅對辨識度較低的區域進行矯正.

本文從數字圖像處理角度對紅綠色盲(以下研究方法針對紅綠色盲)與非色盲人群的顏色辨識能力進行研究分析, 首先通過建立色盲空間轉換矩陣進行二色盲視覺的仿真. 其次, 為了實現圖像的局部矯正, 本文使用了結合改進的K-means方法和系統聚類方法進行圖像分割, 這種方法保證了每個分割區域在正常辨色視覺中差異足夠大. 然后使用色盲轉換矩陣對圖像進行轉換, 判斷每個分割區域在色盲視覺中顏色特征的相似性, 區域間的相似性越大, 說明其越難區分. 最后, 通過結合區域面積和亮度因子兩個因素, 對圖像中難以區分的區域實現局部矯正. 實驗結果表明, 此種方式實現的色盲矯正能夠達到好的效果并具有實用性.

2　實現方法

2.1 色盲仿真模型

正常人的視網膜上有三種視錐細胞, 分別為L、M、S錐細胞, 它們構成人眼的LMS空間. 視覺系統將人眼吸收到的RGB像素值通過轉換變成視錐細胞的吸收信號. 這個從RGB空間轉換到LMS空間的過程, 通過變換矩陣U實現, 轉換過程如下:

色盲或者色弱是因為三種視錐細胞吸收特性的變異引起的.

對于紅色盲, 當RGB空間轉換成LMS空間時, 相當于RGB立方體空間的顏色沿L軸方向映射到R=G的顏色面上.

映射表達式如下, 其中T為色盲的投影變換矩陣.

由于色盲視覺沿著L軸方向的顏色都被投射到一點上, 紅色與綠色在這個方向上, 所以紅色和綠色不能被區分. 同樣道理, 沿著M軸投影到R=G面和沿著S軸投射到B=G分別是綠色盲和藍色盲的顏色面.

LMS是人眼內部的感知空間, 不便于直觀的觀察, 所以再將其換回RGB空間, 得到如下式子的紅綠色仿真模型.

通過上式計算得到, 紅色色盲簡化模型:

綠色色盲簡化模型:

為了使正常色覺人群獲得色盲患者的視覺體驗, 可以通過圖1的步驟實現.

圖1 色盲仿真流程圖

2.2 色盲圖像矯正

2.2.1基于加權K-means與系統聚類結合的圖像分割

要實現色盲空間圖像的局部矯正, 可以先對色盲圖像進行聚類, 然后對圖像的每一個區域進行分析, 繼而找出需要矯正的區域. 由于不確定圖片最終的分類數目, 本文首先使用一種改進K-means算法將圖像分成足夠多類, 然后用系統聚類算法, 逐步合并K-means得到的個聚類中心.

1) K-均值聚類算法(K-means). 傳統的K-means[11,12]會計算所有樣本點到聚類中心的距離. 由于數字圖像的特性, 在圖像處理問題中, 樣本集往往存在大量相同的數據. 當計算了一個樣本與聚類中心距離的時候, 沒有必要對相同的樣本點重復計算, 只要乘上該樣本對應的權重即可. 因此, 本文提出了一種基于加權和的K-means聚類算法. 算法過程如下:

該算法的目標誤差函數即可表示為式(1):

然后根據傳統的K-means算法的過程進行迭代, 并在更新聚類中心時, 用式(2)進行代替.

為了降低光照影響同時保留顏色特征, 本文使用Lab顏色空間的分量和分量作為圖像分割的特征. 即樣本x={a,b}, 其中a,b表示像素分量和分量的值. 表1是使用傳統K-means算法和加權和K-means算法對不同大小圖組處理的平均時間, 其中每個圖組包含10張大小相同的圖像.

表1 不同K-means處理時間對比

實驗表明, 加權和K-means聚類算法, 在圖像分割的處理效率上, 比傳統K-means明顯更快.

2) 系統聚類算法(Hierarchical Cluster). 系統聚類算法[13]首先把所有樣本單獨看作一類, 然后根據度量距離對樣本逐步合并從而達到聚類的效果. 本文通過改進該方法對K-means的聚類結果進行合并.

具體實現步驟介紹如下:

Step1: 給定收斂閾值<0, 輸入K-means得到的個聚類中心作為系統聚類的初始重心;

Step2: 計算不同重心兩兩之間的歐氏距離, 找出最小的距離. 若<, 轉向Step3, 否則, 算法停止.

Step3: 找出最小值對應的兩個類別G和G合并為新類, 并根據公式(3)計算新的重心.

3) 圖像分割效果圖. 以自然圖進行圖像分割實驗, 分別得到圖3、圖4所示K-means和系統聚類后的結果. 自然原圖如圖2所示.

圖2 自然圖像原圖

圖3 K-means聚類的分割效果

圖4所示為K-means聚類后圖像分割結果, 由于聚類數目較大, 部分顏色相似的目標, 比如綠色的草地和山丘, 被分到了不同類別. 圖5所示, 系統聚類將相似的區域進行合并, 確保了各個分割區域的差異足夠大.

圖4 系統聚類后的分割效果

2.2.2矯正圖像的顏色替換

1) 相似性判斷. 圖像聚類之后被分成若干區域. 通過判斷區域間的顏色相似性, 可以找出色盲人群難以辨別的顏色區域.

Lab顏色空間是一種基于生理特征的均勻的顏色系統. Lab色彩模式色域寬闊, 人類肉眼所能感知到的色彩都能通過Lab模型表現出來, 這使得Lab顏色空間更加適合人類視覺系統的顏色相似性[14-16]度量.

以每個分割區域的顏色聚類中心代表該區域的顏色, 通過兩兩計算區域間的顏色相似性, 得到一個相似性度量矩陣. 矩陣元素(,)表示區域和區域在LAB顏色空間的歐氏距離, 即:

(,)值越小表明兩種顏色相似性越高, 即越難區分. 最后, 給定閾值, 當(,)<時, 以區域包含的像素點代表區域的面積, 通過比較兩個區域包含的像素點數目, 確定出包含像素點少的區域即為需要替換顏色的區域.

2) 多因子選擇的顏色替換. 假設矯正區域原來的顏色為A, 用于替換的顏色為B, 為了有效地替換[17]和得到對色盲者更友好的顏色, B顏色滿足以下條件:

第一, B顏色必須與圖像中其他區域的顏色不相似. 即B顏色與其他區域顏色的距離d都必須大于閾值. 這樣可以保證色盲人群能夠區分出該區域.

第二, B顏色與原A顏色的亮度一致. 本文使用YUV顏色空間的Y分量判斷顏色亮度, 將Y分量劃分為多個亮度等級, 選用與A亮度等級一致的B顏色進行替換.

3　系統實現與測試

本文基于Matlab平臺, 開發色盲矯正系統, 色盲矯正實現的過程如圖5.

圖5 矯正算法流程圖

針對紅色盲、綠色盲這兩種二色盲情況, 選用了10張紅綠色盲測試圖、10張紅綠為主色調的自然圖像, 分別對色盲測試圖以及自然圖像進行了色盲仿真和矯正測試, 并把測試結果與基于H分量旋轉120度以及基于圖像幾何變換映射的矯正方法[8,10]得到的圖像進行對比.

(a) 原始圖像 (b) 色盲仿真圖像

(c)局部色盲矯正圖(d)旋轉H分量色盲(e)幾何映射矯正圖

圖6 測試結果圖一

圖7 測試結果圖二

圖6(a)、圖7(a)為色盲測試原始圖像. 圖6(b)、圖7(b)為紅二色盲的仿真圖像, 可以看到紅二色盲對圖6中的數字“6”識別度較低, 完全無法辨別圖7中的紅花. 圖6(c)、圖7(c)是在本文方法得到的色盲矯正圖像, 可以看出色盲患者能夠準確識別矯正后圖像中的數字“6”, 準確識別了自然圖像中的紅花, 矯正后的圖像保留了大部分的原圖像信息. 圖6(d)、圖7(d)為采用旋轉H分量法得到的色盲矯正圖像, 圖6(e)、圖7(e)為采用圖像幾何映射得到的色盲矯正圖, 兩者雖然達到讓色盲患者辨別圖像基本信息的目的, 但是都是在一定程度上改變了整體圖像的顏色, 不利于色盲患者對真實顏色的認知.

4　結語

本文提出了一種基于圖像分割和多因子選擇顏色替換的色盲局部矯正方法, 首先將原圖分割成多個區域, 然后對每個區域進行比較, 從而實現了色盲圖像的局部矯正. 實驗表明, 該方法對圖像的顏色信息改變較少, 在保留了圖像大部分信息的情況下針對性地實現了圖像矯正的目的, 有效地降低色盲人群對于真實顏色的認知偏差.

然而, 由于該方法的實現使用了K-means算法對圖像進行分割, 當圖像較大時, 算法的速度較慢. 因此, 接下來的主要工作是選取更快的圖像分割方法進行研究.

1 Birch J. Worldwide prevalence of red-green color deficiency. Journal of the Optical Society of America, 2012, 29(3): 313–320.

2 國家統計局.2015年國民經濟和社會發展統計公報. 2016-02-29.

3 Rasche K. Detail preserving reproduction of color images for monochromats and dichromats. IEEE Computer Graphics and Applications, 2005, 25(3): 22–30.

4 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. UbiComp’14. New York. ACM. 2014. 799–810.

5 Brettel H, Vienot F, Mollon JD. Computerized simulation of color appearance for dichromats. JOSA A, 1997, 14(10): 2647–2655.

6 Di S, Jin J, Tang G, Chen X, Du R. The fabrication of a multi-spectral lens array and its application in assisting color blindness. International Journal of Optomechatronics, 2016, 10(1): 14–23.

7 Suetake N, Tanaka G, Hashii H, Uchino E. Simple lightness modification for color vision impaired based on Craik-O’Brien effect. Journal of the Franklin Institute, 2012, 349(6): 2093–2017.

8 鮑吉斌,汪源源,馬煜,顧曉東.基于H分量旋轉的色盲矯正方法.生物醫學工程學進展,2008,29(3):125–130.

9 Ma Y, Gu X, Wang Y. Color discrimination enhancement for dichromats using self-organizing color transformation. Information Sciences, 2009, 179(6): 830–843.

10 王恩,馬煜,汪源源.基于圖像幾何變換映射的色盲矯正方法.生物醫學工程學進展,2011,32(2):63–67.

11 毛韶陽,林肯立.優化K-means初始聚類中心研究.計算機工程與應用,2007,43(22):179–181.

12 張靖,段富.優化初始聚類中心的改進K-means算法.計算機工程與設計,2013,34(5):1691–1694.

13 Martiana E, Rosyid N, Asgusetia U. Document search enginee based on automatic clustering. Telkmnika, 2010, 8(1): 41–48.

14 楊振亞,王勇,楊振東,王成道.RGB顏色空間的矢量-角度距離色差公式.計算機工程與應用,2010,46(6):154–156.

15 盾紹坤,魏海平,孫明柱.RGB顏色空間新的色差公式.科學技術與工程,2011,11(8):1833–1836.

16 楊康葉,鄔春學.基于RGB模型顏色相似性的彩色圖像分割.計算機系統應用,2013,22(3):128–131.

17 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. Brush AJ, eds. UbiComp ’14 Proc. of the 2014 ACM International Joint Conference on Pervasive & Ubiquitous Computing. NewYork. ACM. 2014. 799–810.

18 Wachtler T, Dohrmann UR. Modeling color percepts of dichromats. Vision Research, 2004, 44(24): 2843–2855.

Partial Rectification Method of Color Blindness Based on Image-Segmentation

HE Zhi-Liang, ZHAN Pei-Zhen, LI Jia-Ying, CAI Jia-Rong, ZENG Xiao-Ming, ZHANG Xin

(College of Mathematics and Informatics, South China Agriculture University, Guangzhou 510642, China)

In order to improve red-green color blindness’ ability of distinguishing colors, this paper introduces a partial rectification of color blindness based on image-segmentation. An emulation method of color blindness is studied first; then the original image is segmented by K-means cluster algorithm and Hierarchical cluster algorithm. Then, it calculates Euclidean distances of each region in LAB Color Space as the metric of color similarity, and confirms which color regions are hard to distinguish by red-green colorblindness. Finally, the region is replaced by other color with the same brightness and a higher degree of differentiation. With the test of the algorithm on Matlab platform, the result shows that this method can improve color blindness’ ability to distinguish colors and it performs better than other existing methods in reducing cognitive deviation of color.

achromate simulation; local rectification; K-means clustering; color similarity; brightness factor

2015年廣東省創新創業基金(201510564287)

2016-07-02;

2016-08-29

[10.15888/j.cnki.csa.005691]