基于加權(quán)損失函數(shù)的粘連白細(xì)胞分割算法

趙曉晴, 李慧盈,2, 蘇安煬, 張海濤, 劉景鑫, 顧桂穎

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長(zhǎng)春 130012；2. 吉林大學(xué) 符號(hào)計(jì)算與知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室, 長(zhǎng)春 130012； 3. 吉林大學(xué) 軟件學(xué)院, 長(zhǎng)春 130012；4. 吉林大學(xué)中日聯(lián)合醫(yī)院 放射科, 長(zhǎng)春 130033； 5. 吉林大學(xué)中日聯(lián)合醫(yī)院 血液與腫瘤科, 長(zhǎng)春 130033)

精準(zhǔn)分割白細(xì)胞具有醫(yī)學(xué)檢驗(yàn)意義[1], 傳統(tǒng)檢測(cè)中各類白細(xì)胞的數(shù)目通過(guò)人工方法進(jìn)行計(jì)數(shù)[2-3], 由于不同病理學(xué)家的專業(yè)技能和經(jīng)驗(yàn)存在差異, 因此人工計(jì)數(shù)的準(zhǔn)確率較低[4]. 計(jì)算機(jī)輔助分割醫(yī)學(xué)圖像不僅可排除人工計(jì)數(shù)過(guò)程中的干擾因素, 而且可提升病理檢測(cè)結(jié)果的可靠性. 基于深度學(xué)習(xí)的圖像分割算法可對(duì)醫(yī)學(xué)影像進(jìn)行處理分析, 自動(dòng)分割感興趣區(qū)域(ROI), 更便于提取高維數(shù)據(jù)中的特征信息[5-6]. Long等[7]提出了一種全卷積神經(jīng)網(wǎng)絡(luò)(FCN), 將卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的圖像級(jí)分類改為像素級(jí)分類, 同時(shí), 該網(wǎng)絡(luò)允許任何尺寸的輸入圖像； Guerrero-Pena等[8]基于細(xì)胞的圖形結(jié)構(gòu)及分割過(guò)程中的類別不平衡問(wèn)題, 提出了兩種權(quán)重圖應(yīng)用于交叉熵?fù)p失函數(shù), 分割粘連細(xì)胞； Chen等[9]提出了一種關(guān)注邊界特征的全卷積網(wǎng)絡(luò)(DCAN), 用于從組織學(xué)圖像中分割腺體, 改善腺癌的自動(dòng)診斷, 并用該方法證明了加強(qiáng)模型學(xué)習(xí)邊界特征的優(yōu)越性[10].

目前, 急性淋巴細(xì)胞白血病(ALL)顯微圖像的白細(xì)胞分割技術(shù)的難點(diǎn)是紅細(xì)胞的干擾和粘連白細(xì)胞的精準(zhǔn)分割. 為排除圖像中紅細(xì)胞等噪聲像素點(diǎn)的干擾, 本文采用一種基于色彩空間變換的白細(xì)胞檢測(cè)方法, 提取目標(biāo)白細(xì)胞； 為分割粘連白細(xì)胞, 除細(xì)胞內(nèi)部區(qū)域和背景區(qū)域外, 將細(xì)胞邊界區(qū)域的像素點(diǎn)作為分割過(guò)程中的第三類, 并通過(guò)基于類別權(quán)重的加權(quán)交叉熵?fù)p失函數(shù), 強(qiáng)化深度學(xué)習(xí)模型對(duì)細(xì)胞邊界特征的學(xué)習(xí). 本文方法使白細(xì)胞分割準(zhǔn)確率達(dá)95.19%.

1 算法設(shè)計(jì)

1.1 基于色彩空間變換的白細(xì)胞提取算法

在ALL患者的血液細(xì)胞顯微圖像中檢測(cè)并提取白細(xì)胞, 是通過(guò)消除其他區(qū)域和顆粒(如紅細(xì)胞、 血小板和噪聲像素點(diǎn))實(shí)現(xiàn)的. 圖像中的血小板和染色過(guò)程中產(chǎn)生的噪聲像素點(diǎn)構(gòu)成了脈沖噪聲, 相比于均值濾波器、 高斯濾波器等其他濾波器, 中值濾波器對(duì)脈沖噪聲有良好的濾除作用, 且能保留邊界的細(xì)節(jié)特征. 所以, 在提取前需對(duì)圖像進(jìn)行中值濾波[11-12], 即用統(tǒng)計(jì)學(xué)的中值方法, 選定像素點(diǎn)的灰度值為其周圍像素點(diǎn)灰度值的中值, 通過(guò)該非線性濾波器, 濾除圖像中的噪聲點(diǎn), 從而提高信噪比.

在計(jì)算機(jī)視覺(jué)領(lǐng)域, 色彩空間是描述顏色的特定方式, 包括顏色模型和映射函數(shù), 顏色模型表示像素點(diǎn)的值, 而映射函數(shù)可將特定顏色映射到包括所有顏色的集合中. RGB是應(yīng)用最廣的顏色空間, HSV是基于人類對(duì)顏色感知而提出的色彩空間. 彩色圖像一般用R(紅色)、 G(綠色)和B(藍(lán)色)3個(gè)色帶表示, 這3個(gè)色帶的值均會(huì)隨亮度的變化而改變. 因此, 對(duì)于白細(xì)胞顯微圖像, RGB顏色空間更適合于圖像展示, 但其并不適合圖像處理與分析. 而HSV色彩空間中的飽和度(S)與人眼的感知密切相關(guān), 亮度(V)與顏色自身無(wú)關(guān), 色調(diào)(H)可顯著區(qū)分血涂片中的紅細(xì)胞和白細(xì)胞(在染色后的ALL顯微圖像中, 白細(xì)胞呈紫色, 紅細(xì)胞呈紅色). 圖1顯示了RGB和HSV色彩空間中的單色帶分量, 其中： (A)為中值濾波后的ALL顯微圖像； (B)～(D)分別為R,G和B的提取結(jié)果; (E)～(G)分別為H,S和V的提取結(jié)果. 由圖1可見(jiàn), RGB色彩空間對(duì)紅細(xì)胞等干擾因素和白細(xì)胞的區(qū)分無(wú)顯著作用, 而HSV色彩空間更適合于血液細(xì)胞顯微圖像的邊緣檢測(cè)和分割.

圖1 RGB和HSV色彩空間單色帶分量提取結(jié)果Fig.1 Extraction results of monochromatic band components in RGB and HSV color space

算法1基于顏色空間變換的白細(xì)胞提取算法.

輸入: 原始ALL患者的血液細(xì)胞顯微圖像;

輸出: 前景為白細(xì)胞區(qū)域的二值圖像.

步驟1) 用cv2.medianBlur( )函數(shù)和(25,25)的中值濾波器模板, 濾除ALL患者原始血液細(xì)胞顯微圖像中的噪聲點(diǎn)；

步驟2) 用cv2.cvtColor( )函數(shù)將濾波后圖像的顏色空間由RGB轉(zhuǎn)換為HSV, 轉(zhuǎn)換結(jié)果命名為HSV_image；

步驟3) 根據(jù)染色后白細(xì)胞的紫色特性設(shè)定顏色閾值范圍, 下限(lower)為(125,43,46), 上限(upper)為(155,255,255);

步驟4) 用cv2.inRange (HSV_image,lower,upper)函數(shù)提取ROI, 在提取結(jié)果中, 顏色閾值范圍內(nèi)的像素點(diǎn)為白色, 紅細(xì)胞等其他像素點(diǎn)為黑色;

步驟5) 用cv2.threshold( )函數(shù)將提取結(jié)果二值化;

步驟6) 用cv2.findContours( )函數(shù)獲得二值圖像中ROI的輪廓;

步驟7) 遍歷所有ROI的輪廓, 用cv2.boundingRect( )函數(shù)在每個(gè)輪廓外部標(biāo)記外切矩形, 返回值為矩形的高度和寬度； 雖然血涂片中的血小板和白細(xì)胞均呈紫色, 但血小板的尺寸遠(yuǎn)小于白細(xì)胞, 因此矩形面積大于6 000個(gè)像素點(diǎn)的ROI被視為白細(xì)胞, 否則作為血小板被濾除.

用算法1檢測(cè)并提取白細(xì)胞, 提取結(jié)果將作為深度學(xué)習(xí)分割模型的訓(xùn)練樣本, 其中cv2表示OpenCV.

1.2 基于加權(quán)損失函數(shù)的多類分割算法

1.2.1 多類分割

多類分割即把細(xì)胞邊界區(qū)域設(shè)為除白細(xì)胞區(qū)域和背景外的第三類, 從而精準(zhǔn)分割粘連白細(xì)胞. 為獲得細(xì)胞邊界類的像素點(diǎn), 本文對(duì)地面實(shí)況進(jìn)行形態(tài)學(xué)膨脹運(yùn)算, 計(jì)算公式為

gt⊕k={g|(kV)g∩gt≠?},

(1)

其中g(shù)t表示二值化后的地面實(shí)況，k表示膨脹模板，g表示集合平移的位移量，對(duì)k做關(guān)于其原點(diǎn)的反射得到反射集合kV.

將二值圖像中的白細(xì)胞區(qū)域向四周擴(kuò)展, 將與細(xì)胞接觸的所有背景點(diǎn)合并到細(xì)胞中, 使邊界向外擴(kuò)張. 如果兩個(gè)白細(xì)胞間的距離較近, 則膨脹運(yùn)算可能會(huì)把兩個(gè)細(xì)胞連通到一起. 膨脹后的地面實(shí)況與原地面實(shí)況的差值即為細(xì)胞邊界, 如圖2所示, 其中： (A)為地面實(shí)況； (B)為使用5×5的模板對(duì)地面實(shí)況膨脹的結(jié)果; (C)為得到的細(xì)胞邊界.

圖2 創(chuàng)建細(xì)胞邊界類Fig.2 Creation of class corresponding to cell border

1.2.2 加權(quán)交叉熵?fù)p失函數(shù)

深度學(xué)習(xí)算法用損失函數(shù)監(jiān)測(cè)和評(píng)估模型[13-14], 算法的優(yōu)化是盡可能地最小化損失函數(shù)值, 使模型達(dá)到最穩(wěn)定的狀態(tài), 而交叉熵?fù)p失函數(shù)可用于監(jiān)測(cè)及評(píng)估訓(xùn)練過(guò)程中的深度學(xué)習(xí)模型. 本文提出一種像素級(jí)的加權(quán)交叉熵?fù)p失函數(shù)L, 表示為

(2)

其中，wCWM:Ω→是為提高細(xì)胞邊界類權(quán)重而引入的權(quán)重圖(CWM)，l:Ω→{1,2,…,K}表示每個(gè)像素點(diǎn)的實(shí)際所屬類別，log為對(duì)數(shù)函數(shù). Softmax定義為

其中:ak(x)表示像素點(diǎn)x在特征通道k被激活的情況,x∈Ω且Ω?2；K表示類別數(shù)目, 本文設(shè)K=3.

血涂片中的背景像素點(diǎn)最多, 細(xì)胞邊界類的像素點(diǎn)最少, 為緩解類別不平衡問(wèn)題, 并提高細(xì)胞邊界類的權(quán)重, 本文提出了類別權(quán)重圖, 表示為

wCWM(x,α)=1/w0(x),

(3)

其中,w0:Ω→是每個(gè)類別在血涂片中像素點(diǎn)的總數(shù), 且w0(邊界)

1.2.3 深度學(xué)習(xí)分割模型

在血液細(xì)胞顯微圖像中, 細(xì)胞邊界處梯度復(fù)雜, 難以區(qū)分細(xì)胞像素點(diǎn)和背景像素點(diǎn), 因此, 需較多的高分辨率信息用于精準(zhǔn)分割. 人類機(jī)體的結(jié)構(gòu)較穩(wěn)定, 白細(xì)胞在血涂片中的分布遵循一定規(guī)律, 語(yǔ)義較簡(jiǎn)單明確, 所以, 低分辨率信息可用于白細(xì)胞的識(shí)別. U-Net結(jié)合了低分辨率特征信息和高分辨率特征信息, 較適合ALL患者的血液細(xì)胞顯微圖像分割. 該網(wǎng)絡(luò)經(jīng)過(guò)多次下采樣得到的低分辨率信息有助于白細(xì)胞的識(shí)別, 而合并操作將特征圖從編碼器端直接傳遞到同高度的解碼器端, 能為白細(xì)胞分割提供更完整的特征, 如梯度等. 實(shí)驗(yàn)所用的最佳網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

圖3 U-Net模型結(jié)構(gòu)Fig.3 U-Net architecture

該網(wǎng)絡(luò)包括一個(gè)編碼器和一個(gè)解碼器： 編碼器遵循VGG16典型架構(gòu), 包括重復(fù)的3×3卷積層和2×2的最大池化層用于下采樣, 特征通道的數(shù)量在經(jīng)過(guò)池化層后加倍(64,128,256,512序列)； 在解碼器中, 特征通道的數(shù)量在經(jīng)過(guò)Conv2DTranspose層后減半, 合并層用于結(jié)合編碼器的低分辨率特征與解碼器的高分辨率特征, 防止特征丟失, 解碼器端的卷積層用于提升分割結(jié)果的準(zhǔn)確率.

2 實(shí)驗(yàn)結(jié)果與分析

下面采用意大利米蘭大學(xué)提供的血細(xì)胞顯微圖像數(shù)據(jù)集(ALL_IDB1)[15]對(duì)本文方法的性能進(jìn)行評(píng)估. 該數(shù)據(jù)集主要用于評(píng)估白細(xì)胞的分割和分類, 其由108張JPG格式的圖像組成, 分辨率為2 592×1 944, 使用實(shí)驗(yàn)室光學(xué)顯微鏡和佳能PowerShot G5相機(jī)捕獲.

2.1 白細(xì)胞檢測(cè)和提取結(jié)果

由于原始血液涂片的分辨率較高, 因此使用(21,21),(25,25)和(29,29)的濾波器模板對(duì)原始ALL顯微圖像進(jìn)行中值濾波. (25,25)的過(guò)濾效果較理想, 消除了血液涂片制作過(guò)程中產(chǎn)生的噪聲, 同時(shí)保留了邊緣信息. 將經(jīng)過(guò)中值濾波血涂片的顏色空間由RGB轉(zhuǎn)換至HSV, 濾除紅細(xì)胞并提取白細(xì)胞, 結(jié)果如圖4所示, 其中： (A)為中值濾波的結(jié)果； (B)為HSV色彩空間中血涂片； (C)為白細(xì)胞檢測(cè)結(jié)果； (D)為白細(xì)胞提取結(jié)果. 由于細(xì)胞質(zhì)區(qū)域的像素點(diǎn)呈淡紫色, 因此在提取結(jié)果中粘連白細(xì)胞被視為單個(gè)ROI(圖4(D)中標(biāo)記處).

圖4 白細(xì)胞提取過(guò)程Fig.4 Extraction process of leukocyte

2.2 粘連白細(xì)胞分割評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用準(zhǔn)確率(Acc)、 交并比(IOU)、F1值和F均值4個(gè)評(píng)價(jià)指標(biāo)驗(yàn)證算法的有效性, 這些評(píng)價(jià)指標(biāo)計(jì)算公式分別為

其中，F(xiàn)G和BG分別表示地面實(shí)況中的前景(白細(xì)胞像素點(diǎn))和背景(非白細(xì)胞像素點(diǎn))，F(xiàn)P和BP分別表示模型預(yù)測(cè)結(jié)果中的前景(白細(xì)胞像素點(diǎn))和背景(非白細(xì)胞像素點(diǎn))，|·|表示集合，θ2=0.3用以提升精確率的影響.

2.2.1 深度學(xué)習(xí)分割模型對(duì)比

將原始分辨率為2 592×1 944的圖像裁剪為分辨率為512×512的子圖像, 以提高分割目標(biāo)在單張樣本圖像中的比例, 剪裁后的數(shù)據(jù)集為105張包含粘連白細(xì)胞的子圖像, 并且每張子圖像都有與其對(duì)應(yīng)的地面實(shí)況. 為增強(qiáng)魯棒性, 實(shí)驗(yàn)中隨機(jī)分配訓(xùn)練集、 驗(yàn)證集和測(cè)試集的樣本. 本文將63張圖像作為訓(xùn)練集, 并且在每次訓(xùn)練迭代中都使用幾何形變(旋轉(zhuǎn)、 鏡像等)擴(kuò)充訓(xùn)練樣本的數(shù)量. 驗(yàn)證集和測(cè)試集均包含21張圖像.

將用Keras框架封裝二分類交叉熵?fù)p失函數(shù)的U-Net模型標(biāo)記為ORG, U-Net,Linknet和FPN均表示使用本文提出的加權(quán)交叉熵?fù)p失函數(shù)進(jìn)行分割的深度學(xué)習(xí)模型. 為考察不同損失函數(shù)和分割模型對(duì)ALL顯微圖像的分割效果, 用準(zhǔn)確率、 交并比和F1值分別對(duì)訓(xùn)練、 驗(yàn)證和測(cè)試結(jié)果進(jìn)行評(píng)估, 結(jié)果列于表1. 由表1可見(jiàn), 用加權(quán)損失函數(shù)的3個(gè)模型分割結(jié)果始終優(yōu)于未改進(jìn)交叉熵?fù)p失函數(shù)的分割結(jié)果, 并且在3種分割模型中U-Net表現(xiàn)較好, 所以在后續(xù)的對(duì)比實(shí)驗(yàn)中, 將該模型的分割結(jié)果與其他分割方法進(jìn)行對(duì)比. 圖5為本文提出的加權(quán)交叉熵?fù)p失函數(shù)在測(cè)試集上的分割結(jié)果, 其中： (A)為原始ALL顯微圖像, 白細(xì)胞呈紫色； (B)為由算法1得到的測(cè)試樣本(為更好地展示, 圖像進(jìn)行了黑白反轉(zhuǎn)); (C)為用加權(quán)交叉熵?fù)p失函數(shù)的U-Net分割結(jié)果. 圖5和表1的結(jié)果表明, 將細(xì)胞邊界設(shè)定為第三類, 并且在訓(xùn)練過(guò)程中加強(qiáng)模型對(duì)該類特征的學(xué)習(xí), 有利于提高ALL顯微圖像中白細(xì)胞的分割結(jié)果.

表1 不同損失函數(shù)和分割模型的對(duì)比結(jié)果Table 1 Comparison results of different loss functions and segmentation models

圖5 ALL顯微圖像的白細(xì)胞分割結(jié)果Fig.5 Segmentation results of leukocyte of ALL microscopic images

2.2.2 不同分割方法的對(duì)比

將本文提出的方法與其他3種白細(xì)胞分割算法進(jìn)行對(duì)比分析. 根據(jù)形態(tài)學(xué)距離變換的結(jié)果, 基于標(biāo)記的分水嶺算法將白細(xì)胞圖像劃分為前景區(qū)域、 背景區(qū)域和不確定區(qū)域, 根據(jù)這3類標(biāo)記進(jìn)行分水嶺操作以獲取細(xì)胞邊界. 基于極限學(xué)習(xí)機(jī)的算法[16]根據(jù)血涂片的染色原理設(shè)計(jì)了圖像自動(dòng)采樣算法, 在線訓(xùn)練極限學(xué)習(xí)機(jī)分類器以提取白細(xì)胞; 基于多諧波極限學(xué)習(xí)機(jī)的算法[17]在線訓(xùn)練多諧波極限學(xué)習(xí)機(jī)分類器, 并迭代執(zhí)行“像素采樣-特征學(xué)習(xí)-分類”的過(guò)程, 直到感知飽和為止. 表2列出了4種白細(xì)胞分割方法在測(cè)試集上的F均值.

表2 不同分割方法F均值的對(duì)比結(jié)果Table 2 Comparison results for Fmean of different segmentation methods

由表2可見(jiàn), 用基于類別權(quán)重的加權(quán)損失函數(shù)的U-Net模型提高了粘連白細(xì)胞的分割精度.

綜上所述, 本文將ALL患者血液細(xì)胞顯微圖像的色彩空間由RGB轉(zhuǎn)換至HSV, 根據(jù)白細(xì)胞的顏色特性精確地檢測(cè)并提取了白細(xì)胞. 針對(duì)由于部分白細(xì)胞的細(xì)胞質(zhì)所占比例較小, 且在染色后呈淡紫色, 難以分割粘連白細(xì)胞的問(wèn)題, 本文提出了一種基于類別權(quán)重的加權(quán)交叉熵?fù)p失函數(shù)方法, 強(qiáng)化了模型對(duì)細(xì)胞邊界特征的學(xué)習(xí). 實(shí)驗(yàn)結(jié)果表明, 與其他類似方法相比, 該方法有一定的優(yōu)勢(shì).