基于卷積神經(jīng)網(wǎng)絡(luò)的染色體核型分析方法研究進(jìn)展

邱俊瑋，孫頻捷

（1.四川大學(xué)計算機(jī)學(xué)院，成都610065；2.上海政法學(xué)院，上海200000）

0 引言

染色體核型分析是細(xì)胞遺傳學(xué)中具有重要意義的研究方法之一，廣泛應(yīng)用于疾病診斷、腫瘤研究等方面。傳統(tǒng)的核型分析方法主要依賴于人工分析，費(fèi)力費(fèi)時，且分析結(jié)果的準(zhǔn)確度與專家的經(jīng)驗豐富度直接相關(guān)。近年來，隨著深度學(xué)習(xí)在醫(yī)學(xué)研究領(lǐng)域的廣泛應(yīng)用，使用深度學(xué)習(xí)的方法自動化的完成核型分析成為學(xué)者們廣泛關(guān)注的方向之一。核型分析的任務(wù)目標(biāo)是對染色體進(jìn)行檢測和分類。該任務(wù)的核心難點(diǎn)是，染色體表現(xiàn)出多種復(fù)雜的姿態(tài)，如邊緣粘連、重疊、覆蓋和扭曲等。這對正確檢測和分類染色體造成了較大的干擾。Hu 等人[1]首次將分割網(wǎng)絡(luò)用到了重疊染色體分割問題中。N.Xie 等人提出使用基于卷機(jī)神經(jīng)網(wǎng)絡(luò)Mask R-CNN[2]應(yīng)用于核型分析任務(wù)，并構(gòu)建了一套完整的自動化分析流（Statistical Karyotype Analysis Using CNN and Geometric Optimization）[3]。該方法提高了染色體粘連、重疊等復(fù)雜場景下染色體的檢測準(zhǔn)確度，此后，出現(xiàn)了更多使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行染色體核型分析的方法并取得了優(yōu)秀的成果，這進(jìn)一步說明了卷積神經(jīng)網(wǎng)絡(luò)在染色體核型分析任務(wù)中的有效性和探索價值。

1 相關(guān)工作：核型分析

如圖1 所示，染色體核心分析的主要任務(wù)是，在中期染色體的圖像中，依據(jù)染色體的尺度、著絲點(diǎn)位置、長短臂比例等特征，對染色體進(jìn)行檢測和分類。完整的核型分析通常可以包括兩個子任務(wù)，即染色體檢測任務(wù)和染色體分類任務(wù)。Sharma 等人最早將CNN 的方法應(yīng)用到染色體檢測和分類[4]，常用的基于CNN 的染色體檢測方法包括FCN[5]、U-Net[6]等。染色體分類是一個已經(jīng)被廣泛研究問題，早期的學(xué)者們主要依靠染色體的幾何信息進(jìn)行分類，如Ritter 等人[7]。Jindal 等人則在研究中將CNN 的方法用于染色體分類任務(wù)[8]，并取得了優(yōu)秀的成果。

圖1 染色體核型分析任務(wù)目標(biāo)

2 研究進(jìn)展

2.1 基于卷機(jī)神經(jīng)網(wǎng)絡(luò)和幾何優(yōu)化的核型分析

N.Xie 等人提出了一種使用卷積網(wǎng)絡(luò)和幾何優(yōu)化進(jìn)行核型分析的方法。該方法使用Mask R-CNN 網(wǎng)絡(luò)進(jìn)行染色體檢測，并針對彎曲程度嚴(yán)重的染色體提出了一種優(yōu)化方法，使用融合了全局信息的分類網(wǎng)絡(luò)對染色體進(jìn)行分類，流程如圖2 所示。

圖2 基于卷積神經(jīng)網(wǎng)絡(luò)和幾何優(yōu)化的核型分析流程

Mask R-CNN 網(wǎng)絡(luò)通過RPN（Region Proposal Net?work）的方法提取可能存在染色體的候選區(qū)域。RPN是Ren 等人在Faster R-CNN 網(wǎng)絡(luò)中提出的貢獻(xiàn)[9]。這一網(wǎng)絡(luò)通常與特征提取網(wǎng)絡(luò)結(jié)合使用，以特征提取網(wǎng)路的特征圖作為輸入。在特征圖（feature map）的每個像素點(diǎn)位，依據(jù)不同尺度或高寬比提出多個候選區(qū)域（anchor box），再將候選區(qū)域映射回原圖，與原圖中的物體邊界框計算IOU，將重疊度較高的候選框計為正樣本，重疊度較低的記為負(fù)樣本，并訓(xùn)練一個Softmax 分類器，用于在預(yù)測時對將候選區(qū)域分類。然后對正樣本邊界框進(jìn)行回歸訓(xùn)練，用于計算正樣本邊界框微調(diào)偏移量。這樣預(yù)測為正樣本，且經(jīng)過微調(diào)的候選區(qū)域被稱為proposal，最后對proposal 進(jìn)行Pooling 操作，獲得對應(yīng)的feature map，方便送入后續(xù)網(wǎng)絡(luò)進(jìn)行處理。這一方法的使用實(shí)現(xiàn)了從圖像中檢測和分離染色體。

由于染色體常在圖像中呈現(xiàn)出高度扭曲的姿態(tài)，而染色體的扭曲姿態(tài)會增加分類難度，對后續(xù)提取染色體特征造成干擾。因此該方法設(shè)計了基于中線的幾何優(yōu)化方法，將扭曲的染色體“拉直”。首先通過提取的三角形找到染色體中軸線，距離中軸線垂直距離最遠(yuǎn)的點(diǎn)必然為染色體的扭曲點(diǎn)。接著依據(jù)扭曲點(diǎn)和中軸線端點(diǎn)將染色體切分出兩個最小邊界框，記為Bboxl和Bboxh。如下所示，其中I表示一張染色體圖像，Pcut表示扭曲點(diǎn)，Plow和Phigh分別表示染色體的兩個端點(diǎn)。在依據(jù)Bboxl和Bboxh中圖像的斜率，將圖像旋轉(zhuǎn)，得到拉直的染色體。

染色體分類網(wǎng)絡(luò)接收三個輸入，分別是原始圖片，提取的染色體局部圖片和拉直后的染色體局部圖片。提取原始圖片中的全局特征和局部圖片中的局部特征，取得了優(yōu)秀的核型分析結(jié)果。

2.2 基于深度神經(jīng)網(wǎng)絡(luò)的染色體計數(shù)

染色體計數(shù)是核型分析的子任務(wù)之一，Xiao 等人[10]提出了一種針染色體計數(shù)方法，流程如圖3 所示。選取ResNet-101 作為骨干網(wǎng)絡(luò)，并改進(jìn)了區(qū)域提取（RPN）時候選區(qū)域的選取方式，從特征圖抽取區(qū)域時選取了包含易錯誤染色體（如粘連染色體）的候選區(qū)域作為負(fù)樣本參與訓(xùn)練，增強(qiáng)了RPN 網(wǎng)絡(luò)的效果。在處理候選區(qū)域時，提出了用于區(qū)分粘連染色體和重疊染色體的embedding 分支，通過一個模版模塊獲取每一個候選區(qū)域的嵌入值，據(jù)此判斷染色體更接近哪種類型。

圖3 基于深度神經(jīng)網(wǎng)絡(luò)的染色體計數(shù)流程

RPN 網(wǎng)絡(luò)在訓(xùn)練時，默認(rèn)將IOU>0.7 的區(qū)域是做包含前景物體，作為正樣本，IOU<0.3 的區(qū)域作為背景區(qū)域負(fù)樣本，部分包含粘連和重疊染色體的候選區(qū)域IOU 在0.5-0.7 之間，容易被丟棄不做訓(xùn)練，這會導(dǎo)致RPN 網(wǎng)絡(luò)的準(zhǔn)確性降低。該方法將IOU 在0.5-0.7 之間的樣本作為強(qiáng)負(fù)樣本，IOU 在0-0.3 之間的樣本作為弱負(fù)樣本，增強(qiáng)了對粘連和重疊染色體的檢測。

為了提高對重疊和粘連染色體的判別準(zhǔn)確度，提出了使用模版模塊。染色體通常可以被歸納于五種模式：對角線模式、反對角線模式、橫向模式、縱向模式和環(huán)狀模式。因此以這五種模式作為模版，當(dāng)候選區(qū)域中染色體重疊或粘連時，可以通過模版模塊來進(jìn)行抽取。物種模版的定義如下所示。其中TD,TTD,TH,TV,TC分別代表對角線模式，反對角線模式，橫向模式，縱向模式和環(huán)形模式。IDrow{0,1,2,3,4,5,6} 和IDcol{0,1,2,3,4,5,6} 代表模版對應(yīng)的像素位置，xrow=IDrow-3，ycol=IDcol-3。

該部分損失函數(shù)定義如下所示，Lpull計算的是屬于同一個Ground Truth 區(qū)域的候選區(qū)域的embedding 之間的損失。其中Ngt表示ground truth 區(qū)域的數(shù)量，表示屬于某一個ground truth 的候選區(qū)域的數(shù)量，表示屬于第j 個ground truth 的第i 個候選區(qū)域的嵌入值。

2.3 基于路徑增強(qiáng)網(wǎng)絡(luò)的核型分析

林成創(chuàng)等人針對染色體核型分析任務(wù)中染色體重疊的難點(diǎn)，提出了一種基于增強(qiáng)路徑算法的模型[11]，其流程如圖4 所示。考慮到核型分析任務(wù)即需要高層特征中的語義信息，有需要底層特征中的位置信息，而在特征提取網(wǎng)絡(luò)中，位置信息需要經(jīng)過很多層卷積操作才能到達(dá)高層，對原始信息會存在缺失。因此在特征提取模塊之后增加了路徑增強(qiáng)模塊，低層特征在路徑增強(qiáng)模塊中經(jīng)過較少的卷積層到達(dá)高層，位置信息保存較為完整。FPN 網(wǎng)絡(luò)（Feature Pyramid Network）接收從高到低的語義信息，路徑增強(qiáng)模塊則接受從低到高的位置信息。

圖4 基于路徑增強(qiáng)網(wǎng)絡(luò)的核型分析流程

此外，采用了多任務(wù)訓(xùn)練的方式。由于染色體分類的準(zhǔn)確度在一定程度上受到染色體分割準(zhǔn)確度的影響，因此使用了類似于Mask R-CNN 中多個頭部分枝的做法，將核型分析任務(wù)所需要的染色體分割，染色體分類，染色體計數(shù)，染色體檢測任務(wù)以多任務(wù)的方式添加到了輸出層，同時對多個任務(wù)進(jìn)行訓(xùn)練。其中類別和邊框預(yù)測分枝用來檢測染色體，染色體條數(shù)分枝用來做染色體計數(shù)，實(shí)例掩碼分枝用來做染色體分割。多任務(wù)之間互相監(jiān)督，提升任務(wù)的準(zhǔn)確度。

3 結(jié)語

近年來，越來越多的學(xué)者開始關(guān)注基于深度卷機(jī)網(wǎng)絡(luò)的核型分析方法。傳統(tǒng)的基于幾何方法和預(yù)處理的核型分析任務(wù)，在復(fù)雜圖像族的分割以及扭曲染色體的分類方面表現(xiàn)較差，染色體圖像中的重疊染色體、交叉染色體是核型分析任務(wù)重的關(guān)鍵難點(diǎn)。得益于卷積神經(jīng)網(wǎng)絡(luò)在檢測領(lǐng)域和分類領(lǐng)域的發(fā)展，為解決上述難點(diǎn)提供了一種新的方法，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行核型分析方法開始收到相關(guān)學(xué)者的關(guān)注。現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的核型分析方法可以分為三步，且通常采用two-stage 的網(wǎng)絡(luò)使用基于區(qū)域提取的方式來進(jìn)行的分析：先提取圖像特征，再使用RPN 網(wǎng)絡(luò)通過圖像特征提出可能包含染色體實(shí)例的候選區(qū)域，最后在輸出層完成分類或計數(shù)任務(wù)。而通過以上介紹可以發(fā)現(xiàn)，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行核型分析的方法受到了廣泛關(guān)注，且在現(xiàn)有的論文中表現(xiàn)良好，值得進(jìn)一步的研究和探索。