基于多期相注意力融合網(wǎng)絡(luò)的肝臟病灶CT 影像分類(lèi)研究

田煒，雷志超，王楚正

（中南林業(yè)科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，長(zhǎng)沙 410000）

0 概述

當(dāng)前，癌癥已經(jīng)成為致死率最高的疾病，其中肝癌的致死率位于前列［1］。肝癌主要分為肝細(xì)胞癌（Hepatocellular Carcinoma，HCC）、局灶性結(jié)節(jié)性增生（Focal Nodular Hyperplasia，F(xiàn)NH）、血管瘤（Hemangioma，HEM）、囊腫（Cyst）等類(lèi)型。癌癥的早期診斷和治療是降低癌癥死亡率的主要措施，傳統(tǒng)的肝癌診斷方法基于臨床醫(yī)生對(duì)患者計(jì)算機(jī)斷層掃描（Computed Tomography，CT）影像的觀察和判斷［2］，該方法不但要求醫(yī)生有豐富的經(jīng)驗(yàn)和專(zhuān)業(yè)知識(shí)，而且需要很長(zhǎng)的診斷時(shí)間。肝臟病灶是指肝臟疾病（包括肝癌）集中的部位或是綜合病癥、感染的主要部位。近年來(lái)，計(jì)算機(jī)輔助診斷（Computer-Aided Diagnosis，CAD）系統(tǒng)在肝臟局灶性病變（Focal Liver Lesions，F(xiàn)LLs）分類(lèi)的早期準(zhǔn)確診斷中發(fā)揮著重要作用［3］，多期相CT 影像已應(yīng)用于CAD。多期相CT 影像根據(jù)造影劑注射時(shí)間不同分為3 個(gè)期相，包括注射造影劑之前進(jìn)行檢查以獲得平掃期（Non-contrast Enhanced，NC），注射后階段包括動(dòng)脈（Arterial，ART）期（造影劑注射后30～40 s），門(mén)靜脈（Portal Venous，PV）期（造影劑注射后70～80 s）［4-5］。

對(duì)肝臟病灶分類(lèi)的研究，早期僅利用單期相CT 影像數(shù)據(jù)［6-8］，忽略了多期相掃描傳達(dá)的時(shí)序信息，分類(lèi)準(zhǔn)確率較低。因此，亟需將多期相CT 影像應(yīng)用到FLLs的檢測(cè)和分類(lèi)研究中，這對(duì)于提高檢測(cè)或診斷的準(zhǔn)確率至關(guān)重要［9］。傳統(tǒng)方法主要是以提取傳統(tǒng)特征為主的特征提取器和線(xiàn)性或非線(xiàn)性分類(lèi)器。這些特征包括形態(tài)學(xué)特征，位置特征，灰度調(diào)整、生長(zhǎng)速度和紋理特征的低級(jí)特征，或者基于視覺(jué)詞袋（Bag of Visual Word，BoVW）模型提取的中級(jí)特征［7-8，10］。文獻(xiàn)［11］提出基于Bi-gram BoSTW 模型的淺層多特征融合的方法，結(jié)合N-gram 和BoVW 模型進(jìn)行肝臟病灶分類(lèi)研究。由于利用手工提取的淺層特征難以建立和多期相數(shù)據(jù)集間的直接聯(lián)系，因此傳統(tǒng)方法難以達(dá)到較高的分類(lèi)性能，分類(lèi)器魯棒性差，分類(lèi)過(guò)程復(fù)雜且耗費(fèi)時(shí)間。

自HE等［12］提出殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network，ResNet）以來(lái)，許多學(xué)者將深度學(xué)習(xí)相關(guān)理論逐漸應(yīng)用到肝臟病灶的檢測(cè)和分類(lèi)中［13-15］。文獻(xiàn)［16］提出一種基于多尺度patch 的分類(lèi)框架檢測(cè)肝臟局灶性病變。YASAKA等［17］提出一種卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）結(jié)構(gòu)，對(duì)CT 影像中的肝腫瘤進(jìn)行分類(lèi)，其模型具有3個(gè)通道，對(duì)應(yīng)NC、ART和PV共3個(gè)期相。LIANG等［18］提出融合全局和局部信息的CNN 網(wǎng)絡(luò)結(jié)構(gòu)用于FLLs 分類(lèi)。這些方法應(yīng)用多期相CT 影像提取比單期相影像更豐富的特征信息，并且利用深度學(xué)習(xí)方法的優(yōu)勢(shì)，能夠快速得到更高準(zhǔn)確率的分類(lèi)結(jié)果。然而，這些方法均使用早期融合的方法，難以解決多期相肝臟病灶CT 影像結(jié)構(gòu)變化較大、病灶尺寸差異大等情況，不能提取更豐富的特征信息。同時(shí)，肝臟病灶分類(lèi)還存在精準(zhǔn)標(biāo)注樣本少、標(biāo)注難、分類(lèi)準(zhǔn)確率不高、現(xiàn)有特征表達(dá)方式依然難以直接指導(dǎo)臨床應(yīng)用等問(wèn)題。

本文提出一種多期相注意力融合網(wǎng)絡(luò)（Multi-phase Attention Fusion Network，MAFNet）進(jìn)行多期相CT 影像肝臟病灶分類(lèi)。使用單期相分支和采用中期融合方式的融合分支構(gòu)建網(wǎng)絡(luò)模型，利用多期相注意力模塊（Multi-phase Attention Module，MAM）表達(dá)不同期相影像的時(shí)序增強(qiáng)模式，從而提高分類(lèi)結(jié)果準(zhǔn)確率。

1 多期相影像與特征融合

1.1 多期相影像

為充分表示多期相肝臟CT 影像時(shí)序增強(qiáng)模式，本文使用3 個(gè)期相的肝臟腫瘤CT 影像作為數(shù)據(jù)源進(jìn)行研究，這些數(shù)據(jù)源分為Cyst、FNH、HCC、HEM共4 個(gè)類(lèi)型，如圖1 所示。

圖1 4 個(gè)典型肝臟病變?cè)? 個(gè)期相時(shí)的影像Fig.1 Images of four typical liver lesions in three phases

1.2 特征融合

為提高肝臟病灶CT分類(lèi)的準(zhǔn)確率，特征融合方法在表達(dá)單期相影像特征時(shí)，不能忽略多期相影像間增強(qiáng)模式。通常，融合大致分為早期融合（Early fusion）［19-21］、后期融合（Late fusion）和中期融合（Intermediate fusion）［22］3 種類(lèi)型。早期融合首先將多期相圖像通過(guò)多通道的方式融合到深度網(wǎng)絡(luò)中，學(xué)習(xí)融合特征表示，然后對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，也稱(chēng)為輸入級(jí)融合。這種融合可以最大限度地保留原始圖像信息，學(xué)習(xí)圖像特征。后期融合也稱(chēng)為決策級(jí)融合，指的是對(duì)每個(gè)網(wǎng)絡(luò)的輸出進(jìn)行融合，得到最終的結(jié)果。后期融合旨在從不同的期相中獨(dú)立地獲取更豐富的信息。應(yīng)用早期融合和后期融合策略進(jìn)行多期相肝臟病灶CT 影像分類(lèi)的流程如圖2 所示。

圖2 兩種融合表達(dá)策略流程Fig.2 Procedures of two fusion expression strategies

多期相肝臟病灶CT 影像數(shù)據(jù)特異性以及早期融合和后期融合兩種融合策略在表達(dá)特征方面都有不同程度的不足。如圖2 所示，早期融合僅是輸入級(jí)融合策略，難以解決不同采樣率或不同框架下數(shù)據(jù)間的異步性問(wèn)題，導(dǎo)致模型性能下降。在后期融合中，由于每種期相的輸出相互獨(dú)立，這種決策模型忽略了同一患者不同期相之間的增強(qiáng)模式信息。由于不同患者病灶的外觀形態(tài)和結(jié)構(gòu)在一定程度上與注射造影劑時(shí)間有關(guān)，有的病灶只能在某個(gè)特定期相影像中檢測(cè)出來(lái)，導(dǎo)致單一的肝臟腫瘤影像忽略多期相影像中的信息。針對(duì)早期融合和后期融合的不足，難以將圖像的低層特征和高層特征融合，分類(lèi)性能差，本文采用中期融合策略，通過(guò)將每個(gè)期相的圖像作為單個(gè)輸入來(lái)訓(xùn)練單個(gè)深度網(wǎng)絡(luò)，每個(gè)特征在網(wǎng)絡(luò)層進(jìn)行融合，并將結(jié)果反饋給決策層，得到最終結(jié)果。

2 多期相注意力融合網(wǎng)絡(luò)

為更好地表達(dá)多期相CT 影像中的時(shí)間序列增強(qiáng)模式，本文提出了多期相注意力融合網(wǎng)絡(luò)（Multiphase Attention Fusion Network，MAFNet）。

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

如圖3 所示，本文提出的網(wǎng)絡(luò)為多分支架構(gòu)，由3 個(gè)單期相分支（NC、ART、PV）和融合分支構(gòu)成。在單期相分支中，本文部署了3 個(gè)完整的ResNet50，用來(lái)分別提取NC、ART 和PV 3 個(gè)期相的特征，這3 個(gè)分支可以保持NC、ART 和PV 3 個(gè)單期相的圖像特征。融合分支用來(lái)融合從單期相分支的特征映射中提取出來(lái)的圖像特征。

圖3 多期相注意力融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of multi-phase attention fusion network

針對(duì)多期相肝臟腫瘤圖像特性，在融合分支中，本文采用中期融合的方式，3個(gè)單期相分支（NC、ART、PV）在網(wǎng)絡(luò)的每個(gè)模塊階段提供一組特征映射，如Conv、Layer1等。然后特征映射由多期相注意力模塊重新組織。特征映射經(jīng)過(guò)Conv后，進(jìn)一步逐元素地相加作為融合分支的輸入，其他元素則添加到融合分支的輸出中。特征映射經(jīng)過(guò)Conv后，進(jìn)一步逐元素地相加作為融合分支的輸入，其他元素則添加到融合分支的輸出中。通過(guò)這種方式，本文的網(wǎng)絡(luò)架構(gòu)可以提取、重組和融合低層和高層特征，既能提取單期相圖像內(nèi)部之間的特征信息，也能關(guān)注多期相圖像之間的時(shí)序增強(qiáng)模式。

2.2 多期相注意力模塊

如圖3所示，本文設(shè)計(jì)了一組注意力模塊［23］，即MAM模塊。本文的MAM 基于通道注意力［24］，使網(wǎng)絡(luò)聚焦于信息更豐富的區(qū)域。如圖4 所示，利用MAM 對(duì)通道之間的相互依賴(lài)關(guān)系進(jìn)行建模，選擇性地增強(qiáng)包含有用信息的特征并抑制無(wú)用特征，并通過(guò)網(wǎng)絡(luò)的全局損失函數(shù)，自適應(yīng)地重新調(diào)整通道之間的特征相應(yīng)強(qiáng)度，使有效的特征圖具有較大的權(quán)重，而無(wú)效或效果較小的特征圖具有較小的權(quán)重。

圖4所示為多期相注意力模塊。在圖4中，首先，將各通道的全局空間特征作為該通道的表示，形成一個(gè)通道描述符，對(duì)于特征映射U=[u1，u2，…uc]∈RC×H×W，其中uk∈RH×W為第k個(gè)通道上的特征映射。使用全局平均池化，得到輸出Z∈RC×1×1，其中C代表通道數(shù)，H和W分別表示特征圖的高度和寬度。Z(Z∈RC)的第k個(gè)元素可由式（1）求得：

圖4 多期相注意力模塊Fig.4 Multi-phase attention module

然后，由一個(gè)1×1 卷積層重新組織Z，使卷積層的通道數(shù)與Z相同。這是由于1×1 卷積層能夠挖掘通道之間的相關(guān)性，有助于通道之間相應(yīng)的權(quán)重分布。本文使用Sigmoid激活函數(shù)將權(quán)值向量M＜∈RC×1×1的值限制在0～1 之間，表達(dá)式如式（2）所示：

其中：δ代表Sigmoid 激活函數(shù)；φ代表1×1 卷積。

將特征映射U和權(quán)值向量M進(jìn)行外積，原始特征映射U被轉(zhuǎn)換為新的特征映射X～，其中包含更多有效信息，表達(dá)式如式（3）所示：

其中：?代表外積。

2.3 特征融合結(jié)構(gòu)

本文提出的多期相肝臟病灶特征融合體系結(jié)構(gòu)如圖3 所示。圖3 中部署了3 個(gè)完整的ResNet50 用來(lái)分別提取NC、ART 和PV 特征，這3 個(gè)分支用來(lái)保持NC、ART 和PV 3 個(gè)單期相的圖像特征。然后，利用融合分支從單期相分支的特征映射中提取圖像特征進(jìn)行融合。

圖3 中網(wǎng)絡(luò)模型的具體設(shè)計(jì)如表1 所示。本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)為多分支結(jié)構(gòu)，其基礎(chǔ)網(wǎng)絡(luò)均采用ResNet50。在單期相分支中Conv 階段包含1 個(gè)深度為64，步長(zhǎng)為2 的7×7 卷積核的卷積層、1 個(gè)批量標(biāo)準(zhǔn)化（Batch Normalization，BN）、1 個(gè)修正線(xiàn)性單元（Rectified Linear Unit，ReLU）和最大池化層。Layer1 一共有3組，每一組包含3 個(gè)卷積層。類(lèi)似地，Layer2、Layer3 和Layer4 表示不同的卷積層集合。融合分支在ResNet50 基礎(chǔ)上，刪除單期相分支中的Conv 階段，保留了4 個(gè)layer 階段，然后使用了1 個(gè)全局平均池化（Global Average Pooling，GAP）。GAP 能夠降低特征映射空間位置信息的損失，并且減少了參數(shù)的計(jì)算量，防止發(fā)生過(guò)擬合。最后使用1 個(gè)完全連接層（Fully Connected Layers，F(xiàn)C）對(duì)提取的高級(jí)特征進(jìn)行分類(lèi)，最終輸出值（0，1，2，3）分別對(duì)應(yīng)4 種肝臟病灶的種類(lèi)。

表1 單期相分支與融合分支的網(wǎng)絡(luò)結(jié)構(gòu) Table 1 Network structure of single phase branch and conversed branch

2.4 多期相損失函數(shù)

本文設(shè)計(jì)了一種多期相損失函數(shù)，結(jié)合如上所述的多期相特征融合結(jié)構(gòu)。多期相損失函數(shù)使用的是交叉熵［25］。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

本文使用某醫(yī)院內(nèi)部的MPCT-FLLs 數(shù)據(jù)庫(kù)［26-27］，將實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。肝臟腫瘤包括3 個(gè)期相（即NC、ART 和PV）和4 種類(lèi)型（即Cyst、FNH、HCC 和HEM），如圖1 所示。為了消除隨機(jī)性的影響，本文按照文獻(xiàn)［18］中的方式進(jìn)行兩次數(shù)據(jù)劃分操作，形成兩組數(shù)據(jù)集，如表2所示。每個(gè)多期相CT 影像被調(diào)整為112×112 像素。為避免過(guò)擬合問(wèn)題，本文采用數(shù)據(jù)增強(qiáng)的方法，包括高斯噪聲［28］、翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。

表2 數(shù)據(jù)集樣本數(shù) Table 2 Sample number of datasets

本文使用測(cè)試集的平均準(zhǔn)確率和標(biāo)準(zhǔn)差來(lái)評(píng)估本文模型的性能。準(zhǔn)確率A定義如式（5）所示：

其中：TTP為正確的分類(lèi)樣本個(gè)數(shù)；T為相應(yīng)數(shù)據(jù)集的所有樣本個(gè)數(shù)。

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)使用Intel i7-10700 CPU、16 GB DDR4 RAM和Nvidia GeForce GTX 2080 Super（8 GB）GPU 配置 的服務(wù)器，使用Pytorch 實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)。實(shí)驗(yàn)使用隨機(jī)梯度下降優(yōu)化器（Stochastic Gradient Descent Optimizer，SGD）［29］優(yōu)化參數(shù)，其中初始學(xué)習(xí)率設(shè)置為0.000 1，每100 次后衰減0.8，動(dòng)量設(shè)置為0.9，設(shè)置500 個(gè)epoch，batch size 為16。

3.3 實(shí)驗(yàn)分析

3.3.1 基礎(chǔ)網(wǎng)絡(luò)的確定

為確定更適合本文數(shù)據(jù)集的基礎(chǔ)網(wǎng)絡(luò)，本文通過(guò)實(shí)驗(yàn)對(duì)比了當(dāng)前主要的AlexNet［30］、VGG［31］、Inception［32］、ResNet［11］等網(wǎng)絡(luò)的分類(lèi)結(jié)果。由于VGG 在本實(shí)驗(yàn)中出現(xiàn)過(guò)擬合現(xiàn)象，不能收斂，故分別利用AlexNet、ResNet和Inception 基礎(chǔ)網(wǎng)絡(luò)，采用早期融合、后期融合和中期融合這3 種融合策略，探討更適合多期相病灶圖像數(shù)據(jù)集的基礎(chǔ)網(wǎng)絡(luò)。

圖5所示為AlexNet、ResNet 和Inception網(wǎng)絡(luò)的早期、后期和中期融合的分類(lèi)結(jié)果。從圖5 可以看出，AlexNet 和Inception 網(wǎng)絡(luò)中期融合的平均準(zhǔn)確率分別為80.34%和87.44%，高于早期融合和后期融合。由圖5 可知，使用任意融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率均高于AlexNet 網(wǎng)絡(luò)，使用后期融合和中期融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率也高于使用后期融合和中期融合策略的Inception 網(wǎng)絡(luò)。相較于其他網(wǎng)絡(luò)結(jié)構(gòu)，使用中期融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率達(dá)到最高，為88.75%。因此，本文選用ResNet 作為基礎(chǔ)網(wǎng)絡(luò)。

圖5 不同基礎(chǔ)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果對(duì)比Fig.5 Comparison of experimental results of different basic networks

3.3.2 消融實(shí)驗(yàn)

為驗(yàn)證本文提出的多期相注意力融合網(wǎng)絡(luò)的有效性，使用肝臟腫瘤圖像數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)主要分為2 大部分：

1）單期相實(shí)驗(yàn)：Single phase-NC、Single phase-ART 和Single phase-PV。

2）多期相實(shí)驗(yàn)：Model-1（使用早期融合，將3 個(gè)期相的數(shù)據(jù)融合為RGB 三通道的數(shù)據(jù)，如圖2（a）所示）、Model-2（使用后期融合，3 個(gè)期相的數(shù)據(jù)通過(guò)單獨(dú)的網(wǎng)絡(luò)模型后，在輸出時(shí)進(jìn)行融合，如圖2（b）所示）、Model-3（使用中期融合，3 個(gè)期相的數(shù)據(jù)在網(wǎng)絡(luò)的每個(gè)階段進(jìn)行融合）和本文MAFNet 網(wǎng)絡(luò)模型（如圖3 所示）。不同網(wǎng)絡(luò)模型的詳細(xì)配置如表3 所示，其中“√”表示使用該配置，“×”表示不使用該配置。

表3 單期相模型和多期相模型的詳細(xì)配置 Table 3 Detailed configuration of single phase model and multi-phase model

本文首先使用單期相（NC、ART、PV）數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。單期相模型分別使用不同單期相肝臟腫瘤圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)均采用ResNet50 作為基礎(chǔ)網(wǎng)絡(luò)。結(jié)果如表4所示，NC、ART 和PV 的準(zhǔn)確率分別為67.42%、79.75%和81.93%。實(shí)驗(yàn)結(jié)果進(jìn)一步證實(shí)，由于單期相數(shù)據(jù)包含較少的信息，而且不同患者肝臟腫瘤的外觀形態(tài)和結(jié)構(gòu)在一定程度上與注射造影劑時(shí)間有關(guān)，有的肝臟腫瘤只能在某個(gè)特定階段期相影像中檢測(cè)出來(lái)，僅利用單一的肝臟腫瘤影像容易忽略多期相CT 影像中時(shí)間序列包含的增強(qiáng)信息，導(dǎo)致分類(lèi)性能差。該實(shí)驗(yàn)說(shuō)明不同期相的肝臟病灶特征存在明顯的差異。

表4 消融實(shí)驗(yàn)的結(jié)果對(duì)比 Table 4 Comparison of results of ablation experiment %

然后，使用相同的數(shù)據(jù)源，將本文模型MAFNet與3 個(gè)多期相模型（Model-1、Model-2 和Model-3）進(jìn)行消融研究。Model-1、Model-2 的具體結(jié)構(gòu)如圖2所示。2 個(gè)測(cè)試集共4 個(gè)類(lèi)的準(zhǔn)確率和平均準(zhǔn)確率如表4 所示，其中分類(lèi)準(zhǔn)確率的結(jié)果用平均值和偏差表示。由表4 可知，與單期相模型相比，多期相影像模型的準(zhǔn)確率均有所提高，這是由于多期相CT 影像含有比單期相影像更豐富的信息，能夠提取更多有用特征，有助于得到更高準(zhǔn)確率的分類(lèi)結(jié)果。此外，由于多期相網(wǎng)絡(luò)模型能夠關(guān)注期相之間的時(shí)序信息，因此能取得更好的分類(lèi)效果。

第2 部分實(shí)驗(yàn)對(duì)比了早期融合、后期融合和中期融合的效果，結(jié)果如表4 所示。實(shí)驗(yàn)結(jié)果表明，使用中期融合策略的Model-3 的分類(lèi)效果優(yōu)于Model-1 和Model-2。這進(jìn)一步表明，由于中期融合的網(wǎng)絡(luò)模型能夠提取、重組和融合低層和高層特征，因此中期融合的策略能更好地提取肝臟腫瘤圖像所蘊(yùn)含的信息。與Model-3 相比，使用MAM 模塊的MAFNet 模型準(zhǔn)確率提高了2.24 個(gè)百分點(diǎn)，這證明了MAM 模塊可以增強(qiáng)包含有用信息的特征，從而更好地提取肝臟病灶特征。

3.3.3 與其他方法的對(duì)比

本文通過(guò)實(shí)驗(yàn)將本文方法與其他方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表5 所示，其中分類(lèi)準(zhǔn)確率用平均值和偏差表示。從表5 中可以看出，本文方法優(yōu)于其他方法，平均準(zhǔn)確率達(dá)到90.99%，并且在囊腫、局灶性結(jié)節(jié)性增生和肝細(xì)胞癌的分類(lèi)任務(wù)上均取得較好的結(jié)果。這進(jìn)一步表明，本文方法能夠表示多期相影像間的增強(qiáng)模式，可以提取、重組和融合低層和高層特征。

表5 不同方法的實(shí)驗(yàn)結(jié)果對(duì)比 Table 5 Comparison of experimental results of different methods %

4 結(jié)束語(yǔ)

傳統(tǒng)CNN 網(wǎng)絡(luò)在提取多期影像特征時(shí)容易忽略多期相影像時(shí)序增強(qiáng)模式，導(dǎo)致肝臟病灶分類(lèi)準(zhǔn)確率有待提高。提出一種基于多期相注意力融合網(wǎng)絡(luò)的肝臟病灶CT 影像分類(lèi)網(wǎng)絡(luò)MAFNet，使用單期相分支和融合分支構(gòu)成的多分支結(jié)構(gòu)構(gòu)建模型，從而高效提取不同期相的時(shí)序增強(qiáng)模式。在融合分支中采用中期融合的方法，充分提取圖像的不同層次的特征。利用MAM模塊，根據(jù)圖像包含的信息量，有選擇地從單期相分支中收集特征，并使用這些加權(quán)特征對(duì)融合分支進(jìn)行補(bǔ)充。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)可以解決NC、ART 和PV這3 個(gè)期相影像包含的信息量不等、上下文分布不均等問(wèn)題，能充分利用多期相肝臟CT 影像的時(shí)序特征，有效捕捉同一患者不同期相的信息。下一步將考慮影響每個(gè)類(lèi)別分類(lèi)結(jié)果的可變因素，完善網(wǎng)絡(luò)結(jié)構(gòu)，以提高分類(lèi)準(zhǔn)確率。