結合局部增強與L1/2范數的腦MRI超分辨率重建

姚喻凡 黃洪全

摘要：核磁共振（MR）成像受到醫學機器操控人員的操作經驗，操作人員與病人的協作程度以及設備運行狀況等因素的影響，所獲取的圖像沒有足夠高的分辨率。針對這樣問題，提出了局部特征增強EQSR（Enhanced quality super resolution）算法。實驗結果表明：EQSR算法可以有效實現MRI的超分辨率重建，組織細節恢復效果明顯，在組織結構恢復和客觀質量標準評價方面，其性能優于絕大多數的MRI超分辨率方法。

關鍵詞：超分辨率重建;腦部MRI;通道分離結構;通道注意力;卷積神經網絡

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）26-0121-02

開放科學（資源服務）標識碼（OSID）：

1 引言

超分辨率重建MR圖像使得圖像能應用于清晰化低分辨率圖像以及AI腫瘤識別算法的訓練上，具有重要的實際價值和意義，創新點主要有以下三個方面：

1） 利用殘差結構防止深層的網絡結構梯度消失和梯度爆炸，使系統具有更強的魯棒性，并用小尺度卷積層復合疊加在減少計算量的同時，匹配大尺度卷積帶來的等量感受野。

2） 在總體結構上，利用跳躍鏈接將前幾層的增強塊輸出都連到最后，引入改進的通道注意力模塊和亞像素卷積塊，提升信息豐富度以達到增加圖像的細節的效果。

3） 模型引入L1/2[2]范數作為結構的損失調節，重構的圖像視覺效果更好，獲得比L1范數更高的信噪比。

實驗結果表明，EQSR算法對比起其他SR算法有更強的魯棒性。在組織結構邊緣清晰化，消除偽影、噪聲信號和超分辨率重建速度上優于大多數的SR算法。

2 MRI圖像超分辨率重建EQSR網絡

2.1 網絡結構

在本文的算法中，把增強塊n之前的增強塊輸出特征圖用跳躍鏈接的方式融合起來，在其后接一個壓縮模塊減少通道數量。網絡結構如下圖1所示，最后的增強塊用公式（1）表示，[En]表示第n個增強塊輸出，[Eall]表示加和所有的增強塊到一起的特征輸出。[concat]是合并數組的操作，將增強塊按照通道拼接起來，合并他們的輸出。

[Eall= concat（En，En-1，En-2，…，E1）]? ? ? ? ? ? ? ? ? ?（1）

2.1.1 殘差結構的設計

殘差結構的出現使得原本只有20～30層之間的深度學習神經網絡提升至百層甚至幾百層的神經網絡。深度殘差網絡ResNet[3]（Deep Residual Net）在2015由何愷明提出，并完成目標檢測、圖像識別和目標定位三大機器學習代表性任務的屠榜，在ILSVRC上性能指數甩開一眾選手許多。將殘差結構添加到神經網絡當中，既解決了梯度消失、梯度爆炸的問題，又使得網絡的性能得到進一步的提升。

2.1.2 上采樣結構設計

如下圖2所示是進行2、3倍上采樣的采樣模塊。圖3是4倍上采樣的結構，利用兩個2、3倍上采樣進行疊加。上采樣的過程主要作用是建立起由低分辨率圖像生成多尺度高分辨率的圖像。一般的神經網絡會采用反卷積層對特征圖進行卷積轉置，但是其中需要人工操作添加像素點，會引入一些人為因素造成的誤操作，影響重建質量。本文采用亞像素卷積層，引用ESPCN[4]模型。整個上采樣模塊采用學習后特征圖與原輸入放大進行融合的方式，保證模型良好的重建效果以及更短的重建速度。

3 實驗

3.1實驗數據組成以及實驗設備

本實驗的數據集選自NAMIC（National Alliance for Medical Image Computing）的腦部MRI數據庫（http ： //hdl.handle.net/1926/1687）。NAMIC數據集包含20個3D MRI圖像，每個3D圖像由176個256×256切片組成，體素大小為[1×1×1mm3]，T1w矩陣大小（TR = 7.4 m s，TE = 3 m s）和T2w（TR = 2500 m s，TE = 80 m s）。該算法的訓練依賴于強大的TensorFlow框架，所有訓練均在PC端上完成。計算機配置為：3.6GHz Ryzen-5-3600 CPU和NVIDIA GTX 1660Ti，利用通用并行計算構架CUDA10.0實現。其中應用的激活函數是LReLU，batch size大小設置為16，學習率[α]設置為0.0002.每迭代訓練10次，[α=80%α]。算法總共迭代100次。整個訓練過程用時11小時。

3.2實驗評估指標

為了選擇適合MR圖像的評價標準，選用最根本的PSNR峰值信噪比和結構評判標準SSIM作為本次實驗的指標。其中MSE表示均方誤差，如公式（2）所示：

[MSE=1W×Hi=1HjWy（i，j）-y（i，j）2]? ? ? ? （2）

上式中[y（i，j）]表示重建預測圖，[y（i，j）]表示真實圖像，W和H分別表示圖像像素的寬和高，MSE和PSNR的關系如公式（3）所示。SSIM屬于全參考圖像質量評價指標，分別從對比度，圖像結構以及圖像亮度去評判圖像的相似度。SSIM如公式（4）所示：

[PSNR=10log10（255MSE）2]? ? ? ? ? ? ? ? ? ? ? ?（3）

[SSIM（y，y）=1N×y，y=1N（2μyμy+c1）（2σyy+c2）（μy2+μy2+c1）（σy2+σy2+c2）]? （4）