基于特征尺度的平面波醫(yī)學影像重建

楊翠云 侯鈞譯 曹怡亮 朱習軍 聞衛(wèi)軍

摘 要：相較于傳統(tǒng)的線掃成像，平面波成像由于其超快的成像速度被廣泛應用，但其成像質(zhì)量較差，影響醫(yī)生對腫瘤以及血管疾病的精確診斷，現(xiàn)有技術雖然可以提高成像質(zhì)量，但會降低成像幀頻，無法滿足臨床醫(yī)學上超快成像的需求。針對上述問題，提出了一種基于生成對抗網(wǎng)絡（generative adversarial network，GAN）的圖像重建方法：MFGAN（generative adversarial network with multiscales and feature extraction）。采用基于UNet的生成器，在編碼器中結合多尺度感受野提取不同層次的信息，在解碼器中提出了疊加采樣機制（fusionsampling mechanism，F(xiàn)SM），并結合交叉自注意力（crisscross selfattention，CCSA）分別提取局部和全局特征。在PICMUS 2016數(shù)據(jù)集上進行訓練，利用組合損失規(guī)范該模型的收斂方向，相較主流基于深度學習和波束合成的方法，在點目標、囊腫目標和體內(nèi)圖像中的重建效果均有明顯提升。綜上所述，MFGAN能夠解決平面波圖像病灶部位不清晰的問題，重建出高質(zhì)量的平面波圖像。

關鍵詞：平面波圖像；多尺度；疊加采樣機制；交叉自注意力

中圖分類號：TP391?? 文獻標志碼：A?? 文章編號：1001-3695（2023）12-051-3841-07

doi：10.19734/j.issn.10013695.2023.06.0227

Reconstruction of planewave medical image based on feature scale

Abstract：Compared with traditional linescan imaging，planewave imaging is widely used due to its ultrafast speed.However，its poor imaging quality affects doctors accurate diagnosis of tumors and vascular diseases.The existing techniques can improve the imaging quality but reduce the imaging frame rate，which cannot meet the demand for ultrafast imaging in clinical medicine.To address the above problems，this paper proposed an image reconstruction method called generative adversarial network with multi scales and feature extraction （MFGAN）.Combined with multiscale perceptual fields in the encoder，it used a UNetbased generator to extract different levels of information.This paper proposed a fusionsampling mechanism （FSM） in the decoder and combined it with crosscross selfattention （CCSA） to extract local and global features.The MFGAN was trained on the PICMUS 2016 dataset and used the combined loss to normalize the convergence direction.This model significantly improved reconstruction results in point targets，cyst targets，and in vivo authentic images compared to mainstream methods based on deep learning and beam synthesis.In summary，the MFGAN model can solve the problem of unclear lesion sites in planewave images and reconstruct highquality planewave images.

Key words：planewave image；multiscale；fusionsampling mechanism；crosscross selfattention

近年來，超聲成像在醫(yī)學影像領域得到廣泛應用，發(fā)展成為四大醫(yī)學影像技術之一［1］。傳統(tǒng)超聲成像每次都需要發(fā)射多束聚焦波，成像幀頻較低，無法滿足瞬態(tài)彈性成像［2］、高速多普勒血流測量［3］等技術對成像幀頻的要求。為此，平面波技術開始被廣泛應用［4］。該技術一次發(fā)射即可得到完整的目標區(qū)域，成像幀頻較高，但圖像質(zhì)量較差，影響其在醫(yī)學領域的實際應用。相干平面波復合合成（coherent planewave compounding，CPWC）［5］技術提高了生成圖像的質(zhì)量，但復合過程會降低成像幀頻。因此，研究一種兼顧平面波成像質(zhì)量和幀頻的方法，對該技術在臨床醫(yī)學中的應用具有重要意義。

1 相關工作

為克服平面波圖像質(zhì)量差的問題，研究人員引入波束合成方法。目前，基于延時疊加（delayandsum，DAS）［6］的波束合成方法被廣泛應用，該方法采用預先定義好的加權系數(shù)，并沒有充分利用回波信息。在此基礎之上，充分利用回波信息優(yōu)化加權系數(shù)的自適應波束合成算法逐漸發(fā)展起來。1969年，Capon［7］提出最小方差（minimum variance，MV）方法，在減小主瓣寬度的同時抑制旁瓣高度。在此基礎之上，Zhang等人［8］提出了多波束（multibeam MV，MBMV）方法，以提高環(huán)形陣列超聲成像的質(zhì)量。Nair等人［9］將主成分分析引入短間隔空間相干（short lag spatial coherence，SLSC）算法，并將lag和用于加權，提出了穩(wěn)健的RSLSC（robust SLSC）算法。上述方法雖然對生成圖像的分辨率和對比度有所提高，但仍面臨著計算量龐大及背景散斑的強度抑制等問題，在投入實際應用時還將面臨諸多挑戰(zhàn)。

隨著深度學習在計算機視覺領域的興起［10］，很多學者開始利用深度學習的自適應學習能力來獲得不同分辨率圖像之間的非線性映射關系，進而得到清晰的醫(yī)學影像。如今用于超分辨率重建的網(wǎng)絡結構主要有卷積神經(jīng)網(wǎng)絡和生成對抗網(wǎng)絡兩種。

Dong等人［11］首次在圖像的超分辨率重建問題中引入卷積神經(jīng)網(wǎng)絡，獲得了比基于插值方式更好的成像效果。之后，很多研究者試圖通過加深網(wǎng)絡模型來提高成像質(zhì)量，但過深的網(wǎng)絡結構會帶來權重衰減、難以收斂、精度下降等問題。殘差神經(jīng)網(wǎng)絡的出現(xiàn)，有效解決了上述問題。2020年Jiang等人［12］提出分層密集殘差網(wǎng)絡，實現(xiàn)了由粗到細的特征重建。為防止神經(jīng)網(wǎng)絡過度關注價值不高的特征信息，注意力機制被廣泛應用。Wei等人［13］提出CDC模型，引入分而治之的注意力思想，實現(xiàn)圖像的分區(qū)域重建。Chen等人［14］提出多注意力增強網(wǎng)絡（multiattention augmented network，MAAN），將注意力增強模塊堆疊到深度殘差架構中，充分利用多個表征階段的互補信息。雖然上述方法在重建圖像的峰值信噪比（peak signal to noise ratio，PSNR）和結構相似性指數(shù)（structural similarity，SSIM）方面都有所改善，但紋理細節(jié)模糊，視覺效果較差。

對抗神經(jīng)網(wǎng)絡的引入充分緩解了上述情況，2017年Ledig等人［15］首次將對抗網(wǎng)絡應用到圖像的超分辨率重建領域，得到了更高質(zhì)量的生成圖像。Wang等人［16］提出增強生成對抗網(wǎng)絡（enhanced generative adversarial network，EGAN），在獲得多尺度特征的同時增強高頻信息。Jiang等人［17］將自注意力機制引入對抗網(wǎng)絡，不僅獲得更高的PSNR和SSIM值，且生成圖像具備較好的視覺效果。Wang等人［18］在重建中引入高階退化建模過程，使圖像紋理細節(jié)更加清晰。相對于前者，基于對抗神經(jīng)網(wǎng)絡的模型所獲圖像肉眼觀察效果更佳，更貼近于實際應用的需求。

本文提出了一種基于生成對抗網(wǎng)絡（generative adversarial network，GAN）［19］的端到端圖像重建方法。相較于波束合成方式，該方法在保證平面波成像高幀頻的同時，解決了成像區(qū)域受限，導致部分區(qū)域被遮掩，以及圖像邊緣模糊等問題，獲得了更清晰的圖像供醫(yī)生對囊腫等病灶作出精確診斷。具體來說，本文的主要貢獻如下：

a）提出用于平面波圖像重建的MFGAN，采用基于UNet的生成器和Patch判別器，在UNet的編碼器中引入多尺度模塊獲取圖像中不同頻率的信息，在解碼器的淺層加入交叉自注意力（crisscross selfattention，CCSA）提取全局特征，并將疊加采樣機制（fusionsampling mechanism，F(xiàn)SM）添加到解碼器深層，增強紋理信息。

b）在生成器的損失函數(shù)中引入L1_SSIM和感知損失，來規(guī)范該模型的收斂方向。

c）在PICMUS 2016數(shù)據(jù)集［20］上進行實驗，從各種圖像評價指標和視覺效果上證明本文方法的有效性。

2 本文方法

本文提出MFGAN模型進行平面波圖像重建，整體結構如圖1所示，采用基于UNet的生成器和patch判別器，將單束平面波圖像作為生成器的輸入，75個波束合成的平面波圖像作為真實標簽，生成器根據(jù)輸入圖像生成相應的超分辨率圖像，判別器將生成圖像與真實標簽進行比較，判別真假。通過生成器與判別器的相互博弈，促使生成器生成更高質(zhì)量的圖像。

2.1 UNet生成器

如圖2所示，在UNet生成器中將ReLU替換為LReLU，減輕了ReLU的稀疏性，將BN替換為IN來保持圖像間的獨立性。在UNet編碼器中加入多尺度模塊，提取低分辨率圖像中不同頻率的信息，在解碼器的深層和淺層分別引入FSM和CCSA，增強圖像的局部特征并融合全局信息。

2.1.1 多尺度模塊

在單束平面波圖像中，點目標周圍存在大量散斑，導致在重建過程中點目標邊界難以確定。受文獻［21］中多維特征提取的啟發(fā)，本文設計了多尺度模塊，通過不同尺度的卷積操作捕獲各個維度的散斑特征，緩解散斑對圖像重建的干擾。利用較小的卷積核提取圖像的高頻信息，較大的卷積核提取圖像的低頻信息，并在提取低頻特征時結合上一層提取的高頻細節(jié)，從而生成細節(jié)豐富的低頻特征圖。最終將各層的高低頻信息拼接后輸入到編碼器中，多尺度模塊的結構如圖3所示。

將圖像經(jīng)過D0層處理后，分別輸入D1、D2、D3、D4層，在Dn（n=2，3，4）層提取特征時會參考Dn-1層提取的高頻信息，最后將各層提取的特征圖拼接到一起。多尺度模塊的主要參數(shù)如表1所示，其中卷積參數(shù)依次為kernel size、stride、padding，通道數(shù)分別表示輸入通道數(shù)和輸出通道數(shù)。

2.1.2 疊加采樣機制

針對單束平面波圖像對比度低、信噪比低的問題，受文獻［22］中重建模型的啟發(fā)，在UNet生成器的深層對局部特征進行增強，但傳統(tǒng)的局部特征提取方式只關注高頻信息，沒有利用低頻信息，受注意力門控［23］的影響，本文提出了FSM，在增強解碼層高頻信息的同時，抑制跳躍連接傳遞的編碼層的不相關區(qū)域，更加有助于重建目標的突出表示。FSM大致分為兩部分，首先，疊加高維和低維特征圖，利用高維特征對編碼層的低維特征圖生成軟區(qū)域建議，達到抑制低維特征圖不相關區(qū)域特征激活的目的。其次，設計了高頻特征強化操作，通過采樣實現(xiàn)局部特征增強。將疊加和采樣相結合，不僅突出了對特定任務有效的相關特征，還避免了單純的卷積操作對單個像素點的計算效果造成影響。

如圖4所示，在疊加階段，將解碼層的特征圖G∈Euclid Math TwoRAph×w×c和編碼層的特征圖X∈Euclid Math TwoRAph×w×c分別經(jīng)過1×1的卷積操作得到G′∈Euclid Math TwoRAph×w×c2和X′∈Euclid Math TwoRAph×w×c2，其中， h、w、c分別表示特征圖的長度、寬度和通道數(shù)，將G′和X′相加得到E∈Euclid Math TwoRAph×w×c2，如圖中灰色箭頭所示。對E進行ReLU激活、1×1的卷積和sigmoid操作得到權重圖A1，如圖中黑色箭頭所示。將A1施加到X后得到X″∈Euclid Math TwoRAph×w×c，拼接X″和G得到Z∈Euclid Math TwoRAph×w×2c，如圖中藍色箭頭所示（參見電子版）。在A1中G和X未對齊的像素點權重相對變小，因此將A1施加于編碼層的X后可以實現(xiàn)對不相關區(qū)域的抑制，進而在編碼層突出與高層特征相關的區(qū)域。

信息的權重圖A2，如圖中黑色箭頭所示。將Z與A2相乘后的結果再與Z相加，如圖中藍色箭頭所示（參見電子版），實現(xiàn)對原特征圖高頻部分的增強，進而突出單束平面波圖像的局部特征，有利于點目標和囊腫目標的重建。

2.1.3 交叉自注意力

在目前的圖像重建任務中，大多通過添加自注意力來實現(xiàn)整體結構的獲取，該方式雖然能較好地解決單束平面波圖像亮度不均以及全局信息難以掌控等問題，但本研究處理的圖像為灰度圖，數(shù)據(jù)分布較為單一，利用傳統(tǒng)的自注意力會出現(xiàn)較多的低頻冗余信息，影響對目標區(qū)域的突出表示。參考文獻［24］中全局信息的融合方式，本研究引入了交叉自注意力，通過兩次交叉操作建立起任一像素點與其余位置像素點之間的聯(lián)系，實現(xiàn)對全局信息的獲取。與傳統(tǒng)自注意力相比，交叉自注意力不僅可以減小計算量，還能夠減少低頻信息對目標區(qū)域的干擾。

具體來說，如圖6所示，對特征圖X∈Euclid Math TwoRAph×w×c進行三次1×1的卷積操作，其中， h、w、c分別代表長度、寬度和通道數(shù)，生成Q、K和V，其中{Q，K}∈Euclid Math TwoRAph×w×c′，V∈Euclid Math TwoRAph×w×c，c′為通道數(shù)，從Q的任一位置μ處選取通道方向上的向量Qμ∈Rc′，從K中取以點μ為中心交叉方向上的所有向量，組成集合Ωμ∈R（h+w-1）×c′，隨后將Qμ與Ωμ相乘，對Q中的像素點依次進行該操作，即可得到F∈Euclid Math TwoRAph×w×（h+w-1），如圖中灰色箭頭所示。在通道方向?qū)進行softmax歸一化處理，可得到融合了交叉方向像素點信息的權重圖A1，如圖中黑色箭頭所示。在A1的位置μ處得到通道維度上的向量A1μ∈Euclid Math TwoRAph+w-1，從V的任一通道上選擇以μ為中心交叉方向上的像素點組成Viμ∈Euclid Math TwoRAph+w-1，其中i（i=1，2，…，c）表示在V中的通道數(shù)，將A1μ依次與Viμ相乘，可得Iμ∈Euclid Math TwoRApc，將Iμ與X在μ處的向量Jμ∈Euclid Math TwoRApc相加得到Zμ∈Euclid Math TwoRApc，如圖中藍色箭頭所示（參見電子版）。依次遍歷X中的像素點，可在X的每個像素點處引入交叉方向像素點的信息。再次重復上述操作，得到特征圖Z′，在Z′中建立了任意像素點與其余位置像素點的聯(lián)系，從而實現(xiàn)全局信息的獲取。

2.2 損失函數(shù)

本研究在原對抗損失的基礎之上，引入L1_SSIM和感知損失來促使生成器生成目標清晰且符合視覺效果的圖像，如式（1）所示。

Loss=LossG+LossL_S+LossP（1）

2.2.1 對抗損失函數(shù)

本研究保留了GAN中的原始對抗損失，如式（2）所示，該損失本質(zhì)上是一種二分類交叉熵損失。通過該損失函數(shù)建立起生成器與判別器之間的對抗關系，促使生成器更加準確地擬合真實數(shù)據(jù)的分布。

LossG（X，Y，G，D）=D（Y）·log（σ（D（G（X））））+

（1-D（Y））·log（1-σ（D（G（X））））（2）

其中：X表示單束平面波圖像，Y表示75束波下CPWC合成的真實圖像，G表示生成器，D表示判別器。

2.2.2 L1_SSIM損失函數(shù)

L1損失從像素級別衡量兩張圖片的相似程度，如式（3）所示，可以較好地保留圖像的灰度信息，但L1損失受單個像素點的影響較大，對噪聲較敏感，且無法準確反映圖像的高頻信息。如式（4）所示，多層結構相似性（multiscale structural similarity，MSSSIM）這一指標從亮度、對比度和結構等多個角度衡量兩幅圖像的相似程度，側重于描述邊緣和細節(jié)信息，但易造成灰度值的偏差。如式（5）所示，本研究將L1損失和MSSSIM損失相結合，可以同時兼顧生成圖像的灰度值和結構信息。

其中：α表示MSSSIM的占比因子；Gm表示高斯系數(shù)；LM（G（X），Y）、Cj（G（X），Y）、Sj（G（X），Y）分別表示亮度對比因子、對比度因子和結構對比因子；M表示所劃分窗口的大小；ηj表示j大小下的尺度參數(shù)。

2.2.3 感知損失函數(shù)

本文在GAN模型中引入感知損失，上文所述的損失函數(shù)主要用于對比生成圖像與真實圖像本身的差異，則感知損失用于計算兩幅圖像抽象特征之間的差異。具體來說，本文將生成圖像和真實圖像分別輸入到VGG網(wǎng)絡中進行不同層次的特征提取，計算各層特征圖之間的差異，促使兩幅圖像包含相似的高層語義信息。

3 實驗結果與分析

3.1 數(shù)據(jù)集

本研究選用PICMUS 2016數(shù)據(jù)集，共360組圖片，包含由Field Ⅱ生成的120組仿真圖像和使用Verasonics Vantage 256研究掃描儀和L11探頭得到的120組實驗圖像以及120組人體頸動脈圖像。其中仿真和實驗圖像分別包含60組點目標圖像和60組囊腫目標圖像，人體頸動脈圖像分為60組縱切面圖像和60組橫切面圖像，每組圖片由一張單束平面波圖像和一張75束平面波圖像組成。對上述數(shù)據(jù)集進行翻轉(zhuǎn)操作后得到1 350組圖片，按照8：2劃分訓練集和測試集。

3.2 實驗參數(shù)與評價指標

本文模型在GTX 1080 Ti的GPU上進行訓練，具體參數(shù)如表2所示。

為精確衡量各類圖像的重建效果，本研究針對每類圖像的特點，選擇了不同的衡量指標。用半峰全寬FWHM（full width at half maxima）和對比度CR（contrast ratio）分別衡量點目標和囊腫目標的重建效果，用PSNR和SSIM衡量體內(nèi)真實圖像的重建效果。

半峰全寬：表示點擴散函數(shù)上-6 dB處的主瓣波束寬度。FWHM值越小，主瓣寬度越小，分辨率越高。

對比度：表示目標區(qū)域與背景區(qū)域的區(qū)分程度。CR值越大，目標區(qū)域越清晰。

峰值信噪比：用于衡量圖像的重建程度。PSNR值越大，重建圖像質(zhì)量越高。

3.3 對比實驗

為證明MFGAN的有效性，本研究設置了兩組對比實驗，將該模型與應用較為廣泛的深度學習方法和波束合成方法進行對比，其中深度學習方法包括HRGAN［25］、DiVANet［26］、DCGAN［27］、ResGAN［28］和AUGAN［29］，波束合成方法包括CPWC［5］、GCF［30］、ABFMV［31］和CF［32］。

3.3.1 深度學習方法對比結果

如表3所示，在各類圖像的重建中，MFGAN均有較好的表現(xiàn)。具體來說，在點目標的重建中，通過多尺度模塊分離高低頻信息，并與FSM和CCSA相結合，更加準確地確定點目標邊界，減少散斑干擾，使仿真和實驗點目標的FWHM相較于ResGAN分別降低了3.98%和2.38%。在囊腫目標圖像中，通過在解碼器的深層和淺層分別引入FSM和CCSA，使囊腫目標邊緣清晰的同時準確建立起圖像的整體結構，所生成仿真和實驗囊腫目標的CR分別為36.555 5 dB和26.235 3 dB，優(yōu)于大多數(shù)主流的深度學習方法。在體內(nèi)頸動脈圖像的重建中，所生成圖像的PSNR為34.407 3 dB，相較于DiVANet提升了36.92%，SSIM為0.973 5，遠高于其余幾種深度學習模型。該現(xiàn)象除了得益于多尺度模塊的引入增強了CCSA對低頻信息的精準捕獲以外，L1_SSIM損失也對生成圖像與真實圖像的結構相似性起到了正向引導作用。

如圖7所示，MFGAN模型在各類圖像中均能重建出較理想的圖像效果。在點目標的重建中，相較ResGAN模型，MFGAN通過CCSA對多尺度模塊分離出的低頻信息進行強化處理，實現(xiàn)被遮蔽區(qū)域高質(zhì)量的重建，與DCGAN和HRGAN相比，通過多尺度模塊對高低頻信息進行分離，更加精確地重建出點目標邊界，有效去除點目標周圍的散斑，且該模型在解碼器中添加了FSM來增強局部特征，使點目標更加突出。針對囊腫目標，MFGAN將CCSA和FSM相結合，在提取全局信息之前對局部特征進行增強，克服了SRGAN在圖像被遮蔽部分重建效果差的缺陷，解決了DCGAN和HRGAN所生成圖像噪聲嚴重和細節(jié)模糊的問題，相較DiVANet，在保證生成圖像結構完整的同時顯著增強囊腫目標。針對體內(nèi)真實圖像，在MFGAN模型中將多尺度模塊與CCSA相結合，并引入L1_SSIM損失，相較其他模型能夠更加充分地利用低頻信息，精確建立起圖像的整體結構，提高頸動脈圖像的成像效果。

3.3.2 非深度學習方法對比結果

為進一步證實本文方法的實用價值，將該方法與CPWC［5］、GCF［30］、ABFMV［31］和CF［32］等臨床醫(yī)學上廣泛應用的波束合成方法進行對比。針對點目標，選用FWHM來衡量生成圖像的質(zhì)量；針對囊腫目標，選用CR來衡量重建效果；針對體內(nèi)真實圖像，選擇PSNR作為衡量指標。對比結果如表4所示。

本文方法0.280 0/0.472 336.555 5/26.235 334.407 3? 由表4可以看出，該模型與主流的波束合成方法相比取得了較優(yōu)異的重建效果。針對點目標，仿真圖像的FWHM較CF降低了0.012 0 mm；在囊腫目標的重建中，仿真和實驗囊腫目標的CR較ABFMV分別提升了1.52%和1.96%；針對體內(nèi)真實圖像，能夠保持較高的PSNR，明顯優(yōu)于ABFMV方法。

3.3.3 模型體量對比

如表5所示，與目前應用較為廣泛的深度學習方法相比，MFGAN在模型體量上具有一定優(yōu)勢，相較于HRGAN和DiVANet模型，盡管其參數(shù)量較大但計算量較小，總體時間效率較高。

3.4 消融實驗

為從實驗角度證實各模塊的有效性，本文對該模型的生成器和損失函數(shù)進行了消融實驗。在生成器部分對多尺度模塊、CCSA以及FSM進行了消融實驗。在損失函數(shù)部分針對L1_SSIM和感知損失進行了消融實驗。從視覺效果和評價指標的角度對各類圖像的重建結果進行了分析。

3.4.1 生成器消融實驗

通過生成器的消融實驗證實了對UNet改進的重要性，實驗結果如表6所示。在點目標的重建中，多尺度模塊的加入使仿真點目標的FWHM降低了0.013 6 mm，F(xiàn)SM的加入使實驗點目標的FWHM降低了0.028 1 mm，這是因為在編碼器中對高低頻信息進行分離，并結合FSM，能夠?qū)Ψ蛛x出的高頻信息實現(xiàn)更加充分的利用。在囊腫目標的重建中，加入CCSA能夠更好地獲取全局特征，從而準確地重建出圖像的背景區(qū)域，使仿真和實驗囊腫目標的CR分別提升了31.48%和6.06%。在體內(nèi)真實圖像的重建中，加入多尺度模塊，頸動脈圖像的PSNR提升了4.594 6 dB，這是因為多尺度模塊對高低頻信息的分離，提升了CCSA對全局信息的提取效果。

如圖8所示，在點目標的重建中，加入多尺度模塊后仿真點目標明顯增強，這是因為高低頻信息的分離有助于仿真點目標邊界的確定。由于實驗點目標圖像背景區(qū)域灰度值的分布較為復雜，所以加入CCSA有利于掌握背景區(qū)域灰度值的準確分布，避免生成圖像的背景區(qū)域過暗。在囊腫目標的重建中，加入CCSA同樣會提升背景區(qū)域的重建效果，由于FSM能夠?qū)δ繕藚^(qū)域進行增強，所以加入FSM后，實驗囊腫目標更加清晰。在體內(nèi)真實圖像的重建中，加入CCSA后，能夠重建出整體結構更加完整的頸動脈圖像。

3.4.2 損失函數(shù)消融實驗

為驗證引入L1_SSIM和感知損失的有效性，本文對損失函數(shù)進行消融實驗，結果如表7所示。僅保留傳統(tǒng)的對抗損失，在點目標和體內(nèi)目標圖像中各項指標均較差，在此基礎之上引入感知損失，各類圖像的實驗指標會有所下降，這主要是僅憑對抗損失不能建立起生成圖像的真實結構，在此情況下，感知損失無法進行有效的特征提取，進而導致收斂方向出現(xiàn)偏差。將L1_SSIM與對抗損失相結合，各項指標均有所好轉(zhuǎn)，L1_SSIM損失的引入促使生成圖像與真實圖像保持較高的結構相似性。同時保留L1_SSIM、感知損失和對抗損失可以進一步提升各項實驗指標，L1_SSIM損失在保證生成圖像灰度值的同時構建出清晰的圖像結構，在此基礎之上可以充分發(fā)揮感知損失的作用，促使生成圖像與真實圖像包含相近的高層語義信息。

如圖9所示，僅保留原始的對抗損失，生成圖像無法還原出真實的整體結構。利用對抗損失與L1_SSIM損失能夠重建出圖像的紋理細節(jié)。將感知、對抗和L1_SSIM損失相結合，可以生成紋理更加清晰、對比度更高的平面波圖像。

4 結束語

本文提出了一種名為MFGAN的端對端平面波圖像重建網(wǎng)絡，相較于波束合成，該方法在提高圖像質(zhì)量的同時保證了平面波成像的高幀頻。該模型采用基于UNet的生成器和Patch判別器，在UNet的編碼器中引入多尺度模塊，提取單束平面波圖像中不同頻率的信息，在解碼器中加入CCSA和FSM，融合全局信息的同時加強局部特征并抑制不相關區(qū)域。在訓練過程中，引入L1_SSIM和感知損失來促使該模型向最優(yōu)解的方向收斂。

實驗表明，本文方法在仿真、實驗和體內(nèi)真實圖像中均有較好表現(xiàn)。在仿真圖像中點目標的FWHM為0.280 0 mm，囊腫目標的CR為36.555 5 dB。在實驗圖像中點目標的FWHM為0.472 3 mm，囊腫目標的CR為26.235 3 dB。在體內(nèi)頸動脈圖像的重建中，該模型所生成圖像的PSNR和SSIM分別為34.407 3 dB和0.973 5。本文方法重建出的平面波圖像具有較好的視覺效果，能夠幫助醫(yī)生對病灶部位作出精確診斷。然而，與目前廣泛使用的波束合成方法相比，該模型在點目標上的重建能力仍然有限，考慮到是因為深度學習方法難以利用聲波信息，所以如何在該模型中充分利用波束相關信息將成為未來研究的重點方向。

參考文獻：

［1］Avola D，Cinque L，F(xiàn)agioli A，et al.Ultrasound medical imaging techniques：a survey［J］.ACM Computing Surveys，2021，54（3）：138.

［2］Zhang Xinrong，Wong G L H，Wong V W S.Application of transient elastography in nonalcoholic fatty liver disease［J］.Clinical and Molecular Hepatology，2020，26（2）：128.

［3］Van Campen C L M C，Verheugt F W A，Rowe P C，et al.Cerebral blood flow is reduced in ME/CFS during headup tilt testing even in the absence of hypotension or tachycardia：a quantitative，controlled study using Doppler echography［J］.Clinical Neurophysiology Practice，2020，5：5058.

［4］Zheng Chichao，Hu Peng，Zhao Wei.Ultrasound imaging based on coherent plane wave compounding weighted by sign coherence factor［J］.Acta Electonica Sinica，2018，46（1）：31.

［5］Hashemseresht M，Afrakhteh S，Behnam H.Highresolution and highcontrast ultrafast ultrasound imaging using coherent plane wave adaptive compounding［J］.Biomedical Signal Processing and Control，2022，73：103446.

［6］Sohn H Y，Kang J，Cho J，et al.Timesharing bilinear delay interpolation for ultrasound dynamic receive beamformer［J］.Electronics Letters，2011，47（2）：8991.

［7］Capon J.Highresolution frequencywavenumber spectrum analysis［J］.Proceedings of the IEEE，1969，57（8）：14081418.

［8］Zhang Hao，Zhu Yunhao，Zhou Bowen，et al.Multibeam minimum variance beamforming for ring array ultrasound imaging［J］.Physics in Medicine and Biology，2023，68（13）：37295438.

［9］Nair A A，Tran T D，Bell M A L.Robust shortlag spatial coherence imaging［J］.IEEE Trans on Ultrasonics，F(xiàn)erroelectrics，and Frequency Control，2017，65（3）：366377.

［10］張軍陽，王慧麗，郭陽，等.深度學習相關研究綜述［J］.計算機應用研究，2018，35（7）：19211928，1936.（Zhang Junyang，Wang Huili，Guo Yang，et al.A review of deep learning related research［J］.Application Research of Computers，2018，35（7）：19211928，1936.）

［11］Dong Chao，Loy C C，He Kaiming，et al.Learning a deep convolutional network for image superresolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2014：184199.

［12］Jiang Kui，Wang Zhongyuan，Yi Peng，et al.Hierarchical dense recursive network for image superresolution［J］.Pattern Recognition，2020，107：107475.

［13］Wei Pengxu，Xie Ziwei，Lu Hannan，et al.Component divideandconquer for realworld image superresolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020：101117.

［14］Chen Rui，Zhang Heng，Liu Jixin.Multiattention augmented network for single image superresolution［J］.Pattern Recognition，2022，122：108349.

［15］Ledig C，Theis L，Huszár F，et al.Photorealistic single image superresolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：46814690.

［16］Wang Qiang，Zhou Hongbin，Li Guangyuan，et al.Single Image superresolution method based on an improved adversarial generation network［J］.Applied Sciences，2022，12（12）：6067.

［17］Jiang Mingfeng，Zhi Minghao，Wei Liying，et al.FAGAN：fused attentive generative adversarial networks for MRI image superresolution［J］.Computerized Medical Imaging and Graphics，2021，92：101969.

［18］Wang Xintao，Xie Liangbin，Dong Chao，et al.RealESRGAN：training realworld blind superresolution with pure synthetic data［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：19051914.

［19］張彬，周粵川，張敏，等.生成對抗網(wǎng)絡改進角度與應用研究綜述［J］.計算機應用研究，2023，40（3）：649-658.（Zhang Bin，Zhou Echuan，Zhang Min，et al.A review of research on improved perspectives and applications of generative adversarial networks［J］.Application Research of Computers，2023，40（3）：649-658.）

［20］Liebgott H，RodriguezMolares A，Cervenansky F，et al.Planewave imaging challenge in medical ultrasound ［C］//Proc of IEEE International Ultrasonics Symposium.2016：14.

［21］Lyu Yuchao，Xu Yinghao，Jiang Xi，et al.AMSPAN：breast ultrasound image segmentation model combining attention mechanism and multiscale features［J］.Biomedical Signal Processing and Control，2023，81：104425.

［22］Tang Jiahua，Zou Bao，Li Chang，et al.Planewave image reconstruction via generative adversarial network and attention mechanism［J］.IEEE Trans on Instrumentation and Measurement，2021，70：115.

［23］Oktay O，Schlemper J，F(xiàn)olgoc L L， et al.Attention UNet：learning where to look for the pancreas［EB/OL］.（2018）.https：//arxiv.org/abs/1804.03999.

［24］Huang Zilong，Wang Xinggang，Huang Lichao，et al.CCNET：crisscross attention for semantic segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：603612.

［25］Zhang Xi，Li Jing，He Qiong，et al.Highquality reconstruction of planewave imaging using generative adversarial network［C］//Proc of IEEE International Ultrasonics Symposium.Piscataway，NJ：IEEE Press，2018：14.

［26］Behjati P，Rodriguez P，F(xiàn)ernández C，et al.Single image superresolution based on directional variance attention network［J］.Pattern Recognition，2023，133：108997.

［27］Radford A，Metz L，Chintala S.Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］.（2015）.https：//arxiv.org/abs/ 1511.06434.

［28］Gan Ling，Zhang Kai.Image superresolution reconstruction based on deep residual network［C］//Proc of IEEE International Conference on Artificial Intelligence and Computer Applications.Piscataway，NJ：IEEE Press，2020：359364.

［29］Tang Jiahua，Zou Bao，Li Chang，et al.Planewave image reconstruction via generative adversarial network and attention mechanism［J］.IEEE Trans on Instrumentation and Measurement，2021，70：115.

［30］Qi Yanxing，Wang Yuanyuan，Yu Jinhua，et al.2D minimum variance based plane wave compounding with generalized coherence factor in ultrafast ultrasound imaging［J］.Sensors，2018，18（12）：4099.

［31］Wang Wenping，He Qiong，Zhang Ziyou，et al.Adaptive beamforming based on minimum variance （ABFMV） using deep neural network for ultrafast ultrasound imaging［J］.Ultrasonics，2022，126：106823.

［32］Guo Wei，Wang Yuanyuan，Yu Jinhua.Ultrasound harmonic enhanced imaging using eigenspacebased coherence factor［J］.Ultrasonics，2016，72：106116.