數(shù)字全息深度學(xué)習(xí)重建方法

王帥，陳波

（華北理工大學(xué)電氣工程學(xué)院，唐山063210）

0 引言

數(shù)字全息技術(shù)[1]憑借著無損傷、非接觸、高分辨率、實時性以及處理迅速等優(yōu)點(diǎn)，被廣泛應(yīng)用于形貌形變測量[2]、生物醫(yī)學(xué)細(xì)胞成像分析[3]、粒子場測量[4]等領(lǐng)域。數(shù)字全息根據(jù)記錄光路不同可分為同軸全息和離軸全息。同軸全息，在現(xiàn)光波沿同軸方向傳播，其光路結(jié)構(gòu)簡單，能充分有效的利用了相機(jī)的空間帶寬。缺點(diǎn)在于直透光、孿生像和原始像不可分離，可以通過多步相移技術(shù)[5]有效去除孿生像的干擾，但該方法會導(dǎo)致所謂的兩步重建過程，即相位恢復(fù)和聚焦，使得重建過程變的復(fù)雜。離軸全息圖，參考光以一定角度照射探測器，在現(xiàn)時直接將透射光與產(chǎn)生共軛像的衍射光分離，可通過單次曝光采集完成相位測量。而缺點(diǎn)在于，雖然數(shù)字全息相位重建技術(shù)是利用計算機(jī)數(shù)字計算完成相位在現(xiàn)，但傳統(tǒng)相位重建過程仍多采用人工方法選擇實像頻譜，限制了重建像質(zhì)量和重建速度的提高。

近年來，深度學(xué)習(xí)[6]廣泛應(yīng)用于圖像復(fù)原[7]、目標(biāo)分類[8]、圖像超分辨率[9-10]等計算機(jī)視覺任務(wù)中。Yair Riv?enson等人用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對使用反向傳播算法得到的初步相位圖進(jìn)行全息圖像重建[11-12]；Ozcan等人提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的方法用以去除全息重構(gòu)中的共軛像與零級像，實現(xiàn)了相位恢復(fù)和全息圖像重建[13]；2018年，Ozcan等人提出了基于深度學(xué)習(xí)的自動聚焦和相位恢復(fù)在全息成像中的擴(kuò)展景深[14]；Wonseok Jeon等人利用多尺度卷積網(wǎng)絡(luò)實現(xiàn)對全息圖的去噪處理[15-17]；2018年，Wang等人結(jié)合Ozcan網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)，提出了一種新型網(wǎng)絡(luò)結(jié)構(gòu)eHoloNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)將同軸數(shù)字全息圖和原始圖像進(jìn)行端對端映射，然后利用這些特征重建圖像[18]；2019年，Wang等人提出一種新型的Y-Net網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)了數(shù)字全息重建方法一對二的深度學(xué)習(xí)框架，可同時重建出單個數(shù)字全息圖的強(qiáng)度信息以及相位信息[19]。為此本文通過數(shù)值仿真方法研究了基于深度學(xué)習(xí)的全息重建方法。相比于傳統(tǒng)的重建方法，經(jīng)過充分訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)能一步到位直接重建全息圖，無需任何預(yù)處理。

1 原理和方法

1.1 數(shù)字全息

數(shù)字全息術(shù)利用CCD等光電探測器記錄全息圖，即目標(biāo)光與參考光的干涉信號，然后利用數(shù)字信號處理方法模擬光學(xué)衍射重構(gòu)出目標(biāo)圖像。典型的全息光路如圖1所示，激光器發(fā)出的光束一路通過目標(biāo)后，攜帶著目標(biāo)信息作為目標(biāo)光，另一路作為參考光，光電探測器記錄參考光和目標(biāo)光的干涉信號：

其中R(x,y)和T(x,y)分別表示參考光和目標(biāo)光在探測平面上的復(fù)振幅。

傳統(tǒng)的數(shù)字全息目標(biāo)圖像重建方法是，采用數(shù)字信號處理方法模擬參照光通過全息圖I(x,y)的衍射傳播，即可得到目標(biāo)圖像。對于離軸全息，通過合理選取目標(biāo)光和參考光的夾角能夠消除孿生像的干擾，但是系統(tǒng)的空間帶寬積不能有效利用；對于同軸全息，則需要采用多步相移等方法消除孿生像和背景噪聲的干擾。為此，下面重點(diǎn)介紹基于深度學(xué)習(xí)的目標(biāo)重建方法。

圖1 全息光路圖

1.2 深度學(xué)習(xí)目標(biāo)重建方法

基于深度學(xué)習(xí)的目標(biāo)重建方法核心是構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)模型經(jīng)過大量樣本的持續(xù)訓(xùn)練，最終建立了輸入與輸出之間的非線性映射關(guān)系，即全息圖和目標(biāo)圖之間的映射關(guān)系，可替代傳統(tǒng)算法應(yīng)用于數(shù)字全息圖像重建工作。

卷積神經(jīng)網(wǎng)絡(luò)能夠大幅減少計算量，從而節(jié)約計算資源，降低時間成本。因此，使用卷積神經(jīng)網(wǎng)絡(luò)來建立我們的網(wǎng)絡(luò)結(jié)構(gòu)，提出了如圖2（a）所示的CNN網(wǎng)絡(luò)模型，在如圖2（a）所示CNN網(wǎng)絡(luò)結(jié)構(gòu)中主要有三種類型的功能層：卷積層、池化層和全連接層。如圖（b）所示為卷積層，它由卷積塊和激活函數(shù)組成，選用tanh激活函數(shù)。為了避免過擬合和梯度消失，我們在網(wǎng)絡(luò)模型中添加批量歸一化（BN）操作和值為0.5的神經(jīng)節(jié)點(diǎn)丟失率（Dropout），以達(dá)到增加訓(xùn)練速度和提高網(wǎng)絡(luò)泛化能力的目的。將全息圖以及對應(yīng)的原強(qiáng)度圖輸入到網(wǎng)絡(luò)對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練過程中不斷調(diào)整網(wǎng)絡(luò)的超參數(shù)，對原有網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而得到更好的輸出結(jié)果。該網(wǎng)絡(luò)使用Tensorflow搭建深度學(xué)習(xí)框架，實現(xiàn)了CNN網(wǎng)絡(luò)模型。該模型訓(xùn)練的硬件平臺為Intel i5-8300H，8GB RAM，NVIDIA GeForce GTX 1050Ti GPU的工作站，軟件為Windows10操作系統(tǒng)，Python3.0的編譯環(huán)境。

圖2 CNN網(wǎng)絡(luò)模型

利用MATLAB數(shù)值仿真獲得全息圖和對應(yīng)的原強(qiáng)度圖構(gòu)建數(shù)據(jù)集，將全息圖像作為網(wǎng)絡(luò)輸入，對應(yīng)的原強(qiáng)度圖作為網(wǎng)咯輸出。數(shù)據(jù)集分為訓(xùn)練集和測試集兩部分，訓(xùn)練CNN網(wǎng)絡(luò)過程中，網(wǎng)絡(luò)只會學(xué)習(xí)訓(xùn)練集的內(nèi)容，測試集用于對網(wǎng)絡(luò)的測試不參與訓(xùn)練過程，當(dāng)網(wǎng)絡(luò)模型訓(xùn)練完成后，用測試集測試網(wǎng)絡(luò)效果，輸入測試集內(nèi)的全息圖，CNN模型會迅速輸出對應(yīng)的重建圖像。

2 實驗和結(jié)果分析

2.1 實驗?zāi)Ｐ?/h3>

在MATLAB中建立了離軸數(shù)字全息仿真模型，目標(biāo)圖像大小為64×64像素，通過全息仿真模型得到對應(yīng)目標(biāo)的全息圖像，圖像大小為128×128像素。

利用卷積神經(jīng)網(wǎng)絡(luò)來搭建網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。將全息圖輸入網(wǎng)絡(luò)模型，首先通過三個不同數(shù)量過濾器的卷積層（過濾器個數(shù)分別為16、32、64），它是由（3，3）大小的卷積核以及tanh激活函數(shù)組成，卷積核的移動步幅為（1，1）大小，用來提取圖像特征。每一卷積層之后都需要加上相同的池化層，池化步幅為（2，2）大小，并選用的是最大池化方法（Maxpooling）。在這之后，在分別經(jīng)過兩個相同的池化層，通過池化來降低卷積層輸出的特征向量，同時改善輸出結(jié)果，防止過擬合。最后通過兩個全連接層（FC），使用兩組4096個神經(jīng)元做全連接，神經(jīng)元通過激活函數(shù)進(jìn)行輸出。激活函數(shù)的作用是加入非線性因素，從而解決非線性函數(shù)擬合問題，在卷積神經(jīng)網(wǎng)絡(luò)模型建立過程中，對比了sigmoid函數(shù)、tanh函數(shù)、Relu函數(shù)等常用的激活函數(shù)對損失函數(shù)的影響，選擇tanh函數(shù)作為輸入層和隱含層的激活函數(shù)。通過全連接層將前面經(jīng)過多次卷積后高度抽象化的圖像特征進(jìn)行整合，最終輸出重建結(jié)果。

我們通過數(shù)字全息仿真模型進(jìn)行數(shù)據(jù)采集。共采集到全息圖與相對應(yīng)的實際目標(biāo)強(qiáng)度圖各8200張，將采集到的數(shù)據(jù)圖像分兩類，一類作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集用于網(wǎng)絡(luò)模型的特征學(xué)習(xí)，共8000張；一類作為卷積神經(jīng)網(wǎng)絡(luò)的測試集用于對訓(xùn)練好的網(wǎng)絡(luò)的測試，共200張。數(shù)據(jù)集中的全息圖，圖像尺寸大小為128×128像素，如圖3所示。利用全息圖所對應(yīng)的原圖的強(qiáng)度信息制作標(biāo)簽圖像，圖像尺寸大小為64×64像素，對應(yīng)的標(biāo)簽圖像如圖4所示。

圖3 全息實驗圖像

圖4 標(biāo)簽圖像

我們將損失函數(shù)定義為均方誤差（MSE），并對網(wǎng)絡(luò)超參數(shù)進(jìn)行一定的設(shè)置，具體網(wǎng)絡(luò)模型訓(xùn)練超參數(shù)如表1所示。

表1 卷積網(wǎng)絡(luò)模型訓(xùn)練參數(shù)

2.2 實驗結(jié)果

應(yīng)用表1中的超參數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，我們采用MSEloss（均方誤差）作為訓(xùn)練過程中的損失函數(shù)，訓(xùn)練結(jié)果如圖5所示。圖5繪制了相對應(yīng)的train-MSEloss和test-MSEloss隨循環(huán)迭代次數(shù)（epoch）的loss曲線。循環(huán)迭代次數(shù)為40次，最終穩(wěn)定在0.0017左右，訓(xùn)練完畢。

圖5 網(wǎng)絡(luò)模型loss曲線

圖6 重建測試結(jié)果

從測試集中隨機(jī)選擇4組全息重建結(jié)果進(jìn)行誤差分析，如圖6所示。第一列為實驗平臺采集的全息圖像，我們采用均方根的方法進(jìn)行誤差對比，通過計算第二列原強(qiáng)度圖和對應(yīng)的第三列CNN重建圖的均方根，來反映重建結(jié)果的好壞，得到4組重建誤差的均方根值分別為：0.0435、0.0299、0.0411、0.0537，結(jié)果說明基于深度學(xué)習(xí)的全息重建方法具有較高的重建精度，能夠端對端的一步到位而無需任何預(yù)處理，直接利用全息圖重建出物體的強(qiáng)度信息。

為了更直觀體現(xiàn)CNN網(wǎng)絡(luò)模型對單幅全息圖的重建效果，選用了經(jīng)典傳統(tǒng)傅里葉變換全息重建方法來進(jìn)行對比分析，重建結(jié)果如圖6第4列所示。從圖中通過CNN重建結(jié)果與傳統(tǒng)重建結(jié)果對比可以看出，卷積神經(jīng)網(wǎng)絡(luò)重建結(jié)果優(yōu)于傳統(tǒng)重建結(jié)果，極大提高了重建效率，并且無需反向傳播處理，簡化了全息重建過程。

3 結(jié)語

在這篇文章里，我們提出一種新的CNN網(wǎng)絡(luò)結(jié)構(gòu)，即一種數(shù)字全息深度學(xué)重建方法，該方法大大減少了實驗所需數(shù)據(jù)量，使得數(shù)字全息重建效率顯著提升。該模型通過建立端對端的映射關(guān)系，學(xué)習(xí)圖像特征，實現(xiàn)全息重建，克服了傳統(tǒng)數(shù)字全息重建過程中孿生項、直流項的影響。通過使用CNN網(wǎng)絡(luò)模型，可以直接重建出物體的強(qiáng)度信息，并且重建是一個一步完成的過程，無需反向傳播。