壓縮激勵卷積神經網絡的蛋白質亞細胞定位

唐浩漾，張小媛，錢 萌，王 燕

(西安郵電大學自動化學院，陜西 西安 710121)

1 引言

蛋白質亞細胞定位是確定蛋白質在亞細胞內具體位置的過程，其有助于判定蛋白質功能、闡明蛋白質相互作用機制和了解生命體的活動機理[1]。早期蛋白質亞細胞定位研究需要通過人工處理亞細胞，會耗費大量人力物力，且易定位錯誤，不利于判定蛋白質功能[2]。

近年來，各種圖像處理方法已經應用于蛋白質亞細胞定位[3]。如文獻[4]使用Haralick紋理特征、Zernike矩和形態特征對BP神經網絡進行訓練，以預測蛋白質的亞細胞位置。文獻[5]利用Levenberg-Marquardt的隨機子空間，結合小波特征、局部二值特征和鄰接閾值等多種特征來提取策略最優集，經過分類算法得到亞細胞定位預測結果。這些方法需要人為提取圖像中的特定特征來訓練分類器，而這些特征缺少客觀性，不利于分類器對大規模蛋白質生物圖像進行亞細胞定位預測。

卷積神經網絡[6]能從圖像中自動提取客觀性的特征，捕獲亞細胞圖像中較為復雜抽象的信息，有利于進行亞細胞定位預測。目前已有多項研究將卷積神經網絡應用于蛋白質亞細胞定位，取得了較好的定位準確率。文獻[7]基于深度卷積神經網絡DeepLoc分析酵母細胞圖像，其蛋白質亞細胞定位準確率為80%。文獻[8]搭建Deepyeast卷積神經網絡模型進行亞細胞定位預測，其準確率達到89.45%。但該方法在網絡訓練時采用梯度下降的方法獲得最優權重值，導致網絡訓練時間長，且對于核蛋白和核仁等相似度較高的蛋白質亞細胞，沒有考慮蛋白質亞細胞特征通道之間的聯系，使得定位效果較差。而壓縮激勵模塊(Squeeze-and-Excitation，SE)[9]引入了通道注意力機制，通過對特征通道之間的相互關系進行建模，并自適應的重新校正各通道特征的響應，可以增強網絡對相似度較高的蛋白質亞細胞圖像特征的表達。

本文將具有通道注意力作用的壓縮激勵模塊SE引入Deepyeast卷積神經網絡中，構建SE-Deepyeast特征提取模塊，使用極限學習機分類器對提取的圖像特征向量進行處理，實現快速而有效的亞細胞定位預測。

2 基于SE-Deepyeast的網絡模型和特征提取

算法整體網絡結構框圖如圖1，通過SE-Deepyeast特征提取模塊自動學習的方式來提取有區分性的亞細胞特征；然后采用極限學習機對提取到的特征進行訓練及分類，進行亞細胞定位。

圖1 整體網絡結構框圖

2.1 SE-Deepyeast網絡模型

采用Deepyeast卷積神經網絡模型作為蛋白質亞細胞定位的基礎網絡，該網絡由8個卷積層、3個池化層和3個全連接層構成，該網絡包括多個卷積層與非線性激活層交替的卷積結構，可較好地提取亞細胞圖像特征。為了更好的提取部分相似度較高的亞細胞間有區分性的特征，引入SE模塊，構建SE-Deepyeast網絡模型。

SE-Deepyeast網絡模型中卷積核大小均設置為3×3，步長為1，網絡卷積層中卷積核個數依次為64、64、128、128、256、256、256和256，每一個卷積塊包含2～3個卷積層，使網絡有更大感受野的同時也能降低網絡參數；修正線性單元作為網絡的激活函數，增加網絡的非線性映射能力，改善深層網絡在反向傳播時梯度飽和的問題；最大池化作為下采樣函數，其尺寸為3×3，步長為2，可以在減少參數個數的同時，提取亞細胞圖像的主要特征；3個全連接層的節點個數分別為512、512和10，將卷積層輸出的二維特征圖轉化為一維向量。

2. 2 SE-Deepyeast特征提取

在Deepyeast模型的基礎上引入SE模塊，SE模塊由壓縮操作和激發操作兩部分構成，通過壓縮激勵操作提高通道注意力，增強蛋白質亞細胞特征的提取能力。

為使經卷積層得到特征圖U充分提取亞細胞圖像各通道的全局特征信息，對特征圖U進行壓縮操作。通過在空間維度上使用全局平均池化方法，對特征圖U的各個通道進行壓縮處理以產生各自的通道描述符。壓縮操作過程用壓縮函數Fsq表示，將W×H×C的輸入壓縮為1×1×C的輸出，其中C為通道數，Fsq定義為

1.全社會要形成關注藍天、保護綠色生態的共識。可持續發展是長期的科學發展觀念，不以一時的效益作為發展目標，也不以損害環境作為生活或者發展的代價。想要真正做到可持續發展，就必須讓全社會都行動起來，當綠色生活成為一種社會風氣之后，可持續發展自然就能夠得以實現。社會的每一個人在使用綠色理念來指導整個產業發展時，其通過嚴格意義上的自我規范和約束，從而讓這個社會在發展過程中的資源成本利用率最高。我國在未來實行可持續發展的過程中，要注重選擇合適的產業，因為該理念對社會發展的影響是全面的和深厚的，所以在當前社會中必須要形成一種全社會的綠色經濟氛圍。

(1)

其中，un為特征圖U中第n層通道的特征向量，n的取值為1，2，…，C。zn為經過壓縮后第n層通道亞細胞特征向量的通道描述符。z=[z1，z2，…，zn]為壓縮后的通道描述符構成的壓縮通道符向量。

為了全面獲取通道間的依賴性以及非線性作用，提高網絡對亞細胞圖像特征的表達能力，對壓縮通道描述符向量z進行非線性激發操作，激發過程用激發函數Fex表示

S=Fex(z，W)=σ[W2δ(W1，z)]

(2)

但sigmoid門函數非線性映射能力差，不能有效表達亞細胞特征信息，本文在sigmoid門函數進行激發前引入Relu激活函數[11]，Relu激活函數可保留更多的圖像信息，增強網絡的非線性映射能力，能有效解決深層網絡在反向傳播時造成的梯度飽和問題。構建的Relu激活函數為

δ=max(0，un)+αmin(0，un)

(3)

其中α為0.01，相比于值為0的情況可保留更多的特征信息，改善深層網絡在反向傳播時梯度飽和的問題，也可增強網絡的映射能力。

SE特征提取模塊的輸出由亞細胞特征向量U與激發通道描述符向量S對應通道的乘積Fscale得到，即

X=Fscale(U，S)=U·S

(4)

其中，X=[x1，x2，…，xn]為壓縮激發操作得到的亞細胞特征圖。Fscale為亞細胞特征向量U與激發通道描述符向量S對應通道的乘積。

3 蛋白質亞細胞定位

在SE-Deepyeast模塊提取亞細胞圖像特征的基礎上，對提取到的特征進行訓練分類，以確定分類的蛋白質在哪類亞細胞中，即實現亞細胞定位。

現有的亞細胞定位網絡模型需要對所有亞細胞器圖像數據的前向傳播和誤差反向傳播的兩個過程進行訓練，這兩個過程均需要使用大量樣本在反復迭代的情況下才能獲得較理想的網絡參數，且梯度下降算法需要調整所有參數，導致模型的訓練時間長。因此，本文采用極限學習機對10種亞細胞器圖像進行定位，通過隨機生成連接權重和偏差，避免復雜的迭代訓練過程，從而縮短模型的訓練時間。

極限學習機(Extreme Learning Machine，ELM)是一種單隱層前饋神經網絡學習算法[12]，由輸入層、隱藏層和輸出層構成，ELM模型如圖2。

圖2 ELM模型

其中x為亞細胞向量經壓縮激發操作得到的亞細胞特征向量；l為隱藏層節點個數，可將線性不可分的樣本映射到高層的線性可分空間，再通過隱藏層與輸出層之間進行線性劃分，完成分類功能，以確定蛋白質亞細胞的位置；輸出層節點的個數為m，由定位的類別數決定。

將SE-Deepyeast特征提取模塊的輸出n維特征向量X作為ELM的輸入，通過計算得到隱藏層神經元的輸出h為

h=δ(wX+b)

(5)

其中代表Relu激活函數，可保留更多的有效特征；w和b分別表示輸入層與隱藏層之間的權值連接權重和偏置，在網絡訓練之前ELM可隨機產生w和b，且整個訓練過程無需迭代。

把隱藏層神經元的輸出h輸入輸出層，可計算出輸出層神經元的輸出y為

y=h(xi)β

(6)

其中i=1，2，…n；β為隱藏層和輸出層之間的權值。

最終，通過取輸出層神經元結果的最大值來判定定位結果，蛋白質亞細胞定位結果Llabel為

Llabel=max(yj(x))

(7)

其中j=1，2，…m，本文對10類亞細胞進行分類定位，故m的取值為10。

4 實驗及結果分析

實驗采用的計算機硬件配置為Intel c612/2*E5-2620V4、64G內存。4塊1080Ti GPU，軟件環境為Ubuntu16.04，使用CUDA8.0+cuDNN9.0加速訓練，深度學習框架為Tensorflow，編程語言為Python3.6。

實驗數據集為UCSF yeast GFP蛋白熒光圖像數據集[13]，其標注了酵母細胞中10類蛋白質亞細胞位置，分別為內體、內質網、高爾基體、線粒體、核外圍、核仁、細胞核、過氧物酶體、紡錘體和液泡，亞細胞圖像如圖3所示。實驗中將ELM的隱藏層節點個數設為10000，亞細胞圖片大小調整為64×64，初始學習率為0.01，迭代步數設為1625，批處理大小為50。

圖3 數據集中10種亞細胞

本文從兩個方面進行對比實驗：(1)對AlexNet特征提取模塊、Deepyeast特征提取模塊和本文提出的SE-Deepyeast特征提取模塊進行亞細胞特征提取性能對比；(2)將SE-Deepyeast 得到的特征向量分別輸入ELM、Softmax和 SVM進行亞細胞定位性能對比。

4.1 特征提取模塊性能分析

在UCSF yeast GFP數據集上分別對AlexNet特征提取模塊、Deepyeast特征提取模塊和本文提出的SE-Deepyeast特征提取模塊進行特征提取性能對比，用10種亞細胞的平均準確率來判斷特征提取性能，實驗結果如表1。

表1 不同特征提取模塊準確率對比(%)

由表1可知，利用AlexNet特征提取模塊、Deepyeast特征提取模塊和SE-Deepyeast特征提取模塊得到的定位平均準確率分別為79.72%、89.45%和93.36%，對比可得：本文提出的SE-Deepyeast特征提取模塊比AlexNet和Deepyeast分別提高了13.64%和3.91%。

對于相似度較高的核仁、紡錘體以及液泡三類亞細胞圖像，將本文的SE-Deepyeast特征提取模塊與Deepyeast特征提取模塊得到的特征圖進行可視化比較。將Deepyeast特征提取模塊中3個卷積池化塊得到的特征圖和SE-Deepyeast特征提取模塊在卷積池化塊過程中提取到的特征圖進行可視化，并在每一個卷積池化塊中隨機抽取5張亞細胞特征圖進行展示，如圖4所示。

圖4 部分特征圖

根據圖4可以明顯看出，這兩種特征提取方法在靠前的卷積池化塊中主要提取到亞細胞圖像的邊緣、紋理和形狀等特征，利用Deepyeast模塊對這三種亞細胞圖像進行特征提取時，從高相似度亞細胞圖像中提取到的底層特征圖仍有較大相似性，而本文采用的SE-Deepyeast特征提取模塊在提取底層特征時，也可以展現出一定的區分性。并且根據高層提取到的卷積特征圖可以發現，本文方法提取到的特征信息更抽象、細致，具有辨別度。

不同特征提取模塊準確率對比圖如圖5。從圖5可以看出Deepyeast和SE-Deepyeast對十種亞細胞的平均定位準確率整體趨勢大致一致，但對于相似度較高的蛋白質亞細胞的定位準確率相差較大，其中SE-Deepyeast對核仁、紡錘體以及液泡的定位準確率分別為91.68%、86.98%和89.47%，相比AlexNet分別提升了15.16%、17.11%和18.04%，相比Deepyeast提升了7.61%、10.94和8.3%。

圖5 不同特征提取模塊準確率對比圖(%)

因AlexNet網絡層數較少，無法獲取亞細胞圖像中更深層次的特征，導致定位準確率較低。Deepyeast網絡較于AlexNet網絡所得到的亞細胞定位準確率有較大提高，但是Deepyeast模塊對核仁、紡錘體以及液泡的定位準確率較低，導致Deepyeast模塊的定位準確率低于本文算法。而本文采用的SE-Deepyeast模塊相比Deepyeast模塊通過壓縮激勵模塊，可以更好的對亞細胞圖像進行特征描述，提取出有效并且具有區分性的亞細胞圖像特征，進而分辨相似度較高的蛋白質圖像。

4.2 亞細胞定位模塊性能分析

將SE-Deepyeast網絡得到的特征向量分別輸入ELM、Softmax和 SVM進行定位性能對比，以分析不同分類器在亞細胞定位方面的準確率、訓練時間及定位時間，實驗結果如表2。

表2 不同分類器實現定位性能對比

由表2可知，Softmax和SVM算法的準確率相差0.22%，SVM較Softmax訓練時間節省了13.1分鐘，定位時間節省了4.7ms，ELM算法的準確率最高，訓練時間最短，定位時間只用了6.42ms，相比于Softmax和SVM分別節省了4.08ms、8.78ms。ELM通過隨機生成連接權值和偏置，避免了復雜的迭代過程，訓練過程中需要調整的參數少，計算成本低，實驗結果表明ELM在保證了準確率的情況下，訓練時間及定位時間也最短，能達到實時準確定位的應用要求。

5 總結

壓縮激勵卷積神經網絡的蛋白質亞細胞定位算法通過構建壓縮激勵卷積網絡模型，采用SE-Deepyeast模塊，引入通道注意力機制，有效解決了類間差異小的亞細胞特征表達能力差的問題；利用ELM進行定位，使得亞細胞定位速度快。實驗結果表明，本文算法對蛋白質亞細胞定位更為準確，尤其是核仁、紡錘體以及液泡這三種相似度較高的亞細胞定位分類的準確率有較大的提高，分別是7.61%、10.94%、8.3%，且定位時間為6.42ms，可實現實時定位亞細胞。