一種融合膠囊網絡的分類方法

收稿日期：2022-04-27；修回日期：2022-06-20" 基金項目：河北省自然科學基金資助項目（F2021205014，F2019205303）；河北省高等學校科學技術研究項目（ZD2022139）；中央引導地方科技發展資金資助項目（226Z1808G）；河北省歸國人才資助項目（C20200340）；河北師大重點項目（L2019Z10）

作者簡介：王靜紅（1967-），女（通信作者），河北石家莊人，教授，碩導，博士，主要研究方向為人工智能、模式識別、機器學習與數據挖掘（wangjinghong@126.com）；張戴鵬（1996-），男，河北邢臺人，碩士研究生，主要研究方向為模式識別、機器學習與數據挖掘.

摘 要：

目前的ADMET分類方法在對具有多特征性和特征關聯性的化合物數據進行ADMET分類時存在不足。而且，對ADMET分類結果不具備可解釋性。針對上述問題，提出一種融合膠囊網絡的分類模型（CapsMC）。CapsMC模型首先提出一種feature-to-image圖像轉換算法。使用該算法將特征之間的關聯關系和依賴關系作為考量納入到分類依據中，實現特征的多層次提取。其次，探索膠囊網絡的高級應用，提出一種認知推理機制。使用該機制對特征進行認知推理，實現ADMET的可解釋性分類。模型在五種ADMET數據集上的實驗結果表明，CapsMC模型可以高效實現ADMET的可解釋性分類。

關鍵詞：ADMET；圖像轉換；膠囊網絡；認知推理機制；可解釋性分類

中圖分類號：TP311"" 文獻標志碼：A""" 文章編號：1001-3695（2022）12-007-3574-08

doi："" 10.19734/j.issn.1001-3695.2022.04.0200

Classification model based on capsule network

Wang Jinghonga，b，c， Zhang Daipenga

（a.College of Computer amp; Cyber Security， b.Hebei Provincial Engineering Research Center for Supply Chain Big Data Analytics amp; Security， c.Hebei Key Laboratory of Network amp; Information Security， Hebei Normal University， Shijiazhuang 050024， China）

Abstract：

The current ADMET classification methods have shortcomings in classifying the ADMET of compounds data with multiple characteristics and feature correlation. Moreover， the classification results of ADMET are not explainable. To solve these problems， this paper proposed a classification model based on capsule network （CapsMC）. CapsMC model first proposed the Feature-to-Image algorithm. It used this algorithm to consider the correlation and dependence between features into the classification basis， and realized the multi-level extraction of features. Second， it explored the advanced application of capsule network， and designed a cognitive reasoning mechanism. It used this mechanism to carry out cognitive reasoning on features， and realized explainable classification of ADMET. Experimental results on five ADMET datasets show that CapsMC can achieve the explainable classification of ADMET well.

Key words：ADMET; feature-to-image; capsule network; cognitive reasoning mechanism; explainable classification

0 序言

一個化合物要想成為候選藥物則要衡量其藥代動力學性質和安全性，合稱為ADMET（absorption吸收、distribution分布、metabolism代謝、excretion排泄、toxicity毒性）［1］。發現和優化具有理想ADMET性質的治療藥物是藥物研發的重點。在過去的數十年中，高達50%的臨床實驗失敗歸因于ADMET性能的不足［2］。傳統的候選藥物篩選依賴于人的經驗，不能保證對候選藥物檢測的有效性和準確性，無法快速準確地找到合適的候選藥物。最近幾年，機器學習和深度學習的快速發展使其在醫學領域受到了廣泛的關注，其在候選藥物篩選、預測檢驗結果以及緊急實時決策等方面表現尤為突出［3～5］。

近些年來，眾多研究提出不同的分類方法對候選藥物的ADMET性質進行類別預測。目前ADMET性質的分類方法主要包括基于機器學習的ADMET性質分類方法和基于深度學習的ADMET性質分類方法。

基于機器學習的ADMET分類方法雖然可以實現候選藥物的ADMET性質的分類預測，但是在面臨大型多特征的結構化數據時就無法很好地完成分類任務，存在表現能力不足的問題。同時，這些方法沒有考慮特征之間相互關聯和相互依賴的特性對分類結果的影響，例如在使用決策樹進行預測時，只考慮了以某一個特征展開特征選擇，而不會考慮某一特征和另一特征的依賴是否會提高分類結果、某一特征與另一特征的關聯是否會提升分類性能等。

基于深度學習的ADMET分類方法在ADMET性質預測的可解釋方面亟待解決。盡管基于深度學習的ADMET分類方法在ADMET性質預測方面取得了一些成果，但仍存在一定的局限性。這些方法具有平移對稱性的優勢，但它們的信息處理機制不能解決ADMET性質預測的一些問題。ADMET性質預測的特點是具有空間層次和特征的相對對稱性，這些方法在獲得其空間層次和特征的相對對稱性方面存在不足，而空間層次和特征的相對對稱性是可解釋分類的關鍵，這就為ADMET性質分類結果的可解釋帶來了很大的挑戰。

針對以上ADMET性質分類方法中存在的問題，本文提出一種融合膠囊網絡的分類（classification model based on capsule network，CapsMC）模型。本文的主要貢獻如下：

a）針對處理多特征的關聯性和依賴性強的結構化數據問題，本文提出feature-to-image（F2I）模型，將特征之間的關聯性和相互依賴性作為考量納入到分類依據中，使得實驗結果更加真實有效。

b）針對ADMET性質的可解釋預測，本文提出一種認知推理機制，對特征進行認知推理，實現ADMET的可解釋分類。同時本文給出了認知推理機制的推導過程和適用于該機制下損失函數的推導過程。

c）大量實驗證明，在預測ADMET性質時，CapsMC模型在復雜的多特征數據集中表現優秀。

1 相關工作

1.1 基于機器學習的ADMET分類方法

基于機器學習的ADMET分類方法是將ADMET性質和分子特征聯系起來，并為不同范圍的分子結構和機制建立復雜的定量結構—性質關系（QSAR），在預測ADMET性質方面展現很好的潛力［6，7］。近些年，隨著機器學習的發展，研究者通過改進機器學習的方法來進一步覆蓋多種ADMET性質，特別是在預測吸收、排泄、分布等性質方面［8～11］。總體來看，機器學習模型就是建立QSAR關系，然后實現性質的類別預測。最簡單的機器學習模型是邏輯回歸（logistic regression，LR）模型，該模型假設待預測的ADMET性質線性依賴于化合物的特征，然而非線性模型通常可以獲得較好的性能［12］。K近鄰模型（K nearest neighbor，KNN）是一種用于模式識別的非線性方法，是用于ADMET基準測試的一種標準的、經典的、眾所周知的技術［13］。文獻［14］研究了基于KNN的QSAR模型的代謝穩定性。文獻［15］提出一種基于樸素貝葉斯（naive Bayesian，NB）的模型來預測小鼠肝臟微粒體（MLM）的穩定性。最常用的非線性分類模型是決策樹（decision tree，DT），DT的優點在于能夠可視化其預測的過程。DT通過建立一組或者多組IF-ELSE-THEN規則實現性質分類。然而，當數據面臨類別數量不均衡的數據以及稀疏數據時會出現信息增益偏向于多數量的特征，從而不能很好地實現分類效果。支持向量機（support vector machine，SVM）很好地克服了這一問題。SVM通過找尋類別劃分超平面，實現對類別的預測。文獻［16］基于SVM研究了血腦屏障的穿透性，并使用包括活性化合物和非活性分子的訓練集進行驗證。結論得出，該模型的平均準確率為81.5%。文獻［17］使用SVM、KNN、概率神經網絡、最小二乘法和Fisher線性判別分析（LDA）來預測ADMET特性，結果顯示，SVM的預測性能最好。文獻［18］使用隨機森林（random forest，RF）對BBB滲透率的準確性和P-糖蛋白的性質預測，準確率達到80%。此外，XGBoost在生物和化學的回歸和分類任務中效果顯著［19，20］。

1.2 基于深度學習的ADMET分類方法

基于深度學習的ADMET分類方法已顯示出從更復雜的數據中學習特征的能力［21］。深度學習已經在藥物檢測和篩選中得到相應的應用，最廣泛使用的深度學習模型是卷積神經網絡（convolutional neural network，CNN）。文獻［22］提出了AtomNet模型，它是第一個基于結構的CNN模型，用于預測特定受體的化學配體，取得了比經典對接方法更好的性能。Chen等人［23］建立了一個基于CNN的Chemception模型。它使用二維分子圖像來預測化學特性。最近。文獻［24］使用分子圖像作為CNN的輸入，構建了一個分子毒性分類模型，并取得了良好的效果。文獻［25］也使用基于分子二維圖像的CNN方法構建了一個ADMET特性的預測模型，并取得了與現有機器學習模型相當的性能。2015年，文獻［26］提出一種在分子指紋圖上做卷積的網絡，開創使用圖神經網絡（graph neural network，GNN）分析化學和生物分子信息的先河。GNN是直接利用原始分子的圖形結構表示作為輸入數據，其中原子表示為節點，鍵表示為圖形的邊［27］。文獻［28］提出一種圖卷積網絡實現ADMET屬性進行建模；文獻［29］證明使用多任務圖卷積方法預測ADMET性質是一種極具競爭力的選擇；文獻［30］將圖卷積應用于顯式分子表示，高效地實現了ADMET性質的類別預測。多任務圖注意模型（multi-task graph attention，MGA）［31］是一種充分利用現有毒性數據的新方法，它可以同時學習回歸和分類任務進行毒性預測。該方法是ADMETlab 2.0［31］在線ADMET性質檢測平臺的核心組件。ADMETlab 2.0是目前最好的ADMET性質檢測平臺，它提供了全面、準確、高效和用戶友好的ADMET評估服務［31］。

1.3 基于膠囊網絡的ADMET分類方法

根據本文對文獻的調查研究，目前還沒有基于膠囊網絡的ADMET性質分類模型。本文擬結合Hinton等人［32］提出的膠囊網絡（capsule network，CapsNet）實現ADMET高級特征的提取和ADMET性質的可解釋性預測。CapsNet用膠囊代替傳統神經網絡中的標量神經元，膠囊是等變的，每一個膠囊由一個向量組成，每一個神經元代表同一特征的不同屬性值［33］。實現膠囊的一般方法有三種：轉換自動編碼器［32］、基于動態路由的向量膠囊［34］和基于期望最大化路由的矩陣膠囊［35］。第一個膠囊網絡旨在強調網絡識別姿勢的能力；第二個膠囊網絡對上一個膠囊進行改進，去除了姿勢數據作為輸入，使用向量表示膠囊；第三個膠囊與使用向量輸出相反，將膠囊的輸入和輸出表示為矩陣。本文融合第二種方法的原理提出適用于本文問題的認知推理機制，并利用此機制設計特征認知推理模型，實現特征推理。特征認知推理模型將膠囊視為向量，通過本文提出的認知推理機制實現低級膠囊激活高級膠囊，低級膠囊代表低層特征，高級膠囊代表高層特征，進而將特征之間的關聯性轉換為特征映射，同時挖掘出其他空間層次的相關特征信息。將激活的膠囊進一步壓縮轉換為概率膠囊，實現ADMET的可解釋預測。

2 模型設計

CapsMC模型是一種能夠處理大型數據集和提取高維特征的模型。該模型能夠實現可解釋性分類。CapsMC模型的基本結構如圖1所示。CapsMC模型主要包含三大部分，分別是F2I轉換模型、特征提取模型和特征認知推理模型。F2I轉換模型主要用于將結構化數據轉換為圖像數據；特征提取模型主要用于初步特征提取；特征認知推理模型主要用于對特征提取模型輸出的特征映射量化相關性，進行進一步的特征提取、特征組合以及通過認知推理機制實現類別可解釋預測。

2.1 F2I轉換模型

受到Cai等人［36］的啟發，本文提出F2I轉換模型。F2I轉換模型的核心思想是結合計算機中存儲的RGB圖像的特點，將結構化數據集中的每一個表示實例的特征向量轉換為灰度圖像矩陣，然后利用圖像分類的方法對實例進行分類。

令特征矩陣F（aij）∈Euclid ExtraaBpn×d表示結構化數據集，二維矩陣X（sij）∈Euclid ExtraaBpz×z表示灰度圖像矩陣，其中Fi表示第i個特征向量，d表示特征向量的維度，z表示圖像矩陣存儲特征向量需要的維度，z=2d，aij表示第i個特征向量的第j個特征，sij表示圖像的灰度值，則有

X=F2I（Fi，d）（1）

F2I轉換模型首先對特征矩陣F按照特征列進行歸一化處理，歸一化函數定義為

ij=（1－Ij）aij－min（a1j，a2j，…，anj）max（a1j，a2j，…，anj）－min（a1j，a2j，…，anj）+

Ijeaij∑ni=1eaij

i∈（1，2，…，n），j∈（1，2，…，d）（2）

其中：I是歸一化指示函數，當特征列不存在負數值時I=0，存在負數值時I=1。

在歸一化后，將歸一化后的值輸入到式（3）中生成z×z的圖像灰度矩陣。進一步將圖像灰度矩陣轉換為大小是z×z的圖像，如圖2所示。

在轉換過程中，當z2gt;d時，需要進行缺角填充。缺角填充是指特征向量在轉換過程中，無法填滿灰度圖像矩陣X，需要對其沒有填滿的地方進行像素值補充。缺角填充使用特征向量所求的平均值進行填充，即

suk=「255×∑dj=1ijd（3）

其中：suk表示圖像灰度矩陣中第u行k列需要填充的值，在填充完成后，即可實現灰度圖像的轉換。

算法1 灰度圖像矩陣轉換算法

輸入：特征矩陣行向量Fi（ij）∈Euclid ExtraaBp1×d，特征矩陣維度d。

輸出：灰度圖像矩陣X（sij）∈Euclid ExtraaBpz×z。

a）計算灰度圖像矩陣的維度z←「2d

b）隨機初始化圖像灰度矩陣X（sij）∈Euclid ExtraaBpz×z

c）定義計數變量b←0

d）for j←1，2，…，z do

e）" for k←1，2，…，z do

f）"""" if b≤d：

g）""""" sjk←|255ib|；

h）""""" b←b+1；

i）"""" else：

j）""""" sjk ← |255∑dp=1ipd|；

h） return X

在算法1中，輸入為特征矩陣行向量Fi（ij）∈Euclid ExtraaBp1×d，特征矩陣維度d，輸出為灰度圖像矩陣X（sij）∈Euclid ExtraaBpz×z，其中ij表示Fi的第j個元素值，j∈{1，2，…，z}，sij表示X的第i行j列的元素值，i，j∈{1，2，…，z}。算法1首先根據特征矩陣的維度d計算得出灰度圖像矩陣的維度z，隨后初始化一個z×z的灰度圖像矩陣X。在準備工作充足后，開始進行灰度值填充，灰度值即為經過特征矩陣行向量Fi中的元素值。首先定義一個計數變量b，計數變量的值b小于特征維度d，該計數變量的作用是Fi的索引值，即ib表示Fi的第b個值。其次，循環遍歷灰度圖像矩陣X，將對應的特征行向量的元素值，填入到其中。在填入時，若行向量的已完全填充，但X中的像素未填充完，即z2gt;d時進行缺角填充。最后，將生成的灰度圖像矩陣X輸出，完成灰度圖像矩陣轉換。灰度圖像矩陣轉換算法的時間復雜度是O（n2）。灰度圖像轉換只在數據預處理時處理一次，相對而言，時間復雜度在可接受范圍內。該算法將特征的屬性信息進行重組實現相互依賴特征信息的處理，并顯著提高了分類的性能。

2.2 特征提取模型

特征提取模型采用4組卷積層、1組池化層以及2組全連接層，如圖3所示。第1、2組卷積層采用5×5×64的卷積核，使用ReLU函數作為激活函數；第3、4組卷積層采用3×3×32的卷積核，用ReLU函數作為激活函數，池化層選用平均池化，用于保存更多的圖像數據的背景信息，全連接層用于特征擬合。

卷積層對F2I模型的特征進行提取。設輸入第l層的特征映射為δli（i=1，2，…，I），輸出的第l+1層特征映射為δl+1j（j=1，2，…，J），輸入的卷積核為Wl+1ji，尺寸為K×K，可得輸出的l+1層特征映射為

δl+1j（x，y）=σ（∑Ii=1 ∑K-1w，hWl+1ji（w，h）*δli（x-w，y-h）+wb）（4）

其中：I為輸入特征映射的深度；J為輸出特征映射的深度；（x，y）為輸出特征映射的第x行第y列特征；（w，h）表述輸入特征映射的第w行第h列的特征；wb為偏置；*為進行卷積運算；σ（·）為激活函數，本文選用ReLU函數作為激活函數。

本文采用平均池化來最大程度保護F2I特征圖的背景信息，平均池化的計算方式如下：

fj（x，y，z）=∑h，w1≤x≤h，1≤y≤wδl+1j（x－h，y－w，z）h+w（5）

其中：（x，y）表示輸出特征映射的第x行第y列特征；z表示特征值；h和w表示空間窗口的寬和高。

全連接層的作用是擬合多層卷積核池化操作后輸出的特征映射，為特征認知推理模型輸入做準備。設輸入第l層特征映射為yli（i=1，2，…，I），輸出的第l+1特征映射為yl+1j（j=1，2，…，J），加權權重為ωl+1ji，偏置為wb，其中σ（·）表示激活函數，n表示神經元的個數，本文選用ReLU函數作為激活函數，則有

yl+1j=σ∑ni=1ωl+1jiyli+wb（6）

2.3 特征認知推理模型

特征認知推理模型是用于對圖像特征的進一步提取、特征組合和實現ADMET性質的類別預測。膠囊是由一組神經元組成，是一個向量。膠囊的模長表示預測類別的概率，方向代表實例化參數。下一層的膠囊通過認知推理機制實現對上一層的膠囊的預測。當多個下一層的膠囊對上一層的膠囊預測一致時，上一層的膠囊將被激活，成為激活向量。本文設計的膠囊網絡由卷積層、PrimaryCaps層、DigitCaps層組成，如圖4所示。卷積層采用256個9×9的卷積核對特征提取模型輸出的特征映射進行特征提取；PrimaryCaps層將32個6×6×8的膠囊與8×16的權重矩陣做點積計算得出C個16維數字膠囊，即采用認知推理機制實現數字膠囊的生成。DigitCaps層同時將C個16維數字膠囊通過擠壓函數輸出C個類別對應的概率從而完成類別預測。認知推理機制的原理及算法描述詳見本文第3章。

3 認知推理機制原理及算法描述

在本文中，認知推理機制用于計算膠囊的矢量輸出和輸入，認知推理機制的迭代過程如圖5所示。

3.1 認知推理機制原理及算法描述

認知推理機制通過投票機制實現低級膠囊激活高級膠囊的方式找出高層特征和底層特征之間的關系。認知推理機制的輸入是32組6×6×8的低級膠囊、迭代次數r以及膠囊層數l，用ui表示第l層低級膠囊的一個膠囊單元；輸出是C個類別的概率。認知推理機制首先對迭代系數b進行初始化，b初始化的值為0。將第l層低級膠囊u通過乘以8×16的權重矩陣W進行仿射變換，進而得到高級膠囊，用Wij表示權重矩陣的一個元素，用j|i表示得到的高級膠囊的一個單元，則j|i=Wijui，則類別概率膠囊vj見式（7），其中squashing是指將膠囊壓縮為一個在［0，1］的概率的擠壓函數。

e（j）v=squashing∑ie∑jo=1voo|iev11|i+ev11|i+v22|i+…+e∑jo=1voo|ij|i=

squashing∑ie∑jo=1voWiouiev1Wi1ui+ev1Wi1ui+v2Wi2ui+…+e∑jo=1voWiouiWijui（7）

令

bij=∑jo=1voWioui=v11|i+v22|i+…+vjj|i（8）

將式（8）代入式（7）中可得

vj=squashingexp（bij）∑kexp（bik）j|i（9）

令耦合系數cij=ebij∑kebik，則數字膠囊

xj=∑icijj|i=∑iebij∑kebikj|i（10）

從而

vj=squashing（xj）=‖xj‖21+‖xj‖2 xj‖xj‖（11）

認知推理機制將得到的高級膠囊通過耦合系數cij對其進行投票得到c個16維的數字膠囊xj，將數字膠囊xj通過squashing擠壓函數壓縮為一個在［0，1］的類別概率膠囊vj，更新迭代系數bij，直到達到迭代次數r，其中bij=bij+j|ivj，最后對比各個類別概率值的大小實現對類別的預測。

算法2 CapsMC模型認知推理機制迭代過程

輸入：低級膠囊u，迭代次數r，膠囊層數l，當前類別標簽j。

輸出：C個類別的概率膠囊vj。

a）對第l層低級膠囊u和第l+1層高級膠囊

初始化bij←0；

b） for i=1，2，…，len（u） do

c）" j|i←Wijui， xj←∑icijj|i，r←3；

d）" for r iterations do

e）"" cij← ebij∑kebik

f）"" xj←∑icijj|i

g）"" vj←squashing（xj）

h）"" bij←bij+j|ivj

i） return vj

該算法通過認知推理機制實現了低級膠囊到高級膠囊的認知推理，使用擠壓函數將高級膠囊轉換為概率膠囊，使得ADMET性質預測結果具有可解釋性。該算法的復雜度是O（n），時間復雜度的計算主要來源于低級膠囊和高級膠囊的轉換過程。該算法通過認知推理機制實現了特征推理，給每一個特征計算一個概率可能性，使得最終的分類結果是認知的、可解釋的，明顯提升了分類性能。

3.2 模型訓練

為使模型訓練效果顯著，CapsMC模型的損失函數采用邊緣損失函數，限制邊緣上界為m+，邊緣下界為m－。

假定CapsMC模型得到的概率樣本為

v1，v2，…，vj，…，vn，vj∈Euclid ExtraaBpc，j=1，2，…，n

其中：vj是c維的概率膠囊，c是類別的個數，n是樣本數量。這些概率樣本在c維空間中都是線性可分的，即存在超平面

g（x）=x21+x22+…+x2c=m2（12）

使得概率樣本全部可以沒有錯誤的分開。其中xi∈Euclid ExtraaBpc是概率膠囊vj在c維空間向量的坐標，也是預測某類別的概率值，m表示邊界。

設若概率樣本所預測的類別存在，則預測的概率樣本值都大于等于m+，若概率樣本所預測的類別不存在，則預測的概率樣本值都小于等于m－。則決策函數為

x21+x22+…+x2c≥m+" xi∈Euclid ExtraaBpc

x21+x22+…+x2c≤m－" xi∈Euclid ExtraaBpc（13）

其中：m+是邊緣上界；m－是邊緣下界；c是指預測概率的類別。

根據最小平方誤差準則，概率樣本到邊緣的最小平方誤差損失是|m－2|g（x）||2。

對于邊緣下界，計算概率樣本所預測類別不存在的損失為

∑jmin（0，m－－2|g（x）|）2

s.t. 2x21+x22+…+x2c－m－≤0" xi∈Euclid ExtraaBpc（14）

等價于

∑jmax（0，2|g（x）|－m－）2

s.t. 2x21+x22+…+x2c－m－≤0" xi∈Euclid ExtraaBpc（15）

對于邊緣上界，計算存在的概率樣本的損失為

∑jmin（0，2|g（x）|－m+）2

s.t. 2x21+x22+…+x2c－m+≥0" xi∈Euclid ExtraaBpc（16）

等價于

∑jmax（0，m+－2|g（x）|）2

s.t. 2x21+x22+…+x2c－m+≥0" xi∈Euclid ExtraaBpc（17）

對于所有的概率樣本，所預測的類別只存在兩種情況：類別存在和類別不存在，即類別樣本具有互斥性。定義I為分類指示函數，則當預測的類別存在時I=1，當預測的類別不存在時I=0。則對于所有概率樣本的損失有

∑jIjmax（0，m+－‖vj‖）2+（1－Ij）max（0，‖vj‖－m－）2（18）

在模型訓練過程中會出現類別樣本比例失衡的問題，因此加入一個權重因子，用來調整類別存在和類別不存在的比重。最終的損失函數為

CapsMC_Loss=∑jIjmax（0，m+－‖vj‖）2+

λ（1－Ij）max（0，‖vj‖－m－）2（19）

其中：m+表示邊緣上界；m－表示邊緣下界；vj是概率膠囊，表示輸出屬于某類別的概率，vj表示一個膠囊的L2范數。λ是權重因子，為了減少某類未出現時，就把所有激活的數字膠囊進行壓縮。本文遵循向量膠囊［13］的設計參數，選用 λ=0.5，m+=0.9，m－=0.1。

CapsMC模型的一般學習過程如算法3所示。在模型訓練過程中，模型首先通過F2I轉換模型將結構化數據集轉換為圖像數據集，并將數據集按照訓練集占總體樣本的80%，測試集占總體樣本的20%的比例對數據集進行切分。將切分后的數據集輸入到特征提取模型，特征提取模型的輸出即為特征認知推理模型的輸入。特征認知推理模型輸出每一個類別的可能概率，通過對比概率選擇概率高的作為該類別的預測類別，從而實現類別預測。

算法3 CapsMC模型訓練過程算法

輸入：n行d列的數據集，訓練次數epochs。

輸出：預測的類別。

a）初始化灰度圖像數據集 X^

b） for r←1，2，…，n do

c）"" 選取數據集的r行，將其通過F2I模型轉換成灰度圖像矩陣X；

d）" 將X添加入 X^；

e） 將X^按照8∶2換分訓練集和測試集；

f） for epoch←1，2，…， epochs do

g）"" 使用訓練集訓練CapsMC模型；

h）"" 使用CapsMC_Loss計算模型訓練損失，更新模型參數；

i）""" 使用測試集對模型進行驗證；

j） 比較輸出的每種類別的概率，輸出預測結果

4 實驗

本章針對本文提出的CapsMC模型共進行四組實驗：第一組實驗是驗證CapsMC模型對ADMET性質預測的準確性；第二組實驗是將其與基于機器學習基本算法的方法進行對比，驗證CapsMC模型的可靠性；第三組實驗是將其與目前大型公司常用的基于機器學習集成算法的方法進行對比，驗證CapsMC模型的先進性和有效性；第四組實驗將其與基于深度學習的方法進行對比，首先，選用目前最先進的深度學習模型MGA模型進行對比，驗證CapsMC模型的前沿性和高效性；其次，加入本文提出的F2I模型+CNN模型（F2I-CNN）的對比實驗，用來驗證本文提出的F2I模型的有效性和提出的認知推理機制對實驗結果的影響。

實驗環境采用一臺3.2 GHz、8 GB內存和運行Python 3.6的NVIDIA GeForce RTX 3060 Laptop GPU的計算機，對比算法模型庫來源于Scikit-learn。

4.1 數據集

本文使用小腸上皮細胞滲透性（Caco-2）、細胞色素P450酶（Cytochrome P450，CYP）3A4亞型（CYP3A4）、化合物心臟安全性評價（human ether-a-go-go related gene，hERG）、人體口服生物利用度（human oral bioavailability，HOB）和微核實驗（micronucleus，MN）五種ADMET性質對CapsMC模型進行實驗驗證。具體ADMET性質數據集如表1所示。

4.2 實驗評估指標與實驗參數設置

在醫學領域，對于二分類問題通常采用陽性（positive）和陰性（negative）代表兩類，陽性代表某一癥狀存在陰性表示某一癥狀不存在。對于一個樣本的類別只有兩種可能陽性或陰性，因此可得決策結果有真正例TP、假正例FP、真負例TN、假負例FN四種。為更加全面地評估模型，本實驗選用查準率（precision）、查全率（recall）以及F1值進行實驗驗證。評價指標形式化定義如下：

precision=TPTP+FP（20）

recall=TPTP+FN（21）

F1=1121precision+1recall=2TP2TP+FP+FN（22）

除了上述指標，采用AUC值作為衡量模型的指標。AUC值是ROC曲線下方的面積，AUC值通常在0.5～1，值越大說明模型相對越好。

本實驗的參數設置為批處理大小為64，迭代次數epochs為1 000次。本文選用Adam優化器優化損失函數。本文采用交叉驗證的方法將數據集劃分為訓練集和測試集，訓練集用于對模型的訓練，測試集用于對模型的測試和驗證，訓練集和測試集的比例為8∶2。

4.3 實驗結果分析

CapsMC模型分別對五種數據集進行訓練，訓練過程如圖6所示。從圖6中看，對于準確率而言，CapsMC模型對訓練集的準確率達到了100%，在驗證集上的準確率最高達到100%；對于損失而言，CapsMC模型對所有ADMET性質在訓練集的損失均接近0，對Caco-2、CYP3A4、hERG、MN四種性質在驗證集的損失小于0.1，對HOB性質在驗證集上的損失小于0.2。綜合來看，CapsMC模型在訓練時的精確度和損失不存在梯度消失和梯度爆炸現象，具有快速收斂性和快速穩定性。

計算加權后的precision、recall、F1值以及AUC值，得到實驗評估結果如表2所列。

五種ADMET性質使用CapsMC模型不同評價指標的統計如圖7所示。從圖7中能夠得出，CapsMC模型對四種ADMET性質的預測準確率在四種評價指標上達到90%以上，五種類別的平均預測準確度在三種評價指標上達到了90%以上。CapsMC模型對Caco-2、CYP3A4、hERG、HOB、MN五種性質類別預測的F1平均值、precision平均值、recall平均值均達到90%以上。其中，CapsMC模型對CYP3A4預測的查準率最高，達到95.16%。CapsMC模型對五種ADMET性質類別預測的AUC值最高達0.93，平均值接近0.90。

4.4 對比實驗

為了展示模型的性能，實驗設置為三組對照組：基于機器學習基本算法的ADMET性質分類方法、基于機器學習集成算法的ADMET性質分類方法和基于深度學習的ADMET分類方法。對比實驗結果選用了F1值、precision、recall、AUC值四種評估指標進行對比。

4.4.1 基于機器學習基本算法的ADMET性質分類方法的對比實驗

基于機器學習基本算法的ADMET性質分類方法將CapsMC模型DT模型、SVM模型、KNN模型、LR模型、FDA模型、NB模型六種基本算法進行了實驗對比。對比實驗結果見表3所列。在表3～5中使用F表示F1值，使用P表示precision值、使用R表示recall值，使用A表示AUC值。

表3表明，從每個模型在各個數據集上的表現來看，在對Caco-2的預測的評價指標中，模型的四種評價指標均高于其他六種機器學習分類模型約4%，相應的對CYP3A4的預測的機器學習分類模型三種評價指標均高于約3%，AUC值高約5%；相應的對hERG預測的機器學習分類模型四種評價指標均高于約1%；相應的對HOB的預測的機器學習分類模型三種評價指標均高于約1%，召回率CapsMC模型低于LDA分類模型約1%。相應的對MN預測的機器學習分類模型三種指標均高于約3%，AUC值高于約6%。各個模型下的五種ADMET性質的準確率對比結果如圖8所示。圖8表明，CapsMC模型的預測結果更加準確，更加接近真實的數據分類。

從五類ADMET性質的四種評估指標平均值來看，與其他六種機器學習基本模型相比，CapsMC模型在四種評價指標上高約3%。五類ADMET性質的四種評估指標的平均值統計如圖9所示。

從圖9中能夠直觀地觀察得出，CapsMC模型與其他六種模型相比，CapsMC模型具有更高的準確率，具有最好的性能。

4.4.2 基于機器學習集成的ADMET性質分類方法對比實驗

基于機器學習集成算法的ADMET性質分類方法選用了目前大型藥物公司常用的ADMET性質檢測模型RF模型和XGBoost模型進行對比。對比實驗結果如表4所示。

表4表明，在Caco-2數據集預測上CapsMC模型比其他兩種模型的各個評價指標高約1%；在CYP3A4數據集上，其比RF模型在各個指標上高約1%，和XGBoost模型的各個指標基本持平；在hERG數據集上恰恰相反，其比XGBoost模型各個指標高約1%，和RF模型的各個指標基本持平；在HOB數據集上，其比RF模型的三個指標高約2%，比XGBoost模型的三個指標高約1%，AUC值高約3%；在MN數據集上，其比RF模型在三個指標上高約2%，在準確率指標上僅僅低了0.8%，比XGBoost模型在三個指標上高約3%，AUC值高約6%。兩個模型的準確率比較如圖10所示。圖10表明，CapsMC模型在ADMET性質預測上更具有優勢。

從五種數據集對比的平均值來看，與其他兩種集成算法相比，CapsMC模型在三種指標上高約1%，在AUC指標上比RF模型高約1%，比XGBoost模型高約2%。與集成算法對比的四種評估指標的平均值統計如圖11所示。從圖11中能夠直觀地觀察得出，CapsMC模型具有更高的評估指標，具有最好的性能。

4.4.3 基于深度學習的ADMET分類方法對比實驗

基于深度學習的ADMET性質方法選用了最先進的MGA模型和本文提出的F2I模型+CNN模型（F2I-CNN）進行對比。對比實驗結果如表5所示。

表5表明，在Caco-2數據集上，CapsMC模型比其他兩種模型在三種評價指標上高2%，比MGA模型的AUC值高6%，比F2I-CNN的AUC值高2%；在CYP3A4數據集上，比其他兩種模型在三種指標上高約2%；在hERG數據集上，比MGA模型高約4%，比F2I-CNN模型高約2%；在HOB數據集上，CapsMC模型與MGA模型、F2I-CNN模型的三種評價指標大致相同，但其比這兩種模型的AUC值分別高出約8%、5%；在MN數據集上，CapsMC模型比MGA模型在三種指標上高出約5%，比F2I-CNN模型高出約2%。兩種模型的實驗準確率對比如圖12所示。圖12表明，與MGA模型相比，CapsMC模型明顯具有更高的準確率，表現性能最好，印證了CapsMC模型的先進性。與F2I-CNN模型對比，CapsMC模型具有更好的準確率。F2I-CNN模型于MGA模型的性能幾乎接近，而且在某些指標上還高于MGA模型，這說明本文提出的F2I模型在處理多特征和關聯性強的結構化數據時具有較好的性能，能夠準確高效地完成特征重組，同時也說明本文提出的認知推理機制大大提高了ADMET性質的分類的準確率，高效地完成了可解釋分類任務。

從五種數據集的平均值來看，CapsMC模型比MGA模型、F2I-CNN模型在三種評價指標上高約2%，另外其在AUC值上比這兩種模型分別高約5%、3%。F2I-CNN和先進的MGA模型在三個指標上幾乎相同，其中AUC值比其高2%。與深度學習算法對比的四種評估指標平均值對比實驗結果如圖13所示。圖13表明，CapsMC模型在四種指標上均高于其他兩種模型，同時，F2I-CNN在三個指標上比MGA模型高，再一次證明本文提出的F2I模型的有效性和提出的認知推理機制的先進性。

5 結束語

本文提出的CapsMC模型較好地實現了對化合物ADMET性質的預測。CapsMC模型首先使用提出的F2I轉換模型將結構化數據中每一個實例的特征向量轉換為灰度圖像矩陣，通過像素點重組，為處理多特征和關聯性強的結構化數據提供新思路。其次，CapsMC模型使用提出的認知推理機制對特征進行認知推理，實現類別的可解釋預測。

CapsMC模型在Caco-2、CYP3A4、hERG、HOB、MN五種性質類別預測進行了驗證，其在F1值、precision值、recall值均達到90%以上。其中，CapsMC模型對CYP3A4預測的precision最高，達到95.16%。CapsMC模型對五種ADMET性質類別預測的AUC值最高達0.93，平均值接近0.90。此外通過與三組對照實驗對比表明，CapsMC模型具有更高的準確率和顯著的分類性能。其中在F2I-CNN模型的對照實驗中，F2I-CNN模型與最先進的MGA模型的性能及其近似，與其相比在Caco-2、hERG、HOB、MN四種數據集上的AUC值具有較大差距，F2I-CNN模型具有更好的性能，其他指標中也有高于MGA模型的值。這說明提出的F2I圖像轉換模型將特征之間的關聯性和相互依賴特性作為考量納入到分類依據的有效性和先進性。F2I-CNN模型與本文提出的CapsMC模型對比表明，CapsMC模型的準確率和性能遠遠高于F2I-CNN模型，進一步說明本文提出認知推理機制的有效性和先進性。

同時，本研究存在一定的缺陷。首先面對特征數據量較小的數據集時，F2I轉換模塊轉換成非常小的圖片使得模型的分類效果大大降低，但相反的是對于特征數量巨大的數據集將表現出優秀的性能和效果，未來考慮通過組合算法或引入特征縮放算法的方式解決該問題。其次，在進行缺角填充時，當出現缺角嚴重時就會出現特征消失的問題，但是大多數的情況下，不存在缺角嚴重的情況。未來考慮通過引入注意力機制消除特征消失的問題，從而使模型的魯棒性更加強壯。

最后，在醫藥領域，候選藥物預測存在大量的多模態數據，不僅是單純的指標性質的數據，還存在文本、圖像等數據，這給研究帶來了挑戰，這也將是未來藥物預測研究的重點方向。

參考文獻：

［1］Rashid M. Design，synthesis and ADMET prediction of bis-benzimi-dazole as anticancer agent ［J］. Bioorganic Chemistry，2020，96（C）： 103576.

［2］Feinberg E N，Joshi E，Pande V S，et al. Improvement in ADMET prediction with multitask deep featurization ［J］. Journal of Medicinal Chemistry，2020，63（16）： 8835-8848.

［3］Asri H，Mousannif H，Al Moatassime H，et al. Using machine learning algorithms for breast cancer risk prediction and diagnosis ［J］. Procedia Computer Science，2016，83（C）： 1064-1069.

［4］顧耀文，張博文，鄭思，等. 基于圖注意力網絡的藥物ADMET分類預測模型構建方法 ［J］. 數據分析與知識發現，2021，5（8）： 76-85. （Gu Yaowen，Zhang Bowen，Zheng Si，et al. Predicting drug ADMET properties based on graph attention network ［J］. Data Analysis and Knowledge Discovery，2021，5（8）： 76-85.）

［5］Aslan M F，Clik Y，Sabanci K，et al. Breast cancer diagnosis by different machine learning methods using blood analysis data ［J］. International Journal of Intelligent Systems and Applications in Engineering，2018，6（4）： 289-293.

［6］Ferreira L L G，Andricopulo A D. ADMET modeling approaches in drug discovery［J］. Drug Discovery Today，2019，24（5）： 1157-1165.

［7］Sasahara K，Shibata M，Sasabe H，et al. Feature importance of machine learning prediction models shows structurally active part and important physicochemical features in drug design ［J］. Drug Metabolism and Pharmacokinetics，2021，39： 100401.

［8］Schneider P，Walters W P，Plowright A T，et al. Rethinking drug design in the artificial intelligence era ［J］. Nature Reviews Drug Discovery，2020，19（5）： 353-364.

［9］Kumar K，Chupakhin V，Vos A，et al. Development and implementation of an enterprise-wide predictive model for early absorption，distribution，metabolism and excretion properties ［J］. Future Medicinal Chemistry，2021，13（19）： 1639-1654.

［10］呂軍蘋，周璐，石東旭，等. 基于計算機模擬的馬齒莧抗炎活性成分篩選 ［J］. 中國新藥雜志，2022，31（4）： 369-375. （Lyu Junping，Zhou Lu，Shi Dongxu，et al. In silico study of the anti-inflammatory activity of Portulaca oleracea L. ingredients ［J］. Chinese Journal of New Drugs，2022，31（4）： 369-375.）

［11］De Moura E P，Fernandes N D，Monteiro A F M，et al. Machine lear-ning，molecular modeling，and QSAR studies on natural products against Alzheimer’s disease ［J］. Current Medicinal Chemistry，2021，28（38）： 7808-7829.

［12］Bannigan P，Aldeghi M，Bao Z，et al. Machine learning directed drug formulation development ［J］. Advanced Drug Delivery Reviews，2021，175： 113806.

［13］Racz A，Bajusz D，Miranda-Quintana R A，et al. Machine learning models for classification tasks related to drug safety ［J］. Molecular Diversity，2021，25（3）： 1-16.

［14］Ekins S，Puhl A C，Zorn K M，et al. Exploiting machine learning for end-to-end drug discovery and development ［J］. Nature Materials，2019，18（5）： 435-441.

［15］Shou W Z. Current status and future directions of high-throughput ADME screening in drug discovery ［J］. Journal of Pharmaceutical Analysis，2020，10（3）： 201-208.

［16］Vatansever S，Schlessinger A，Wacker D，et al. Artificial intelligence and machine learning-aided drug discovery in central nervous system diseases： state-of-the-arts and future directions ［J］. Medicinal Research Reviews，2020，41（3）： 1427-1473.

［17］Nayarisseri A，Khandelwal R，Tanwar P，et al. Artificial intelligence，big data and machine learning approaches in precision medicine amp; drug discovery［J］. Current Drug Targets，2021，22（6）：631-655.

［18］Ai Haixin，Wu Xuewei，Zhang Li，et al. QSAR modelling study of the bioconcentration factor and toxicity of organic compounds to aquatic organisms using machine learning and ensemble methods ［J］. Ecotoxicology and Environmental Safety，2019，179： 71-78.

［19］Chen Cheng，Zhang Qingmei，Yu Bin，et al. Improving protein-protein interactions prediction accuracy using XGBoost feature selection and stacked ensemble classifier ［J］. Computers in Biology and Medicine，2020，123： 103899.

［20］Deng Daiguo，Chen Xiaowei，Zhang Ruochi，et al. XGraphBoost： extracting graph neural network-based features for a better prediction of molecular properties ［J］. Journal of Chemical Information and Modeling，2021，61（6）： 2697-2705.

［21］Kumar A，Kini S G，Rathi E. A recent appraisal of artificial intelligence and in silico ADMET prediction in the early stages of drug discovery ［J］. Mini Reviews in Medicinal Chemistry，2021，21（18）： 2788-2800.

［22］Wallach I，Dzamba M，Heifets A. AtomNet： a deep convolutional neural network for bioactivity prediction in structure-based drug discovery ［J］. Mathematische Zeitschrift，2015，47（1）： 34-46.

［23］Chen Hongming，Engkvist O，Wang Yinhai，et al. The rise of deep learning in drug discovery ［J］. Drug Discovery Today，2018，23（6）： 1241-1250.

［24］Kearnes S，Mccloskey K，Berndl M，et al. Molecular graph convolutions： moving beyond fingerprints ［J］. Journal of Computer-Aided Molecular Design，2016，30（8）： 595-608.

［25］Shi Tingting，Yang Yingwu，Huang Shuheng，et al. Molecular image-based convolutional neural network for the prediction of ADMET pro-perties ［J］. Chemometrics and Intelligent Laboratory Systems，2019，194： 103853.

［26］Duvenaud D K，Maclaurin D，Iparraguirre J，et al. Convolutional networks on graphs for learning molecular fingerprints ［J］. Advances in Neural Information Processing Systems，2015，28： 2224-232.

［27］Gilmer J，Schoenholz S S，Riley P F，et al. Neural message passing for quantum chemistry ［C］// Proc of the 34th International Conference on Machine Learning. 2017： 1263-1272.

［28］St John P C，Guan Yanfei，Kim Y，et al. Prediction of organic homolytic bond dissociation enthalpies at near chemical accuracy with sub-second computational cost ［J］. Nature Communications，2020，11（1）： 1-12.

［29］Montanari F，Kuhnke L，Laak A T，et al. Modeling physico-chemical ADMET endpoints with multitask graph convolutional networks ［J］. Molecules，2019，25（1）： 44.

［30］Feinberg E N，Joshi E，Pande V S，et al. Improvement in ADMET prediction with multitask deep featurization ［J］. Journal of Medicinal Chemistry，2020，63（16）： 8835-8848.

［31］Xiong Guoli，Wu Zhenxing，Yi Jiacai，et al. ADMETlab 2. 0： an integrated online platform for accurate and comprehensive predictions of ADMET properties ［J］. Nucleic Acids Research，2021，49（W1）： 5-14.

［32］Hinton G E，Krizhevsky A，Wang S D. Transforming auto-encoders ［C］// Proc of the 21st International Conference on Artificial Neural Networks. Berlin： Springer，2011： 44-51.

［33］Patrick M K，Adekoya A F，Mighty A A，et al. Capsule networks-a survey ［J］. Journal of King Saud University-Computer and Information Sciences，2022，34（1）： 1295-1310.

［34］Sabour S，Frosst N，Hinton G E. Dynamic routing between capsules ［C］// Proc of the 30th Annual Conference on Neural Information Processing Systems. Cambridge： MIT Press，2017： 3856-3866.

［35］Khan A，Sohail A，Zahoora U，et al. A survey of the recent architectures of deep convolutional neural networks ［J］. Artificial Intelligence Review，2020，53（8）： 5455-5516.

［36］Cai Biao，Wang Yanpeng，Zeng Lina，et al. Edge classification based on convolutional neural networks for community detection in complex network ［J］. Physica A： Statistical Mechanics and Its Applications，2020，556： 124826.