基于預(yù)訓(xùn)練語言模型提示的藥物靶標(biāo)相互作用預(yù)測方法

摘要：藥物靶標(biāo)相互作用的準(zhǔn)確預(yù)測對加速新藥研發(fā)至關(guān)重要。近年來，基于序列的藥物靶標(biāo)相互作用預(yù)測方法受到廣泛關(guān)注，并在預(yù)測性能上取得了顯著進展。然而，直接采用Transformer架構(gòu)的序列編碼器通常面臨參數(shù)量大、計算復(fù)雜度高的問題，從而限制了其實際應(yīng)用。為解決這一問題，提出了一種基于提示的學(xué)習(xí)策略。該策略通過引入可學(xué)習(xí)的門控參數(shù)，將預(yù)訓(xùn)練語言模型的通用知識作為提示，動態(tài)適配到學(xué)生模型的特定任務(wù)知識，從而優(yōu)化序列的特征表示。實驗結(jié)果表明，該方法在減少模型參數(shù)的同時，提升了預(yù)測性能，能夠?qū)崿F(xiàn)高效且準(zhǔn)確的藥物靶標(biāo)相互作用預(yù)測。

關(guān)鍵詞：新藥研發(fā)；藥物靶標(biāo)相互作用；深度學(xué)習(xí)；提示學(xué)習(xí)；預(yù)訓(xùn)練語言模型；教師學(xué)生架構(gòu)

中圖分類號：TP181" " 文獻標(biāo)識碼：A

文章編號：1009-3044（2025）07-0034-04

開放科學(xué)（資源服務(wù)） 標(biāo)識碼（OSID）

0 引言

新藥研發(fā)是一個復(fù)雜且耗時的過程，包括靶標(biāo)識別、先導(dǎo)化合物發(fā)現(xiàn)、臨床前研究和臨床試驗等多個階段。然而，根據(jù)報告顯示[1]，大多數(shù)藥物研發(fā)項目在臨床試驗階段以失敗告終，其主要原因在于靶標(biāo)驗證的不足。這一現(xiàn)象表明，針對特定靶標(biāo)進行精確的藥物篩選是新藥研發(fā)邁向成功的關(guān)鍵第一步。

在此背景下，藥物靶標(biāo)相互作用（Drug-Target Interaction， DTI） 預(yù)測成為加速新藥研發(fā)進程的重要研究方向。藥物靶標(biāo)相互作用預(yù)測的核心目標(biāo)是識別能夠與疾病靶標(biāo)結(jié)合的藥物分子，從而通過抑制或激活特定生物過程改善疾病癥狀?？焖偾覝?zhǔn)確地篩選出具有生物活性的藥物分子，將顯著提高新藥研發(fā)的效率。

傳統(tǒng)的濕實驗方法盡管能夠提供可靠的藥物靶標(biāo)相互作用結(jié)果，但這些方法依賴生物化學(xué)和生物物理實驗技術(shù)，面臨高成本、長周期等限制，難以在大規(guī)模數(shù)據(jù)中推廣應(yīng)用。相比之下，計算方法憑借其處理大規(guī)模數(shù)據(jù)的效率，可迅速縮小候選藥物的搜索范圍，并在實驗驗證之前篩選出潛在藥物分子，因此受到廣泛關(guān)注。尤其是近年來基于深度學(xué)習(xí)的計算方法，因其顯著的性能提升而備受青睞[2]。此類方法通常將藥物分子SMILES字符串和蛋白質(zhì)氨基酸序列視為類似自然語言的序列，利用Transformer架構(gòu)對其進行建模，自動學(xué)習(xí)藥物分子和蛋白質(zhì)靶標(biāo)的特征表示。然而，這種方法存在一個局限性，即其計算復(fù)雜度隨輸入序列長度的增加呈二次方增長[3]。尤其是蛋白質(zhì)氨基酸序列由于其固有的復(fù)雜性和較長的長度，使得有效建模需要大規(guī)模參數(shù)化的模型，進而導(dǎo)致推斷時間顯著增加。

為解決上述問題，本文提出了一種基于預(yù)訓(xùn)練語言模型提示的藥物靶標(biāo)相互作用預(yù)測方法。該方法的核心在于采用兩個預(yù)訓(xùn)練語言模型作為教師模型，分別用于藥物分子和蛋白質(zhì)靶標(biāo)的特征提取。通過提前緩存教師模型輸出的特征表示，并將這些表示作為簡化學(xué)生模型的提示，將教師模型的通用知識適配到與藥物靶標(biāo)相互作用預(yù)測任務(wù)相關(guān)的學(xué)生模型的特定知識。這種基于提示的知識適配方法顯著減少了模型的參數(shù)規(guī)模，提高了計算效率，同時提升了藥物靶標(biāo)相互作用預(yù)測的準(zhǔn)確性。

1 相關(guān)研究

1.1 分子語言模型

基于大規(guī)模分子數(shù)據(jù)集預(yù)訓(xùn)練的分子語言模型已成為研究分子結(jié)構(gòu)與功能關(guān)系的重要工具。這類模型借鑒自然語言處理領(lǐng)域的自監(jiān)督學(xué)習(xí)方法，以分子的SMILES字符串作為輸入，能夠從中自動學(xué)習(xí)深層次的分子特征。其中，ChemBERTa[4]和MoLFormer[5]模型具有代表性。ChemBERTa采用RoBERTa架構(gòu)，通過捕捉SMILES序列中的上下文信息，提供了強大的分子表示能力，顯著提高了分子性質(zhì)預(yù)測的精度。相較于ChemBERTa，MoLFormer利用更大規(guī)模的數(shù)據(jù)集和更復(fù)雜的預(yù)訓(xùn)練策略，進一步增強了分子表示的適應(yīng)性，可以更充分地捕捉分子的化學(xué)和結(jié)構(gòu)信息。這些分子語言模型不僅在分子性質(zhì)預(yù)測中表現(xiàn)出色，還為分子與蛋白質(zhì)靶標(biāo)的相互作用建模提供強大的支持，使得模型能夠有效地從分子序列中提取高質(zhì)量的語義特征表示，為藥物靶標(biāo)相互作用的精確預(yù)測奠定基礎(chǔ)。

1.2 蛋白質(zhì)語言模型

蛋白質(zhì)語言模型為探索蛋白質(zhì)結(jié)構(gòu)與功能關(guān)系開辟了全新路徑。這些模型能夠從蛋白質(zhì)序列中提取復(fù)雜模式與特征，極大地推動了生物信息學(xué)領(lǐng)域的研究進展。以ProtBERT[6]和ESM-2[7]為代表的兩種模型在不同任務(wù)中展現(xiàn)出了卓越性能。ProtBERT基于BERT結(jié)構(gòu)，利用雙向編碼機制獲取蛋白質(zhì)序列的豐富語義表示，在序列注釋和功能預(yù)測等任務(wù)中表現(xiàn)出色。與ProtBERT相比，ESM-2通過擴展模型規(guī)模和訓(xùn)練數(shù)據(jù)量，并整合進化信息，大幅提升了對蛋白質(zhì)序列的建模能力。其能夠端到端地從初級序列直接生成原子級分辨率的三維結(jié)構(gòu)，大幅簡化了特征工程步驟，并顯著提高了計算效率和自動化水平。在藥物靶標(biāo)相互作用預(yù)測任務(wù)中，使用蛋白質(zhì)語言模型處理復(fù)雜的蛋白質(zhì)序列，可提供更好的蛋白質(zhì)特征表示，從而增強藥物與靶標(biāo)結(jié)合的預(yù)測能力。

2 方法

本研究將藥物分子的SMILES序列與蛋白質(zhì)的氨基酸序列作為輸入，目標(biāo)是在藥物靶標(biāo)相互作用任務(wù)中預(yù)測其交互概率[p∈[0，1]]。直接使用語言模型編碼序列在計算效率和預(yù)測準(zhǔn)確度方面表現(xiàn)有限。為此，本文提出了一種新的藥物靶標(biāo)相互作用預(yù)測模型，其架構(gòu)如圖1所示。

該模型主要由三大模塊構(gòu)成：藥物編碼器、蛋白質(zhì)編碼器和分類預(yù)測器。藥物編碼器從SMILES序列中提取特征，包括ChemBERTa教師模型和一個簡化的學(xué)生模型；蛋白質(zhì)編碼器采用類似架構(gòu)，從蛋白質(zhì)序列中提取特征，由ESM-2教師模型和對應(yīng)的學(xué)生模型構(gòu)成；分類預(yù)測器則整合上述模塊輸出的特征，預(yù)測藥物靶標(biāo)對的相互作用概率值。

本方法通過預(yù)訓(xùn)練語言模型提供對序列的一般性理解，將教師模型輸出視為通用知識，并以此作為提示，指導(dǎo)學(xué)生模型從序列中學(xué)習(xí)特定任務(wù)相關(guān)知識，提升泛化性能。

2.1 藥物編碼器

藥物編碼器對輸入的SMILES序列進行編碼，將其映射為特征向量。該模塊包括教師模型與學(xué)生模型。教師模型選用ChemBERTa，基于PubChem數(shù)據(jù)集的SMILES序列進行預(yù)訓(xùn)練，能夠捕獲復(fù)雜的分子結(jié)構(gòu)信息，并生成豐富的語義特征表示。該模型具有6個隱藏層和12個注意力頭，輸出特征維度為768。為提高特征表達的整體性，降低對序列長度的敏感度，本研究采用最后一個隱藏層所有詞元向量的均值作為輸出特征，而非特定類別詞元（class token） 的向量。學(xué)生模型架構(gòu)與ChemBERTa類似，僅減少了隱藏層數(shù)和注意力頭數(shù)，其余超參數(shù)保持一致，使其參數(shù)量約為教師模型的36%。兩者參數(shù)的詳細對比見表1。

由于直接對大語言模型進行全參數(shù)微調(diào)在計算資源受限的情況下不現(xiàn)實，本文提出基于提示的訓(xùn)練策略：將教師模型的輸出緩存在本地磁盤中，訓(xùn)練過程中凍結(jié)教師模型，僅更新學(xué)生模型參數(shù)。通過可學(xué)習(xí)的門控參數(shù)[α]，提供一種動態(tài)知識適配機制。具體而言，在訓(xùn)練過程中，門控參數(shù)會根據(jù)梯度優(yōu)化的結(jié)果自動調(diào)整其值，并以加權(quán)求和的形式將教師模型輸出的通用知識與學(xué)生模型輸出的特定知識相結(jié)合。藥物編碼過程形式化為：

[zd=（1-α）?gd[xd]+α?hd[xd]] （1）

式中：[xd]為輸入的SMILES序列，其長度上限為512個詞元，超過將被截斷，短于則被填充。[gd[?]]和[hd[?]]分別代表藥物編碼器的教師模型和學(xué)生模型，用于編碼給定的輸入序列。參數(shù)[α]通過服從均勻分布[Uniformα[0，1]]隨機初始化。在訓(xùn)練期間，若參數(shù)[α]值升高，表明編碼器更傾向?qū)W生模型的特定知識。相反，若參數(shù)[α]值降低，表示編碼器更多依賴教師模型的通用知識。

最終，藥物特征表示[zd]經(jīng)歸一化層[Norm[?]]和線性變換函數(shù)[f[?]]進行維度對齊，從768維轉(zhuǎn)換為512維：

[z′d=f[Norm[zd]]] （2）

2.2 蛋白質(zhì)編碼器

蛋白質(zhì)編碼器與藥物編碼器結(jié)構(gòu)類似，由教師模型和學(xué)生模型組成，負責(zé)對蛋白質(zhì)氨基酸序列進行特征提取。教師模型選用ESM-2，基于UniRef50數(shù)據(jù)集預(yù)訓(xùn)練，具有33個隱藏層和20個注意力頭，參數(shù)量達650 M，能夠生成高質(zhì)量的蛋白質(zhì)特征表示，輸出特征維度為1 280。學(xué)生模型在架構(gòu)設(shè)計上與教師模型保持一致，但顯著降低了隱藏層數(shù)和注意力頭數(shù)，參數(shù)量僅為教師模型的9.5%。兩者具體參數(shù)對比見表2。

類似于藥物編碼器，教師模型在訓(xùn)練期間被凍結(jié)，僅提供提示信息。通過可學(xué)習(xí)的門控參數(shù)[β]，融合教師模型的通用知識和學(xué)生模型的特定知識：

[zp=（1-β）?gp[xp]+β?hp[xp]] （3）

式中：[xp]表示輸入的蛋白質(zhì)序列，其長度固定為1 024個詞元。[gp[?]]和[hp[?]]分別為蛋白質(zhì)編碼器的教師模型和學(xué)生模型，用于編碼給定的蛋白質(zhì)序列。參數(shù)[β]初始化方式和作用都與[α]相同。

蛋白質(zhì)特征表示[zp]經(jīng)歸一化層[Norm[?]]和線性變換函數(shù)[f[?]]處理后，從1 280維轉(zhuǎn)換為512維特征表示：

[z′p=f[Norm[zp]]] （4）

2.3 分類預(yù)測器

分類預(yù)測器模塊接收維度為1 024的結(jié)合特征表示，該向量由對齊后的藥物和蛋白質(zhì)特征表示拼接得到。模塊由三層順序堆疊的全連接塊組成，每層包括全連接層、GELU激活函數(shù)和丟棄層。全連接層的隱藏單元數(shù)依次為2 048、1 024和512，丟棄率均設(shè)為0.1。最終輸出為預(yù)測的交互概率值。

3 實驗

3.1 數(shù)據(jù)集

為了評估模型性能，本文選用先前研究[8]提供的兩個基準(zhǔn)數(shù)據(jù)集：BindingDB[9]和BioSNAP[10]。每個數(shù)據(jù)集按7∶1∶2的比例隨機劃分為訓(xùn)練集、驗證集和測試集。BindingDB數(shù)據(jù)集可通過公開網(wǎng)絡(luò)獲取，主要包含藥物靶標(biāo)蛋白質(zhì)與類藥小分子之間相互作用的數(shù)據(jù)，其中包括經(jīng)實驗驗證的結(jié)合親和力值。BioSNAP數(shù)據(jù)集最初僅包含正類相互作用樣本對，后在MolTrans[11]研究中，通過從未觀測過的藥物靶標(biāo)對中采樣補充了負類樣本對，最終形成了正負樣本數(shù)量相等的平衡數(shù)據(jù)集，這也是本文使用的數(shù)據(jù)集版本。兩個基準(zhǔn)數(shù)據(jù)集的統(tǒng)計信息詳見表3。

3.2 評估指標(biāo)

藥物靶標(biāo)相互作用預(yù)測任務(wù)屬于二分類問題，本文主要采用兩個評估指標(biāo)：受試者工作特征曲線下面積（Area Under the Receiver Operating Characteristic Curve， AUROC） 和精確率-召回率曲線下面積（Area Under the Precision-Recall Curve， AUPRC） 。AUROC衡量了模型在不同決策閾值下區(qū)分正負樣本的能力，值越大，說明模型區(qū)分能力越強。AUPRC適用于正負樣本比例失衡的場景，直接反映模型對正類樣本的檢測性能，不受負類樣本比例的影響。

此外，本文還引入了準(zhǔn)確率（Accuracy） 、敏感性（Sensitivity） 和特異性（Specificity） 作為補充指標(biāo)。這些指標(biāo)均基于最佳F1分數(shù)的決策閾值計算，用于更全面地評估模型性能。

3.3 實驗設(shè)置

實驗在單塊顯存容量為24GB的NVIDIA A10顯卡上進行，基于PyTorch深度學(xué)習(xí)框架實現(xiàn)，語言模型使用Transformers庫構(gòu)建。為提高數(shù)據(jù)處理的靈活性和訓(xùn)練流程的管理效率，實驗還使用了PyTorch Lightning庫組織訓(xùn)練、驗證和測試階段。

具體超參數(shù)配置如表4所示，兩個數(shù)據(jù)集使用相同的設(shè)置，并未進行單獨調(diào)參。優(yōu)化器選用AdamW，同時采用余弦退火學(xué)習(xí)率調(diào)整策略，以促進模型的有效收斂并提升最終性能。

3.4 實驗結(jié)果

為確保結(jié)果的準(zhǔn)確性與穩(wěn)定性，本文設(shè)置不同隨機種子，分別對每個數(shù)據(jù)集進行5次獨立訓(xùn)練。每次訓(xùn)練過程中，保存驗證集上AUPRC值最高的模型參數(shù)，并在測試集上評估一次。最終，取5次測試結(jié)果的平均值與標(biāo)準(zhǔn)差作為模型的最終性能。

本文選取了五個基線方法進行對比，包括兩個傳統(tǒng)機器學(xué)習(xí)方法SVM和RF，以及三個深度學(xué)習(xí)方法：DeepConv-DTI[12]、GraphDTA[2]和MolTrans[11]。實驗結(jié)果見表5。

從表5中可以看出，深度學(xué)習(xí)方法相比傳統(tǒng)機器學(xué)習(xí)方法在BindingDB數(shù)據(jù)集上的性能提升并不顯著。這主要是由于BindingDB數(shù)據(jù)集中藥物和蛋白質(zhì)比例極其不平衡，樣本對中存在大量高度相似的藥物樣本，導(dǎo)致模型更傾向于學(xué)習(xí)藥物模式，而非關(guān)注藥物與靶標(biāo)間的相互作用。這種捷徑學(xué)習(xí)限制了深度學(xué)習(xí)方法在該數(shù)據(jù)集上的優(yōu)勢，致使其表現(xiàn)與傳統(tǒng)方法接近。

實驗結(jié)果顯示，本文方法在AUROC、AUPRC和準(zhǔn)確率方面均優(yōu)于基線方法，同時在敏感性和特異性上的表現(xiàn)也具有較強競爭力。特別是在BioSNAP數(shù)據(jù)集上，本文方法的性能提升尤為顯著，AUROC和AUPRC分別達到0.911和0.918。這可能歸因于兩點：一是數(shù)據(jù)集的平衡性，BioSNAP數(shù)據(jù)集正負樣本對等，使得以AUPRC為保存標(biāo)準(zhǔn)的優(yōu)化策略能夠最大化模型在正類上的表現(xiàn)，從而間接提升對負類的預(yù)測能力；二是訓(xùn)練策略的適配性，所選超參數(shù)設(shè)置更契合BioSNAP數(shù)據(jù)集的特性，進一步提升了模型性能。

綜上所述，本文提出的方法在多個評估指標(biāo)上均表現(xiàn)出性能優(yōu)勢，驗證了其在藥物靶標(biāo)相互作用預(yù)測任務(wù)中的有效性。此外，實驗結(jié)果表明，本文方法在不同數(shù)據(jù)集上的表現(xiàn)具有較高的穩(wěn)定性，標(biāo)準(zhǔn)差較低，證明了其在隨機初始化條件下的可靠性。

4 結(jié)論

藥物靶標(biāo)相互作用預(yù)測在加速新藥研發(fā)中發(fā)揮著關(guān)鍵作用。本文提出了一種基于提示學(xué)習(xí)和教師學(xué)生架構(gòu)的藥物靶標(biāo)相互作用預(yù)測方法。通過引入可學(xué)習(xí)的門控參數(shù)，將預(yù)訓(xùn)練語言模型的通用知識與學(xué)生模型的特定任務(wù)知識相結(jié)合，從而在保持計算效率的同時，提高預(yù)測性能。實驗結(jié)果顯示，該方法在多個關(guān)鍵評估指標(biāo)上均實現(xiàn)了更高的預(yù)測性能，且表現(xiàn)出較強的穩(wěn)定性。這表明，基于教師學(xué)生架構(gòu)的知識適配方法能夠有效捕捉序列特征，并提升藥物靶標(biāo)相互作用預(yù)測的準(zhǔn)確性與效率。未來的研究可以聚焦于交叉注意力機制，重點關(guān)注藥物與靶標(biāo)之間特征交互的建模，而不僅僅是簡單地將藥物和靶標(biāo)的特征向量拼接，以進一步提升模型的預(yù)測性能和廣泛適用性。

參考文獻：

[1] ARROWSMITH J. Phase II failures： 2008-2010[J].Nature Reviews Drug Discovery， 2011，10（5）：328-329.

[2] NGUYEN T， LE H， QUINN T P， et al. GraphDTA： Predicting drug-target binding affinity with graph neural networks[J].Bioinformatics，2021，37（8）：1140-1147.

[3] LEE J， JUN D W， SONG I， et al. DLM-DTI： A dual language model for the prediction of drug-target interaction with hint-based learning[J].Journal of Cheminformatics， 2024，16（1）：14.

[4] CHITHRANANDA S， GRAND G， RAMSUNDAR B. ChemBERTa： Large-scale self-supervised pretraining for molecular property prediction[EB/OL].[2024-02-15].https：//arxiv.org/abs/2010.09885v2.

[5] ROSS J， BELGODERE B， CHENTHAMARAKSHAN V， et al. Large-scale chemical language representations capture molecular structure and properties[J]. Nature Machine Intelligence，2022（4）：1256-1264.

[6] ELNAGGAR A， HEINZINGER M， DALLAGO C， et al. ProtTrans： Towards cracking the language of life's code through self-supervised deep learning and high performance computing[EB/OL].[2024-02-15].ArXiv e-Prints，2020：arXiv：2007. 06225.

[7] LIN Z M， AKIN H， RAO R， et al. Evolutionary-scale prediction of atomic-level protein structure with a language model[J].Science，2023，379（6637）：1123-1130.

[8] BAI P Z， MILJKOVI? F， JOHN B， et al. Interpretable bilinear attention network with domain adaptation improves drug-target prediction[J].Nature Machine Intelligence，2023（5）：126-136.

[9] LIU T Q， LIN Y， WEN X， et al. BindingDB： A web-accessible database of experimentally determined protein-ligand binding affinities[J]. Nucleic Acids Research，2007（35）：198-201.

[10] ZITNIK M， SOSIC R， LESKOVEC J. BioSNAP Datasets： Stanford biomedical network dataset collection[EB/OL].[2022-10-08].http：//snap.stanford.edu/biodata.

[11] HUANG K X， XIAO C， GLASS L M， et al. MolTrans： Molecular Interaction Transformer for drug-target interaction prediction[J].Bioinformatics，2021，37（6）： 830-836.

[12] LEE I， KEUM J， NAM H. DeepConv-DTI： Prediction of drug-target interactions via deep learning with convolution on protein sequences[J]. PLoS Computational Biology， 2019，15（6）： e1007129.

【通聯(lián)編輯：唐一東】