基于深度學(xué)習(xí)和LDA的學(xué)科研究前沿主題識(shí)別探究

石 磊，李 君，吳 婷

(哈爾濱工業(yè)大學(xué) 圖書(shū)館，黑龍江 哈爾濱 150000)

0 引言

研究前沿識(shí)別方法通常包括主觀(guān)法、客觀(guān)法和主客觀(guān)結(jié)合法。客觀(guān)識(shí)別方法又可分為引文分析法(共被引分析、耦合分析、直接引用分析)，文本內(nèi)容分析法(詞頻分析、共詞分析、爆發(fā)詞檢測(cè)、概率主題模型、SAO結(jié)構(gòu))兩大類(lèi)[1]。引文分析法由于時(shí)滯性的缺陷逐漸被文本內(nèi)容分析法所取代，文本內(nèi)容分析法中的詞頻和共詞分析不能很好地反映詞語(yǔ)間的語(yǔ)義關(guān)聯(lián)，爆發(fā)詞檢測(cè)有一定局限性，而原始的概率主題模型也未考慮主題詞在上下文中的含義，SAO結(jié)構(gòu)不夠靈活、計(jì)算效率有待提高。隨著計(jì)算機(jī)硬件計(jì)算能力的提升，深度學(xué)習(xí)技術(shù)在文本分析、自然語(yǔ)言處理領(lǐng)域得到了廣泛應(yīng)用。本文提出一種基于深度學(xué)習(xí)ELMo和LDA概率主題模型的學(xué)科研究前沿識(shí)別方法。

納米技術(shù)近年來(lái)一直備受關(guān)注，2016年諾貝爾化學(xué)獎(jiǎng)授予了3位設(shè)計(jì)合成出分子納米機(jī)器的科學(xué)家。微納馬達(dá)作為納米技術(shù)的重要研究分支，是一種能夠?qū)⑼獠枯斎肽芰哭D(zhuǎn)化為動(dòng)能的微納米裝置。因?yàn)槲⒓{馬達(dá)的尺寸很小，能夠完成一些微觀(guān)尺度的復(fù)雜功能，例如納米組裝、納米制造、靶向治療，所以微納馬達(dá)在微機(jī)電系統(tǒng)、生物、醫(yī)療等領(lǐng)域具有廣闊的應(yīng)用前景。因此，如何準(zhǔn)確地把握微納馬達(dá)領(lǐng)域的研究熱點(diǎn)，識(shí)別研究前沿顯得至關(guān)重要。

1 模型方法

傳統(tǒng)的自然語(yǔ)言文本語(yǔ)義識(shí)別，主要有兩種方法：一種是預(yù)測(cè)局部上下文信息的Word2vec詞向量模型；另一種是全局主題LDA模型，從整體把握文本主題，兩者各有優(yōu)缺點(diǎn)。2016年Moody首先提出將LDA與Word2vec相結(jié)合，以提高自然語(yǔ)言處理算法對(duì)文本整體和局部語(yǔ)義內(nèi)容理解的準(zhǔn)確度[2]。本文用ELMo模型代替Word2vec模型，以更好地解決詞向量在不同語(yǔ)境語(yǔ)義不相同的問(wèn)題。

1.1 ELMo模型

ELMo模型于2018年被首次提出，它主要是基于深度學(xué)習(xí)領(lǐng)域的循環(huán)卷積網(wǎng)絡(luò)原理，建立一個(gè)與上下文信息相關(guān)的詞向量，為多義詞提供更好的向量表示，克服了Word2vec詞向量只能表示詞語(yǔ)單一語(yǔ)義的問(wèn)題[3]。原始詞向量經(jīng)過(guò)前向與后向結(jié)構(gòu)的多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，得到與上下文信息有關(guān)的動(dòng)態(tài)詞向量。圖1為ELMo模型框圖，輸出詞向量為輸入詞向量和各隱含層向量的加權(quán)和，這其中包含了大量上下文相關(guān)信息。

圖1中第k個(gè)單詞的ELMo輸出向量可以表示為：

(1)

圖1 ELMo模型

1.2 LDA概率主題模型

LDA是Blei于2003年提出的一種文檔主題生成模型，是以文檔-主題-詞語(yǔ)的3層貝葉斯結(jié)構(gòu)來(lái)實(shí)現(xiàn)文檔中主題及詞匯生成的，能夠識(shí)別大規(guī)模文檔中潛藏的主題信息[4]。在模型的3層結(jié)構(gòu)中，首先假設(shè)詞由主題的概率分布產(chǎn)生，其次假設(shè)文檔是由潛在主題的概率分布產(chǎn)生，再次針對(duì)每個(gè)文檔從Dirichlet分布中抽樣產(chǎn)生該文檔包含的主題，最后結(jié)合主題和詞的概率分布生成該文檔的每一個(gè)詞。

2 數(shù)據(jù)來(lái)源及研究方法

2.1 數(shù)據(jù)來(lái)源

2.1.1 數(shù)據(jù)獲取

因?yàn)镾CIE收錄的文章專(zhuān)業(yè)性較好、質(zhì)量較高、影響力較大，本文選取該數(shù)據(jù)集，文章類(lèi)型選擇Article，Review，Proceeding，Letter 4種，檢索主題詞要考慮各種英文同義詞和變形表達(dá)式。檢索時(shí)間范圍設(shè)為2006—2020年，共檢索到文章4 763篇，經(jīng)過(guò)去重和數(shù)據(jù)清洗，剩余4 711篇。

2.1.2 數(shù)據(jù)預(yù)處理

檢索主題詞限定于文章的題目、摘要所包含的內(nèi)容。利用英文自然語(yǔ)言預(yù)處理工具NLTK，對(duì)檢索后的文本內(nèi)容分別進(jìn)行分詞、詞干提取、詞性歸并、詞性標(biāo)注、去停用詞等步驟，最后得到具有實(shí)際語(yǔ)義的詞匯組成的文本集合。

2.2 研究方法

2.2.1 基于ELMo和LDA模型的研究熱點(diǎn)主題識(shí)別

圖2 學(xué)科研究前沿主題識(shí)別流程

2.2.2 前沿主題的測(cè)度指標(biāo)及權(quán)重系數(shù)

目前學(xué)術(shù)界已有關(guān)于評(píng)價(jià)研究前沿的特征測(cè)度指標(biāo)，本文選取主題強(qiáng)度、主題新穎性、主題創(chuàng)造性、主題交叉度作為研究前沿的測(cè)度指標(biāo)。主題強(qiáng)度用同一主題內(nèi)的篇均被引頻次表示；主題新穎性用同一主題篇均發(fā)表時(shí)間表示；主題創(chuàng)造性用不同主題的主題詞向量間語(yǔ)義相似度表示；學(xué)科交叉度用同一主題學(xué)科分布和學(xué)科距離表示[5]。再通過(guò)熵權(quán)法計(jì)算不同時(shí)間段學(xué)科研究前沿測(cè)度指標(biāo)的權(quán)重系數(shù)，最終確定研究熱點(diǎn)主題的前沿性先后排序。另外，為了比較微納馬達(dá)領(lǐng)域研究前沿長(zhǎng)期和近期變化差異，本文選取2006—2020年、2016—2020年兩個(gè)時(shí)間段進(jìn)行對(duì)比分析。表1為兩個(gè)時(shí)間段研究前沿主題測(cè)度指標(biāo)的權(quán)重系數(shù)。

表1 研究前沿特征測(cè)度指標(biāo)權(quán)重系數(shù)

2.2.3 前沿主題的識(shí)別結(jié)果

表2和表3分別為2006—2020年和2016—2020年兩個(gè)時(shí)間段微納馬達(dá)研究熱點(diǎn)主題前沿性綜合測(cè)度結(jié)果。兩個(gè)表中，對(duì)4個(gè)研究前沿特征測(cè)度指標(biāo)都進(jìn)行了歸一化處理。從表2和表3可以得出以下結(jié)論：第一，與主題概率分布相關(guān)性最大的主題強(qiáng)度對(duì)前沿主題綜合測(cè)度排序并不起決定作用；第二，近5年的細(xì)胞馬達(dá)、集群微納馬達(dá)、生物相容性微納馬達(dá)這些新的具有挑戰(zhàn)性的研究主題替代生物應(yīng)用、水環(huán)境應(yīng)用、磁驅(qū)動(dòng)微納馬達(dá)進(jìn)入研究熱點(diǎn)行列；第三，作為微納馬達(dá)重要應(yīng)用領(lǐng)域的醫(yī)學(xué)應(yīng)用由于較好的經(jīng)濟(jì)前景，一直位列研究最前沿。

表2 2006—2020年研究熱點(diǎn)主題前沿性綜合測(cè)度

表3 2016—2020年研究熱點(diǎn)主題前沿性綜合測(cè)度

3 研究熱點(diǎn)主題分析

3.1 微納馬達(dá)熱點(diǎn)主題

3.1.1 醫(yī)學(xué)應(yīng)用

微納馬達(dá)可以深入人體血液系統(tǒng)等狹小復(fù)雜的空間，能夠精確靈活地識(shí)別捕捉操控細(xì)胞或分子，在醫(yī)療領(lǐng)域有著非常廣闊的應(yīng)用前景，靶向給藥是微納馬達(dá)最主要的醫(yī)療應(yīng)用的研究方向[6]。

3.1.2 自驅(qū)微納馬達(dá)

自驅(qū)微納馬達(dá)利用自身非對(duì)稱(chēng)的物理結(jié)構(gòu)或化學(xué)反應(yīng)進(jìn)行自主運(yùn)動(dòng)。常見(jiàn)的自驅(qū)動(dòng)機(jī)理有基于濃度梯度的自擴(kuò)散泳、基于溫度梯度的自熱泳、基于電場(chǎng)梯度的自電泳、基于壓力梯度的自聲泳以及氣泡驅(qū)動(dòng)。

3.1.3 Janus微納馬達(dá)

Janus微納馬達(dá)是一種重要的自驅(qū)動(dòng)馬達(dá)，它利用了Janus粒子各向異性結(jié)構(gòu)的特性，實(shí)現(xiàn)Janus粒子的自驅(qū)動(dòng)行為。目前，Janus微納馬達(dá)的驅(qū)動(dòng)方式包括自擴(kuò)散電泳、氣泡驅(qū)動(dòng)、感應(yīng)電荷電泳、自熱電泳等[7]。

3.1.4 DNA納米機(jī)器

DNA 納米機(jī)器主要有 DNA walker，DNA tweezer，DNA motor 等。DNA walker可以實(shí)現(xiàn)信號(hào)的富集放大作用，用于構(gòu)建各種生物傳感器；DNA tweezer將分子之間的相互作用轉(zhuǎn)為信號(hào)的輸出，可用于各種生物分子的檢測(cè)和邏輯的運(yùn)算；DNA motor能實(shí)現(xiàn)對(duì)光能、機(jī)械能、化學(xué)能等的轉(zhuǎn)化和輸出，可應(yīng)用于新能源的開(kāi)發(fā)[8]。

3.1.5 生物應(yīng)用

通過(guò)在微納馬達(dá)的表面修飾不同的生物識(shí)別分子制備馬達(dá)式生物傳感器。利用生物分子間的特異性反應(yīng)，馬達(dá)式生物傳感器可進(jìn)行目標(biāo)分子的特異性識(shí)別、運(yùn)輸、分離和富集。

3.1.6 水環(huán)境應(yīng)用

由于工業(yè)化生產(chǎn)快速發(fā)展，水中的有害化學(xué)物質(zhì)如重金屬、化合物以及有機(jī)污染物污染環(huán)境，影響水質(zhì)，危害水中微生物。微納馬達(dá)具有制備簡(jiǎn)便、成本低、靈敏度高、響應(yīng)時(shí)間短等優(yōu)點(diǎn)，在環(huán)境檢測(cè)、污染物吸附和降解等方面有著廣闊的應(yīng)用前景。

3.1.7 磁驅(qū)動(dòng)微納馬達(dá)

磁場(chǎng)驅(qū)動(dòng)是目前控制微納馬達(dá)運(yùn)動(dòng)的常用有效手段之一。在微納馬達(dá)制備過(guò)程中，加入鎳、四氧化三鐵等磁性物質(zhì)，通過(guò)外部磁場(chǎng)實(shí)現(xiàn)對(duì)微納馬達(dá)的驅(qū)動(dòng)。

3.1.8 分子通信

由于單個(gè)微納馬達(dá)僅能在有限的空間范圍內(nèi)執(zhí)行簡(jiǎn)單的任務(wù)，為了能夠在更大的范圍完成更復(fù)雜的任務(wù)，需要微納馬達(dá)之間通過(guò)信息共享，以合作的方式組成納米網(wǎng)絡(luò)。基于生物啟發(fā)的分子通信被認(rèn)為是實(shí)現(xiàn)納米網(wǎng)絡(luò)最可行的通信技術(shù)之一。

3.1.9 細(xì)胞馬達(dá)

這類(lèi)微納馬達(dá)可將細(xì)胞的生物運(yùn)動(dòng)作為動(dòng)力源，還可將細(xì)胞用作貨物運(yùn)輸載體。細(xì)胞獨(dú)特的性質(zhì)賦予了細(xì)胞馬達(dá)良好的生物相容性及生物響應(yīng)性。具有運(yùn)動(dòng)能力的細(xì)菌是設(shè)計(jì)細(xì)胞馬達(dá)的良好選擇。

3.1.10 集群微納馬達(dá)

為了使微納馬達(dá)承擔(dān)更多復(fù)雜的工作，使單個(gè)馬達(dá)具備群體協(xié)作能力，對(duì)微納馬達(dá)集群化的研究逐漸成為該領(lǐng)域的重要方向。有學(xué)者報(bào)道了AgCl微納馬達(dá)在紫外光的照射下產(chǎn)生聚集現(xiàn)象，并且能與SiO2微球組成仿生系統(tǒng)以模仿自然界中的捕獵集群行為。

3.1.11 生物相容性微納馬達(dá)

自驅(qū)動(dòng)微納馬達(dá)早期主要靠過(guò)氧化氫等有毒化合物進(jìn)行驅(qū)動(dòng)，這將嚴(yán)重阻礙自驅(qū)動(dòng)微納馬達(dá)在生物體內(nèi)的應(yīng)用程度。鎂基雙面微納馬達(dá)是目前生物相容性最好的自驅(qū)微納馬達(dá)。鎂基微納馬達(dá)通過(guò)化學(xué)反應(yīng)產(chǎn)生氫氣作為推動(dòng)力，其他元素也可以很容易被去除。

3.2 研究熱點(diǎn)前沿綜合分析

微納馬達(dá)在醫(yī)學(xué)中的應(yīng)用一直是該領(lǐng)域關(guān)注的核心焦點(diǎn)。自驅(qū)動(dòng)由于不需要外加控制場(chǎng)是微納馬達(dá)最受歡迎的驅(qū)動(dòng)方式，Janus由于其結(jié)構(gòu)各向異性是自驅(qū)動(dòng)微納馬達(dá)的一種優(yōu)選方式。但自驅(qū)馬達(dá)能量源和自身材料對(duì)生物體的毒性一直未解決，因此，近年來(lái)很多學(xué)者把更多精力投入具有良好生物相容性的微納馬達(dá)研究中，以細(xì)菌為載體的細(xì)胞馬達(dá)成為生物相容性自驅(qū)馬達(dá)的備選方式。集群微納馬達(dá)可利用協(xié)同工作克服單個(gè)微納馬達(dá)功效受限的缺點(diǎn)，近年來(lái)備受學(xué)者追捧，其中一項(xiàng)關(guān)鍵技術(shù)分子通信亟需取得實(shí)質(zhì)性的突破。

4 結(jié)語(yǔ)

本文提出一種基于深度學(xué)習(xí)ELMo模型和LDA概率主題模型的學(xué)科研究前沿主題識(shí)別方法，可以應(yīng)用到包括微納馬達(dá)等其他各學(xué)科研究前沿識(shí)別中。微納馬達(dá)領(lǐng)域的研究經(jīng)過(guò)十多年的蓬勃發(fā)展，在許多方向取得了巨大的成果，未來(lái)還應(yīng)該開(kāi)展以下方面工作。第一，對(duì)現(xiàn)有微納馬達(dá)運(yùn)動(dòng)的控制不夠精準(zhǔn)，需進(jìn)一步探索新型可控納米驅(qū)動(dòng)原理；第二，由于生物介質(zhì)的黏度相對(duì)較大且含有較多的電解質(zhì)，微納馬達(dá)在其中運(yùn)動(dòng)的速度會(huì)減慢，需要新型高效的馬達(dá)來(lái)實(shí)現(xiàn)更快速地運(yùn)動(dòng)；最后，實(shí)際應(yīng)用中微納馬達(dá)所處環(huán)境總是復(fù)雜多變的，發(fā)展能隨機(jī)應(yīng)變的智能微納馬達(dá)，也是今后值得深入探索的重要方向。