基于專利的技術(shù)機(jī)會(huì)識(shí)別：深度學(xué)習(xí)領(lǐng)域的案例分析

楊 辰，王楚涵，陶琬瑩，耿 爽

（深圳大學(xué)管理學(xué)院，廣東深圳 518060）

1 研究背景

隨著科技和信息水平快速發(fā)展，企業(yè)的創(chuàng)新能力逐漸成為其競(jìng)爭(zhēng)力的一個(gè)重要衡量標(biāo)準(zhǔn)。作為技術(shù)研發(fā)和創(chuàng)新的前提，技術(shù)機(jī)會(huì)識(shí)別逐漸受到企業(yè)的重視。黃魯成等［1］指出，技術(shù)機(jī)會(huì)可以被劃分為某領(lǐng)域前所未有的新技術(shù)或是在現(xiàn)有技術(shù)基礎(chǔ)上改進(jìn)的新技術(shù)，通過(guò)對(duì)這些技術(shù)進(jìn)行分析，可以為企業(yè)提供重要的研發(fā)情報(bào)和參考方向。

技術(shù)機(jī)會(huì)識(shí)別指在特定技術(shù)領(lǐng)域內(nèi)發(fā)現(xiàn)潛在的技術(shù)趨勢(shì)和方向，而技術(shù)機(jī)會(huì)的獲取和識(shí)別往往需要挖掘并分析海量的期刊、專利、報(bào)告等數(shù)據(jù)庫(kù)，其中專利文獻(xiàn)作為技術(shù)寶庫(kù)，承載著人類技術(shù)創(chuàng)新的進(jìn)步與發(fā)展，蘊(yùn)含豐富的技術(shù)情報(bào)、研究成果和前沿信息；同時(shí)，因其具有內(nèi)容可靠、數(shù)據(jù)海量、格式規(guī)范等優(yōu)點(diǎn)，在學(xué)界和工業(yè)界廣泛應(yīng)用。面對(duì)海量的專利數(shù)據(jù)集，僅靠人工判斷很難得到全面而客觀的結(jié)果，因而一些研究借助數(shù)據(jù)挖掘等手段應(yīng)用于專利分析，例如卞秀坤等［2］、馬婷婷等［3］和馮仁濤等［4］采用專利數(shù)據(jù)制定研發(fā)戰(zhàn)略和產(chǎn)品布局，分析一定時(shí)期內(nèi)的技術(shù)發(fā)展?fàn)顩r和趨勢(shì)，尋找潛在的技術(shù)機(jī)會(huì)。

異常檢測(cè)旨在識(shí)別離群值，即發(fā)現(xiàn)與群體差異較大的個(gè)體。常見(jiàn)的異常檢測(cè)應(yīng)用包括網(wǎng)絡(luò)檢測(cè)、用戶異常行為檢測(cè)等，例如，費(fèi)歡等［5］基于傳感器網(wǎng)絡(luò)多模態(tài)數(shù)據(jù)，提出了一種對(duì)傳感器異常數(shù)據(jù)的檢測(cè)方法；宋海濤［6］等針對(duì)用戶行為特點(diǎn)，提出了一種基于模式挖掘的行為檢測(cè)方法。對(duì)于技術(shù)機(jī)會(huì)的識(shí)別問(wèn)題，關(guān)杏彬［7］指出早期階段的技術(shù)創(chuàng)新或改進(jìn)往往區(qū)別于主流技術(shù)，而這將伴隨離群專利的產(chǎn)生。因此，通過(guò)異常值檢測(cè)的手段識(shí)別離群專利，有利于識(shí)別潛在的技術(shù)機(jī)會(huì)。

為此，本研究采用文本挖掘和異常值檢測(cè)的方法，幫助企業(yè)進(jìn)行潛在技術(shù)機(jī)會(huì)識(shí)別，為企業(yè)的技術(shù)研發(fā)和創(chuàng)新提供方向，并通過(guò)實(shí)例分析驗(yàn)證該方法的有效性。

2 國(guó)內(nèi)外相關(guān)研究

2.1 專利文本挖掘

現(xiàn)階段專利分析常通過(guò)專利統(tǒng)計(jì)、計(jì)算機(jī)等手段對(duì)專利文件的信息進(jìn)行處理和分析，進(jìn)而收集到有價(jià)值的情報(bào)以支持決策過(guò)程。近年來(lái)，文本挖掘技術(shù)在專利分析領(lǐng)域得到廣泛應(yīng)用并快速發(fā)展，這是因?yàn)樵摷夹g(shù)可以快速、高效處理大批量文本數(shù)據(jù)，提取和挖掘潛在的信息和模式。如，陳偉等［8］提出一種關(guān)鍵共性技術(shù)識(shí)別框架，首先采用隱含狄利克雷分布（latent Dirichlet allocation，LDA）主題模型對(duì)專利摘要文本進(jìn)行主題建模，得到詳細(xì)的技術(shù)主題分類，然后利用PageRank 算法衡量技術(shù)主題的關(guān)鍵性；Kim 等［9］結(jié)合深度學(xué)習(xí)提取專利文本的特征，以實(shí)現(xiàn)專利的向量表示，然后采用深度嵌入的聚類方法實(shí)現(xiàn)專利的自動(dòng)聚類；王京安等［10］提出了基于專利的技術(shù)趨勢(shì)分析框架，引入面向服務(wù)的架構(gòu)（SOA）對(duì)專利之間的相似度進(jìn)行計(jì)算，然后采用聚類和專利地圖等工具對(duì)液晶材料技術(shù)領(lǐng)域的技術(shù)趨勢(shì)進(jìn)行實(shí)證分析。

2.2 異常值檢測(cè)

異常檢測(cè)方法主要分為監(jiān)督、半監(jiān)督、非監(jiān)督3 種基本方法，這3 種方法的主要區(qū)別在于使用標(biāo)簽的程度。徐琴珍等［11］提出了一種有監(jiān)督的局部決策分層支持向量機(jī)檢測(cè)方法，該方法結(jié)合二叉樹(shù)結(jié)構(gòu)和信息增益準(zhǔn)則，實(shí)現(xiàn)了在局部決策監(jiān)督下具有穩(wěn)定性和有效性的異常檢測(cè)學(xué)習(xí)模型。Li 等［12］考慮到真實(shí)場(chǎng)景中的標(biāo)簽訓(xùn)練樣本有限，將半監(jiān)督學(xué)習(xí)方法應(yīng)用于異常檢測(cè)系統(tǒng)，利用未標(biāo)記數(shù)據(jù)來(lái)自動(dòng)標(biāo)記數(shù)據(jù)，節(jié)省了昂貴的數(shù)據(jù)標(biāo)記成本且通過(guò)實(shí)驗(yàn)證明該方法優(yōu)于傳統(tǒng)的有監(jiān)督分類器。但是由于技術(shù)機(jī)會(huì)未知，并無(wú)任何標(biāo)簽提前標(biāo)注，因此識(shí)別技術(shù)機(jī)會(huì)常采用非監(jiān)督的異常檢測(cè)算法，例如，Wang 等［13］結(jié)合基于角度的異常點(diǎn)檢測(cè)方法和采用可視化工具緩解了詞匯不匹配的問(wèn)題，并可以在高維數(shù)據(jù)空間對(duì)非結(jié)構(gòu)化專利數(shù)據(jù)進(jìn)行分析，最終識(shí)別出技術(shù)機(jī)會(huì)以幫助企業(yè)制定技術(shù)戰(zhàn)略；翟東升等［14］通過(guò)專利摘要構(gòu)建相似度矩陣進(jìn)行多維尺度分析，然后結(jié)合3 種無(wú)監(jiān)督的異常檢測(cè)算法和發(fā)明問(wèn)題解決理論（TRIZ）挖掘出技術(shù)機(jī)會(huì)。

3 研究方法與模型

3.1 研究框架

本研究結(jié)合Doc2vec 技術(shù)和LOF 算法對(duì)專利文本數(shù)據(jù)進(jìn)行挖掘和分析，以探索潛在的技術(shù)機(jī)會(huì)，研究模型框架如圖1 所示。首先，通過(guò)專利數(shù)據(jù)庫(kù)進(jìn)行專利檢索和篩選，形成最終的專利數(shù)據(jù)集，然后對(duì)專利的摘要文本進(jìn)行一系列預(yù)處理，以標(biāo)準(zhǔn)化文本數(shù)據(jù)提升后續(xù)文本分析性能；其次，采用Doc2vec 對(duì)專利文本進(jìn)行表示學(xué)習(xí)得到專利的向量描述，以反映專利文本的語(yǔ)義信息和語(yǔ)序信息；最后，采用基于密度的離群值檢測(cè)算法識(shí)別異常專利，以探索目標(biāo)領(lǐng)域潛在的技術(shù)機(jī)會(huì)。本研究以深度學(xué)習(xí)領(lǐng)域?yàn)槔?，?duì)上述潛在技術(shù)識(shí)別方法進(jìn)行案例分析。

圖1 研究模型框架

3.2 Doc2vec 文本建模

Doc2vec 建立在Word2vec 基礎(chǔ)上［15］，該算法采用無(wú)監(jiān)督算法對(duì)不同的文檔進(jìn)行表征學(xué)習(xí)。與Word2vec 相似，Doc2vec 的兩種訓(xùn)練方式為句向量分布記憶模型（distributed memory model of paragraph vectors，PV-DM）和句向量分布詞袋模型（distributed bag of words of paragraph vectors，PVDBOW），PV-DM 模型根據(jù)上下文預(yù)測(cè)目標(biāo)詞概率，而PV-DBOW 模型由目標(biāo)詞預(yù)測(cè)上下文。Doc2vec 與Word2vec 不同之處在于，其輸入層增加了一個(gè)新的文檔向量，在多次訓(xùn)練后該模型可以得到詞向量和文檔向量。與傳統(tǒng)的詞袋模型相比，Doc2vec 在構(gòu)造文檔向量的過(guò)程中考慮到單詞的順序和語(yǔ)義信息，在解決文本分類、情感分析等問(wèn)題上應(yīng)用廣泛。

由于PV-DM 算法表現(xiàn)優(yōu)于PV-DBOW，因此本研究選取PV-DM 作為訓(xùn)練框架，如圖2 所示，其基本思路是根據(jù)上下文詞和文檔信息預(yù)測(cè)當(dāng)前詞的概率。PV-DM 算法的目標(biāo)函數(shù)為：

圖2 Doc2vec 的句向量分布記憶模型

3.3 局部離群因子（LOF）算法

離群點(diǎn)檢測(cè)的主要目的是有效地識(shí)別出數(shù)據(jù)集中的異常數(shù)據(jù)，基于這一思想，本研究旨在通過(guò)識(shí)別異常專利以挖掘潛在的技術(shù)機(jī)會(huì)。常用的無(wú)監(jiān)督離群點(diǎn)檢測(cè)方法包括基于距離、基于聚類、基于密度等方法，其中LOF 算法是較為具有代表性的基于密度的方法，該算法為每個(gè)數(shù)據(jù)點(diǎn)分配一個(gè)基于鄰域密度的離群因子，根據(jù)閾值進(jìn)而判斷該點(diǎn)是否為離群點(diǎn)［17］。相比于傳統(tǒng)的基于距離和聚類的算法，LOF 算法克服了其他算法沒(méi)有考慮數(shù)據(jù)不同密度區(qū)域的短板，且能對(duì)每個(gè)數(shù)據(jù)點(diǎn)的異常程度進(jìn)行量化，因此我們考慮將該算法應(yīng)用于專利離群值點(diǎn)檢測(cè)中。

基于 LOF 的異常檢測(cè)算法的局部離群因子由局部可達(dá)密度決定，局部可達(dá)密度定義如下：

以上通過(guò)Doc2vec 得到專利文檔的表示向量后，將專利文檔向量的每一維度視為該文檔的不同特征，然后采用LOF 算法對(duì)專利異常點(diǎn)進(jìn)行定量描述。

4 案例分析

4.1 專利檢索

采用歐洲專利組織（EPO）提供的全球?qū)＠y(tǒng)計(jì)數(shù)據(jù)庫(kù)（PATSTAT）作為數(shù)據(jù)源進(jìn)行檢索，該數(shù)據(jù)庫(kù)對(duì)全球100 多個(gè)國(guó)家或組織的專利信息進(jìn)行收錄，其提供的專利情報(bào)具有高度的權(quán)威性，在學(xué)術(shù)界得到廣泛應(yīng)用。以深度學(xué)習(xí)為檢索對(duì)象，相關(guān)專利檢索主題為“deep learning”，檢索的專利數(shù)據(jù)包括專利號(hào)、申請(qǐng)日期、標(biāo)題、摘要等內(nèi)容。同時(shí)通過(guò)國(guó)際專利分類（IPC）表對(duì)檢索領(lǐng)域進(jìn)行范圍限制，采用的分類號(hào)及相關(guān)說(shuō)明如表1 所示。對(duì)標(biāo)題和摘要的檢索重點(diǎn)為深度學(xué)習(xí)領(lǐng)域，檢索時(shí)間設(shè)定在2014—2019 年，專利的申請(qǐng)機(jī)構(gòu)選取為美國(guó)。結(jié)果共檢索出468 條專利記錄，通過(guò)篩選摘要為空專利，進(jìn)一步得到458 項(xiàng)專利（以下簡(jiǎn)稱“樣本”）。

表1 國(guó)際專利分類類目說(shuō)明

4.2 專利數(shù)據(jù)文本分析

采用Python 編程實(shí)現(xiàn)對(duì)專利數(shù)據(jù)的文本分析。首先，采用Re 和Nltk 庫(kù)對(duì)專利的摘要文本數(shù)據(jù)進(jìn)行預(yù)處理，包括去除停用詞、小寫(xiě)化、去除特殊符號(hào)、詞形還原等操作。其次，使用Gensim 和Sklearn庫(kù)實(shí)現(xiàn)Doc2vec 建模、PCA 降維等功能，通過(guò)上述Python 庫(kù)對(duì)專利文本信息進(jìn)行預(yù)處理。之后，根據(jù)本文實(shí)驗(yàn)和以往經(jīng)驗(yàn)，分別設(shè)置模型參數(shù)，對(duì)Doc2vec 設(shè)置模型為PV-DM，窗口長(zhǎng)度設(shè)定為7，每個(gè)專利文檔的向量長(zhǎng)度設(shè)置為100 維，即每一個(gè)專利被表示為100 維向量，詞最小出現(xiàn)次數(shù)為2，同時(shí)設(shè)置epochs 為30 以提升計(jì)算準(zhǔn)確度。租后，采用LOF 算法進(jìn)行異常值檢驗(yàn)，分別設(shè)置最近鄰k取5、10、20，根據(jù)不同最近鄰取值k并選取LOF 閾值為1，得到不同專利的離群點(diǎn)。但是對(duì)于這些異常點(diǎn)代表的專利，還不能認(rèn)為就是潛在技術(shù)機(jī)會(huì)，這是由于本研究采用的算法可能存在一定噪聲，因此，綜合不同取值為k的異常點(diǎn)專利進(jìn)一步進(jìn)行人工核查后，對(duì)潛在技術(shù)機(jī)會(huì)進(jìn)行總結(jié)。

Pouyanfar 等［18］指出，深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理、圖像處理、語(yǔ)音處理和其他領(lǐng)域廣泛應(yīng)用，本研究借鑒這些應(yīng)用分類方式作為本文的分類標(biāo)準(zhǔn)，對(duì)收集得到的離群點(diǎn)專利進(jìn)行歸類，然后對(duì)深度學(xué)習(xí)領(lǐng)域的潛在技術(shù)機(jī)會(huì)進(jìn)行歸納總結(jié)，如表2 所示。其中：

表2 基于樣本專利識(shí)別的潛在技術(shù)機(jī)會(huì)

（1）自然語(yǔ)言處理旨在幫助計(jì)算機(jī)理解人類語(yǔ)言，相關(guān)的任務(wù)包括機(jī)器翻譯、文檔分類、語(yǔ)義分析等。如專利US10579729 提出一種快速、自適應(yīng)糾正拼寫(xiě)錯(cuò)誤的方法和系統(tǒng)，利用基于上下文敏感的深度學(xué)習(xí)模型，為企業(yè)搜索引擎的拼寫(xiě)檢查提供支持［19］；專利US15/690721 提出一種根據(jù)電子醫(yī)療記錄文本總結(jié)和預(yù)測(cè)醫(yī)療事件的系統(tǒng)，根據(jù)系統(tǒng)匯總的健康記錄訓(xùn)練深度學(xué)習(xí)模型，以預(yù)測(cè)未來(lái)的臨床事件［20］。

（2）在圖像、視頻等視覺(jué)數(shù)據(jù)處理上，以卷積神經(jīng)網(wǎng)絡(luò)為主的深度學(xué)習(xí)技術(shù)廣泛應(yīng)用，主要內(nèi)容包括圖像分類、目標(biāo)識(shí)別、視頻處理。如專利US10402649 提出一種結(jié)合深度學(xué)習(xí)的增強(qiáng)現(xiàn)實(shí)顯示裝置，通過(guò)多個(gè)傳感器接收不同類型的傳感器數(shù)據(jù)，然后通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)光照檢測(cè)、面部識(shí)別、對(duì)象檢測(cè)等任務(wù)［21］；專利US10402653 設(shè)計(jì)了一種基于視頻的異常檢測(cè)的攝像機(jī)，配備基于高階卷積神經(jīng)網(wǎng)絡(luò)的處理器，以對(duì)即將發(fā)生的異常任務(wù)進(jìn)行預(yù)測(cè)［22］。

（3）語(yǔ)音處理指對(duì)電信號(hào)或模擬信號(hào)進(jìn)行操作的過(guò)程，相關(guān)應(yīng)用包括語(yǔ)音理解、語(yǔ)音識(shí)別、機(jī)器合成等。如專利US10445597 利用車(chē)輛傳感器收集音頻數(shù)據(jù)，采用深度學(xué)習(xí)算法對(duì)音頻數(shù)據(jù)進(jìn)行分類，以識(shí)別物品的形狀和大小特征［23］；專利US10540957 設(shè)計(jì)了一種端到端的語(yǔ)音轉(zhuǎn)錄系統(tǒng)，無(wú)需對(duì)模擬環(huán)境音的組件進(jìn)行人工設(shè)計(jì)，而是通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)處理較為復(fù)雜的噪聲環(huán)境［24］。

（4）隨著深度學(xué)習(xí)展現(xiàn)出更強(qiáng)的學(xué)習(xí)能力和適應(yīng)能力，一些特殊領(lǐng)域結(jié)合深度學(xué)習(xí)算法和技術(shù)以解決現(xiàn)實(shí)問(wèn)題，同時(shí)圍繞特定領(lǐng)域而設(shè)計(jì)的專利相對(duì)較少，存在大量發(fā)展空間，因此也可視為潛在技術(shù)機(jī)會(huì)。如專利US15/682698 利用大數(shù)據(jù)和深度網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域的犯罪概率進(jìn)行預(yù)測(cè)［25］；專利US10198693 通過(guò)交通監(jiān)控系統(tǒng)獲取車(chē)輛運(yùn)行和駕駛環(huán)境數(shù)據(jù)，利用深層神經(jīng)網(wǎng)絡(luò)提取駕駛員的駕駛行為特征并進(jìn)行分析［26］；專利US10255628 采用基于深度學(xué)習(xí)模型和基于分解的協(xié)同過(guò)濾，為用戶提供商品推薦［27］；專利US10935940 提出一種建筑管理系統(tǒng)，包含距離度量計(jì)算、回歸模型預(yù)測(cè)和神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)模塊［28］。

綜上所述，本研究利用文本建模和異常檢測(cè)識(shí)別深度學(xué)習(xí)應(yīng)用技術(shù)的潛在技術(shù)機(jī)會(huì)，在一定程度上為企業(yè)和研發(fā)機(jī)構(gòu)提供了高效的技術(shù)創(chuàng)新參考方向，研究結(jié)果反映了該方法的有效性。

5 結(jié)論與展望

本研究提出一種基于專利文本數(shù)據(jù)的技術(shù)機(jī)會(huì)識(shí)別方法。首先，采用Doc2vec 技術(shù)對(duì)專利摘要文本進(jìn)行建模，以表示潛在的語(yǔ)義和語(yǔ)序信息；然后，根據(jù)專利文本表示向量，采用基于密度的離群值檢測(cè)算法識(shí)別出異常專利；最后，以深度學(xué)習(xí)領(lǐng)域潛在技術(shù)識(shí)別為例，構(gòu)建檢索式并收集458 條專利文獻(xiàn)作為數(shù)據(jù)集，并在此基礎(chǔ)上通過(guò)進(jìn)一步評(píng)估，總結(jié)出深度學(xué)習(xí)的潛在技術(shù)機(jī)會(huì)，為企業(yè)和組織的相關(guān)技術(shù)應(yīng)用和開(kāi)發(fā)提供指導(dǎo)。

本研究存在一些不足之處，如采集的數(shù)據(jù)局限于專利數(shù)據(jù)，因此采集到的總體數(shù)據(jù)集較少，這可能影響研究模型的效果；同時(shí)研究模型所含參數(shù)較多，因此需要根據(jù)不同的參數(shù)對(duì)結(jié)果綜合考慮。未來(lái)的研究可以結(jié)合學(xué)術(shù)文獻(xiàn)、引文網(wǎng)絡(luò)等多方面信息進(jìn)一步探索。