基于ERNIE的文獻搜索排序

一、前言

隨著網絡技術的迅速發展，搜索引擎已成為現代信息檢索的核心引擎[-2]，為用戶在茫茫信息海洋中迅速定位所需內容提供了強大的支持。然而，傳統的搜索引擎在召回與排序機制上仍存局限，特別是在處理復雜查詢、捕捉用戶意圖及實現精準排序方面。因此，本研究致力于深入探索預訓練語言模型在搜索排序系統中的獨特價值與應用潛力。預訓練語言模型的引入，為搜索引擎帶來了一定程度上的召回率提升。相較于傳統的關鍵詞匹配和倒排索引技術，預訓練模型通過在大規模語料庫上的深度訓練，能夠精準捕捉文本的語義內涵，從而實現對用戶查詢意圖的深入理解。即便在文檔中沒有明確出現查詢中的關鍵詞時，模型依然能夠憑借對語義的敏銳洞察，召回高度相關的文檔，極大地拓展了搜索的范圍與深度。在排序環節，預訓練語言模型同樣展現出卓越的性能。傳統的排序技術往往受限于對數據集的依賴以及標注數據的稀缺性[4，預訓練模型則能夠憑借其在無監督或半監督環境下的學習能力，靈活應對各種排序任務。通過計算查詢與文檔之間的語義相似度，模型能夠精準判斷文檔與查詢的相關性，從而為用戶呈現更為精準的搜索結果排序。此外，預訓練語言模型的引入還極大地提升了搜索引擎的智能化水平。這些模型不僅能夠理解和處理人類語言的復雜性和多樣性，更能夠深入洞察用戶的查詢意圖，為用戶提供更加個性化、智能化的搜索體驗。綜上所述，本研究通過引入預訓練語言模型，為搜索排序系統注人了新的活力與智慧，不僅有助于提升搜索引擎的性能和用戶體驗，更為信息檢索領域的技術創新開辟了新的道路。因此，本研究具有重要的理論價值和實踐意義，值得深入探討和應用推廣。

二、ERNIE的結構介紹

ERNIE模型是百度研發的先進預訓練模型，它以Transformer架構為核心骨架，采用持續學習的語義理解框架，通過引入多層次知識掩碼機制，深度挖掘語言知識，如圖1所示。Transformer作為當前自然語言處理領域的主流架構，以其強大的自注意力機制，能高效捕捉文本中的長距離依賴關系，為ERNIE模型的語義理解能力奠定基礎。在具體設計上，ERNIE模型支持從詞匯、語法、語義三個層次增量引人自定義預訓練任務。這些任務通過多任務學習模式實現迭代優化，使模型能夠全面捕捉訓練語料中的詞法結構、語法規則與語義信息。獨特的持續學習框架賦予ERNIE“不遺忘”特性，在學習新任務的同時，仍能保留先前積累的知識，顯著提升語義理解精度。憑借對Transformer架構的深度優化與獨特的知識學習機制，ERNIE已成為當前NLP領域極具代表性的中文預訓練模型之一。

三、相關技術簡介

基于ERNIE的文獻搜索排序主要涉及了兩個技術，一個是召回階段的ANN，另一個是排序階段的Pairwise，以下對兩種技術分別敘述。

（一）ANN

ANN向量檢索是一種在大規模向量數據集中進行快速相似度搜索的技術。它的核心思想是通過使用近似算法來找到與查詢向量最相似的向量，從而在大規模數據集中實現高效檢索。在ANN向量檢索中，通常涉及以下幾個關鍵步驟。首先，需要將數據集中的數據點轉化為ANN算法所需的特定格式（如特征向量或哈希碼）。這一步的目的是提取能夠代表數據點特征的信息，以便后續進行相似度計算。接下來，將數據集中的數據點組織成索引結構，以便快速檢索。常用的索引結構包括KD樹、球樹、哈希表等。這些索引結構能夠根據向量的某些特性（如距離、角度等）將向量空間進行劃分，從而加速檢索過程。對于輸入的查詢向量，通過索引結構進行相似度計算和候選集篩選。在這一步中，ANN算法會根據一定的條件提前終止計算過程，從而在保證一定準確性的前提下提高檢索速度。最后，根據相似度計算結果，返回與查詢向量最相似的向量或向量集合。

圖1ERNIE模型

圖2召回模塊

（二）Pairwise

在本文的研究中，創新性地引入Pairwise方法來攻克排序問題這一難題。作為信息檢索和機器學習領域的前沿技術，Pairwise方法巧妙地將復雜的全局排序任務解構為一系列文檔對的相對順序預測子任務。具體而言，該方法通過構建大規模的文檔對樣本空間，對每一對文檔進行細致入微的特征對比與語義分析，挖掘其中蘊含的重要性差異線索。隨后，利用這些豐富的對比數據，訓練一個深度神經網絡模型或傳統機器學習模型。在訓練過程中，模型不斷優化參數，學習捕捉文檔對之間的細微差異，從而能夠精準預測任意兩個文檔在目標排序標準下的相對位置關系。通過這種方式，將所有文檔對的預測結果進行整合，最終實現對整個文檔集合的高效、精準排序，為后續的信息篩選與知識挖掘奠定堅實基礎。

四、模塊介紹

基于ERNIE的文獻搜索排序主要涉及了兩個模塊，一個是召回模塊，另一個是排序模塊，以下對兩種模塊分別敘述。

（一）召回模塊

召回模塊融合了多個組件，以實現對文檔的高效和精準召回，如圖2所示。首要組成部分是預訓練模型ERNIE，其將輸入的文本數據轉化為富含語義信息的向量表示。其次是線性層，該層將ERNIE輸出的高維向量降低至指定的維度。最后是dropout層，該層通過隨機丟棄部分神經元的輸出，使得模型在訓練時不會過分依賴某些特定的神經元，進而提高了模型的泛化能力。

（二）排序模塊

排序模塊包含三個關鍵層次，每個層次各司其職，共同確保排序的精準性。首先是預訓練模型ERNIE層，它的作用是將輸入的數據精妙地轉換為語義向量，深入理解數據的內在含義。接下來是dropout層，在訓練階段，這一層會隨機“屏蔽”部分神經元，此舉旨在避免模型過度擬合，從而有效增強其廣泛適用性。最后是相似度計算層，它的核心任務是將前面生成的語義向量轉化為具體的相似度評分，這一層與排序結果的準確性息息相關，如圖3所示。在模型訓練階段，通過深人學習句子對之間的相對相似度來不斷調整和優化模型參數，力求實現排序精度的最大化。

五、數據集介紹

本文一共采用了兩種數據集，分別是召回數據集和排序數據集，以下對兩種數據集進行介紹。

（一）召回數據集

數據集為百度提供的某文獻檢索平臺的數據。其中，訓練集有4000條數據，每行都由一對語義相似的文本對構成，第一個數據是查詢語句，第二個數據是相關文獻標題 + 關鍵字，如圖4、圖5所示。

（二）排序數據集

排序模型的數據集是百度提供的數據集，訓練集中有大約197萬條數據，每條數據都由三部分組成，分別是查詢語句、相關的文獻標題 + 關鍵字（即正樣本）、不相關的文獻標題 + 關鍵字（即負樣本），如圖6所示。

六、環境安裝

分為安裝服務器與構建Python環境，以下對兩者進行介紹。

（一）華為云

1.硬件準備

在安裝華為云服務器之前，確保已經準備好了必要的硬件設備，包括服務器主機、網卡、電源適配器和風扇等。這些設備是安裝和運行服務器的基礎。

2.選擇并購買云服務器

登錄華為云官網，根據自己的需求選擇合適的服務器類型。同時，根據業務需求和預算，選擇適合的服務器配置。完成購買后，將獲得云服務器的賬號和密碼。

3.登錄云服務器

使用獲得的賬號和密碼登錄云服務器。

4.安裝操作系統

登錄云服務器后，首先需要安裝操作系統。

5.網絡配置和安全設置

配置網絡參數：進入云服務器的操作系統界面，打開網絡設置，配置IP地址、子網掩碼、網關等網絡參數，以確保服務器能夠正常訪問網絡。配置安全組規則：在華為云控制臺中配置安全組規則，限定開放端口的源地址IP，以增加服務器的安全性。

圖3排序模塊

（二）Python環境

登錄Python官網打開Windows對應的較新版本，同時選擇符合需求的64位版本，選擇安裝包進行下載，雙擊下載好的安裝程序以啟動安裝向導，并選擇指定路徑安裝。安裝后通過“win+r”調出“運行”彈窗，輸入“cmd”之后打開“命令提示符”，在命令行界面上輸Python，并回車，來測試Python是否已經安裝成功，同時添加Python路徑到Path環境變量中，以便在任何目錄下都能使用Python。

七、結語

基于ERNIE模型，成功構建了高效的召回模型和排序模型，并對二者進行了專門的訓練。測試集上的性能測試顯示，召回模型的召回率達到了 recall@20=0.813 ，排序模型的AUC值也高達 0.773 。這一成果得益于預訓練的ERNE模型層，它出色地將輸入數據轉化為語義向量，為后續計算余弦相似度等操作奠定了堅實基礎。相較于傳統搜索引擎，本文的搜索排序系統融合了文本處理和語義信息提取等先進技術，顯著提升了搜索的效率和準確性。在召回階段，傳統方法通常依賴倒排索引技術，但這種方式可能會遺漏那些與查詢語義相似而關鍵字不重復的文檔。本文的召回模型基于ERN，能夠將文本編碼成語義向量，根據語義相似度來召回文檔，從而避免了這一問題。在排序階段，傳統方法（如leamingtorank技術）需要大量的人工標注數據或搜索日志來提取特征，工作量大且效果受限于數據質量。本文的排序模型同樣基于ERNIE，能夠自動提取語義特征進行排序，無需人工標注，既降低了工作負擔，又提高了排序的準確性。此外，整個搜索排序系統在保證搜索精度的同時，也實現了高效的響應時間。針對一個查詢，系統僅需約0.009秒即可召回50條相關文獻信息，這在處理大規模數據集時具有顯著優勢。綜上所述，通過結合召回模型和排序模型，搜索排序系統不僅提升了搜索結果的準確性和相關性，還實現了高效的響應速度和自動化的特征提取，為搜索技術帶來了新的突破。

參考文獻

[1]韋輝華.基于搜索相關性的移動App排序算法及應用[D].哈爾

濱：哈爾濱工業大學，2021.

[2]黃際洲，孫雅銘，王海峰，等.面向搜索引擎的實體推薦綜述[J]計算機學報，2019，42（07）：1467-1494.

[3]王海濤.面向商品的垂直搜索系統的設計與實現[D].北京：北京交通大學，2018.

[4]薛曉慧，芮光輝，李煒東，等.基于排序式SVM的搜索自適應排序系統實現[J].計算機技術與發展，2021，31（10）：203-208+214.

[5]郭朋偉.基于一詞多義的搜索排序和查詢擴展方法研究[D].沈陽：東北大學，2020.

[6]于陽.基于改進禁忌搜索算法的滌綸纖維生產排序研究[D].錦州：遼寧工業大學，2021.

作者單位：山東正云信息科技有限公司

責任編輯：張津平尚丹