司法場景下案例推薦系統的召回方法研究

肖悅，馬為之，張敏*，楊俊，劉奕群，馬少平

（1.清華大學 計算機科學與技術系，北京信息科學與技術國家研究中心，北京 100084；2.清華大學 智能產業研究院，北京 100084）

0 引言

隨著信息技術的飛速發展，在互聯網上存在大量的信息資源，這使得用戶篩選信息資源時需要花費大量的時間和精力，造成嚴重的信息過載問題。為了解決這一問題，推薦系統利用交互歷史或者用戶和物品信息對用戶興趣進行建模，并從海量候選信息中匹配用戶需要的內容，有效地解決信息過載問題，并成為互聯網中一項重要的服務。

隨著司法公開的不斷推進，可公開獲得的司法信息的不斷增多。根據中國裁判文書統計，可公開獲得的案例文書達到1.2億篇，并以每天超過5萬篇的速度增加。同時用戶也有對司法信息強烈的需求，不但法律從業者需要司法信息的輔助，普通民眾也有日益增長的需求。司法領域信息公開成為一個重要的全新場景［1-8］，對當前的司法也造成了一定的影響［9-12］，司法信息推薦能夠用來滿足用戶獲取信息的需求并解決信息過載問題，因此司法案例推薦有重要的研究價值。

在推薦系統中，召回與精排是關鍵的兩個步驟，現有的大部分工作關注于精排，但是對召回方法的嘗試與研究有限。在實際系統中，往往存在海量的待推薦對象，如何從這些對象中找到用于精排的候選對象也同樣重要，召回決定著精排模型的能力上限。司法推薦場景下的召回與現有場景下的召回存在一系列的不同之處，主要體現在以下三個方面：

（1）場景特殊知識會影響召回準確率。對于案例的案由等場景特有的知識，傳統召回方法并不能很好地利用這些司法要素，其召回率會受到一定的影響。

（2）用戶的使用習慣與信息流或商品推薦有著不同。法律工作者往往會聚焦在某一類案件上，普通用戶關注點相對分散。

（3）被推薦對象間關聯性更難以被挖掘，尤其體現在案例上。商品間存在配套使用等固有聯系，信息流間存在流動關系，但案例間相對獨立，其關聯性不顯著。

本文基于實際司法場景構建了數據集，設計了基于司法要素的召回方法，并與基于內容的方法以及經典召回方法做了比較。為了綜合不同召回方法，從多個角度利用案例特征以及用戶歷史信息，本文提出了多路召回方法并對多路召回策略進行了討論與探究。

本文的主要貢獻如下：

（1）系統地回顧并實現了基于協同過濾、基于案例文書內容的召回方法，并提出基于司法要素的召回方法，以對司法場景下的領域知識加以利用。

（2）設計了多路召回方法的融合框架，能夠有效綜合各路結果，實現融合，并提出了參與融合單路的選擇策略。

（3）基于真實司法推薦場景數據集對各召回方法進行了評價，取得了較好的實驗結果，對實際系統有一定的指導意義。

本文內容按照如下結構組織：第1節介紹了當前智能司法推薦的研究與其他場景的召回；第2節介紹了召回方法的設計與實現；第3節介紹了多路召回的框架；第4節展示了基于實際場景的實驗結果以及相關分析；第5節對全文做出總結。

1 相關工作

1.1 智能司法推薦的研究

當前推薦算法與推薦系統由于服務對象、應用場景的不同，有著不同的應用方向。有學者從普通民眾的角度出發，提出了律師推薦系統［1］為老百姓提供法律服務；一些學者從法律文書的撰寫出發，提出了法條推薦系統［2］；同時，為了解決“同案不同判”的相關問題，出現了類似案件的推薦系統［3］。

智能司法推薦場景相對寬泛，推薦對象隨著需求的不同而不同。本文主要涉及案件判決文書，即案例的推薦。本文需要根據用戶的案例特點點擊歷史，推薦其可能關注的其他案例。一般而言，除文本內容外，案例文書主要包含案由、案情、關鍵詞、法律、法條五種司法要素。其中，案由是對案件性質的描述，如：民事案件中的合同糾紛、刑事案件中的罪名；案情是對案件具體經過的描述，多為短語與短句；關鍵詞是一些用于概括案件經過的詞語；法律為案例引用的法律名稱，如：《中華人民共和國合同法》；法條為引用的具體條目，如：《中華人民共和國民事訴訟法》第一百七十條。

現有的工作從不同的應用需求出發，在司法場景下做出了不同嘗試，但大多都聚焦于精排，對召回的關注度不足，而召回在實際場景中決定著精排的上限，有著同樣的重要地位。

1.2 其他場景下的召回方法

當前其他場景下的召回方法較多，相對傳統的方法有基于內容、基于協同過濾、基于BM25等方法。隨后，因式分解機（FM）［13］的提出為召回算法帶來了方便，通過FM的應用，特征組合變得更加高效，利用FM可更加便捷地對用戶與項目進行表征。基于神經網絡與深度網絡的方法是當前最主流的方法，其主要思想仍然在于借助網絡化的方法，對用戶以及項目進行細粒度的表征，通過其特征進行召回或推薦，此方法在業界得到了廣泛的應用。FM與神經網絡的出現也促進了傳統方法的發展，使得基于內容方法的特征提取變得非人工化并更加細致，也帶動基于模型協同過濾方法［14］的發展。以下列舉了幾個基于神經網絡的模型。

（1）“雙塔”召回。微軟基于文檔與查詢詞之間的相似度，提出了DSSM模型［15］，從語義的角度進行召回、推薦，后逐漸發展為“雙塔”模型。之后也有學者將該模型進行了一定改進，將其應用在較大數據集上［16］。

（2）序列召回。RNN被應用于會話推薦來捕獲用戶的序列行為信息。近年來，基于多興趣召回的 MIMD［17］與基于長期興趣的 SDM［18］模型被提出，并部署在了相關的實體平臺上使用。

（3）圖召回。通過構建用戶與案例的有向圖，對用戶與案例的關系做進一步挖掘，對其特征進一步提取并以此為依據進行推薦與召回。特別隨著知識圖譜的發展，基于知識圖譜的推薦系統得到了較大的發展［19-20］。

以上召回方法廣泛應用于商品或信息流等場景，商品與信息流場景下擁有大量用戶與物品的交互數據，為召回算法的有效性提供了保障。而在司法場景下，可利用的數據尤其是用戶的交互數據較少，增大了召回的難度，故本文從多個角度出發，對有限的數據進行多方面挖掘及綜合利用，從而提升召回效果。

2 召回方法設計與實現

2.1 基于司法要素的召回

案例文書具有特定的表達形式與規范，文書內包含了多種法律要素，對案例進行了詳細描述。例如，民事合同糾紛是案件案由，拖欠工資是案件的案情之一。案例與法律要素之間有著特殊的聯系，在此我們使用連接率C來刻畫這種聯系，其定義如式（1）所示，其中NumYS表示擁有司法要素YS（可取值為案由（AY）、案情（AQ）、關鍵詞（GJC）、法律（FL）、法條（FT））的案例數，Num表示案例總數。

如表1所示，案由是連接率最高的司法要素，案情和關鍵詞次之，而法律和法條的連接率較低。我們考慮使用連接率較高的司法要素進行召回。

表1 司法要素連接率Table 1 Connection rates of judicial element

2.1.1 方法思路與具體實現

經過對司法要素的統計，我們發現案例往往擁有不止一種司法要素，對于某一種司法要素，一個案例同樣可能擁有多個，例如一個案例可能引用了多部法律。同時，司法要素的頻率也比較重要。一個用戶可能瀏覽了同一案由案件多次，利用用戶歷史行為對用戶進行表征時，頻率特征能夠反映用戶更細致的偏好。BM25算法有利于通過離散特征進行相似度計算并能較為有效地考慮頻率信息，因此使用其來計算用戶點擊歷史案例列表與其他案例的相似度得分，隨后挑選出相似度較高的案例作為召回結果，某個用戶ui與某案例itemj在某一司法要素的相似度計算方式如式（2）所示，其中IDF為逆文本頻率指數，Y表示某種司法要素的集合，Yui表示用戶ui點擊歷史中該種司法要素的集合，Yitemj表示案例j中含有的司法要素集合，f（y，Y）表示某個要素y在Y中出現的次數，avgdl為某種要素總數與案例總數的比值，k1，b為常數。

2.1.2 優化與改進

通過觀察式（2）可以看出，在對某一種要素做召回時，若兩個案例的要素完全相同，那么這兩個案例與同一個用戶的相似度一致。例如，用戶對案由為搶劫罪的案件具有偏好，在召回結果中所有案由為搶劫罪的案例得分均相同，而此案由案例總數可能超過了召回列表長度，只能為用戶推薦一部分案例，此時需要進一步考慮相同司法要素案例與用戶的相似程度，對基于司法要素的召回進行改進，共有以下四種改進方式：

改進一：在要素相同的基礎上，優先推薦點擊量較高的案例；

改進二：在要素相同的基礎上，優先推薦點擊較新的案例；

改進三：在要素相同的基礎上，優先推薦點擊較新、點擊量較高的案例且二者并重；

改進四：按照歷史案例要素分布情況召回案例，使召回案例列表與歷史案例列表要素分布保持一致。

2.2 基于內容的召回

案例文書的主體仍然是文字，文本特征也是案例文書的特征之一。案例文書的文字中具有豐富的深度語義信息，因此考慮借助BERT對文本中的深度信息進行提取。

2.3 基于協同過濾的召回

在實際場景中，相似的用戶所關注的案例也可能更相似，相應的，用戶在關注某一案例時也可能會關注與之相似的案例。因此，我們使用了基于用戶協同過濾（UserCF）的召回，基于案例協同過濾（ItemCF）的召回，分別通過相似用戶、相似案例進行召回。

UserCF與ItemCF兩種方法都屬于協同過濾方法，其中，UserCF的步驟如下：

（1）根據用戶的點擊歷史建立大小為|U|×|U|的稀疏矩陣 W，W［i］［j］表示用戶 ui，uj點擊過的相同案例個數；

（2）對兩個用戶 ui，uj，利用 W［i］［j］與 ui，uj點擊過的不重復案例的總數之比作為用戶相似度，求出用戶的k個鄰居；

（3）根據相近用戶點擊過的物品itemj，計算用戶ui對物品itemj的得分，公式如式（3）所示，其中Sj為對itemj評過分的用戶集合；

（4）選取得分top n的案例作為最終的召回結果。

ItemCF與UserCF類似，唯一不同之處在于建立的為案例間的稀疏矩陣，利用案例的鄰居進行推薦。

2.4 基于熱度的召回

在實際場景中，越熱門的案件就越有可能得到用戶的關注，因此我們利用熱度這一信息進行召回。步驟如下：

（1）統計每個案例被點擊的次數，以次數表示熱度；

（2）為每個用戶推薦熱度為top n的案例。

3 多路召回方法框架

在實際場景中，需要一定數量的召回案例，單路召回方法能力有限，只用一種方法有較大局限性。單路的召回方法各有優劣，且考慮的角度不盡相同，因此可以考慮利用多種方法的結果做多路召回。但如何對多路結果進行融合，仍有待實驗驗證。

單路召回將對每個用戶生成一個召回列表，列表包含了召回的案例以及案例的得分，且以得分降序排列。案例的得分用于刻畫用戶與案例間的相似度，得分越高相似度越高。不同召回方法得分的定義不同，基于司法要素的召回得分如式（2）所示；基于內容的召回中，通過BERT方法可以得到用戶與案例之間的歐式距離d，得分為e-d；基于協同過濾方法得分如式（3）所示；基于熱度的召回以案例的被點擊次數為得分。我們以Bagging為基本思路，設計了以下幾種融合策略，以下三種策略展示了對某一個用戶各路召回結果的利用。

策略一：每路中從前到后依次取案例，直到取得N個不重復的案例或K路均取完；

策略二：先將每路的評分歸一化，某個用戶ui對案例itemj的得分如式（4）所示，其中，K表示路數，s［k］表示第k路中ui對itemj歸一化后的得分；

策略三：僅考慮單路召回中案例所在的位置，計算表達式與式（4）一致，此時s［k］的值為案例所在位置索引值的倒數。

4 實驗結果及分析

4.1 數據集

數據來源于元典智庫（現名為元典深思）線上平臺，收集了2020年10月—2021年4月的相關案例與用戶點擊行為，數據已除去爬蟲用戶，所得數據均由非爬蟲用戶產生。共收集到權威案例7 167個，用戶4 464個，平均交互次數為34.86次，稀疏度為0.995。采用留一法構造數據集，我們將用戶的點擊均視為正例，并取用戶最后一次的交互作為測試集，用戶其他歷史交互作為訓練集。

4.2 評價方法

每種召回方法都會對每一個用戶得到一個召回列表，列表按照與用戶歷史案例的相似程度降序排列，若召回列表前N個案例中含有測試集中對應用戶的正例，則認為該用戶在N的限制下命中，記作HN［u］=1，反之則記作HN［u］=0。考慮所有用戶（用戶組成的集合為U），有式（5）定義。在召回階段，N的取值相對較大，主要是實現第一步的篩選，作為精排模型的輸入。本文在單路召回中，本文取N=200，多路召回中則取N=1 000。

4.3 單路召回結果

為了方便方法表示，我們使用簡寫表示某種方法，對應關系如表2所示，其中，YS為變量，表示司法要素的類型，可取AY等。由于單路召回方法可召回案例數有限，各個單路召回均只統計前200個結果的命中率。

表2 方法簡稱對照表Table 2 Comparison between methods and their abbreviations

4.3.1 單路召回結果

各單路召回結果如表3所示。其中，基于司法要素的召回使用了用戶近20次的案例點擊歷史。其中，Essemble綜合考慮了案由、案情與關鍵詞三個司法要素，三者并重。

表3 單路召回結果Table 3 Results of single-channel recall

通過結果，可以看出：

（1）基于案由這一司法要素的召回取得了最好的效果，說明了司法要素這一場景特殊知識的重要性，也說明了該種召回方法在此場景下是有效的。

（2）在司法要素中，并非所有的要素都是有效的。例如，法條的連接率雖然遠低于要素的連接率，但其召回率卻相對較高，這是因為在連接率較低時，含有該項特征的案例可能恰好是同一類案例，從而使得召回率提高，但這種較高的召回率是沒有意義的，由于含有該項特征的案例較少，難以反映整體情況。因此，應當綜合考慮連接率與召回率，此外，案由、案情、關鍵詞三種要素綜合后的結果不如案由召回，由此認為以案由為特征的召回是有效的。之后的多路召回中使用案由召回，基于司法要素的改進對象也為案由召回。

（3）基于文本召回的效果并不理想，可能的原因是案例的文本較為復雜，案例的文本內容大部分依賴于事件本身，即文本內容會大量敘述相關事實，而案例與案例間的事實差異較大，文案之間差異明顯，不利于相似程度的判斷。

（4）協同過濾方法取得了較好效果，說明利用相似用戶與相似案例進行推薦在此場景中仍是有效的。ItemCF召回與UserCF召回的結果較為接近，是因為兩者是對同一歷史信息以相似方式的利用，因此其最終結果相對來說也會較為接近，此問題將在4.3.3做進一步討論。

（5）基于熱度召回的方法召回率相對較低。在司法場景下，用戶關注的更可能是某一個案例相關的其他案例，而不是熱度較高的案例，熱度并不能反映案例之間的相關程度，也沒有對用戶做個性化的推薦，故其效果相對較差。

4.3.2 改進后的司法要素召回

同案由案例在上述召回方法中具有相同的分數，為了使同案由案例有一定區分度，按照2.1.2中的各方法改進（分別利用了熱度、時間、熱度與時間、用戶歷史的案由分布）后的結果如表4所示。

表4 改進后的案由召回Table 4 Improved recall methods based on cause of case

結果顯示，改進一、二、三與之前的結果在測試長度較長時差距并不大，原因在于案例的總數目相對較少，當召回測試案例數目較多時，差距就會縮小，因此應當考慮表格的前兩項數據。可以看出，當推薦以熱度優先時相應的結果更好，當以時間優先時，結果相對降低。在司法場景下，被點擊的越多的案例被再次點擊的概率會更高，但越新的案例并不一定會得到更多點擊。改進四效果相對較差，原因在于案例的總數目并不多，改進四的做法會導致被推薦的案例數減少，但當案例總數較多時，改進四或許能取得更好的結果。例如，當案例總數足夠多時，其他改進很可能推薦的都為同一種案由的案例，而改進四則能兼顧案例案由的多樣性。

在本場景下，利用熱度對案由召回的改進最為理想，因此之后實驗中使用的案由召回，皆為基于改進一的案由召回。

4.3.3 重合度分析

上述五種方法從不同的角度進行了推薦，單單從召回率并不能看出幾種方法間的關系，也不能反映幾種方法的重要程度。為了進一步分析幾種方法的關系并衡量幾種方法的重要程度，我們進行了正確重合度分析，結果如表5所示，表項的具體計算方式如下：

表5 不同方法的正確結果重合度Table 5 Coincidence of correct results of different methods

（1）以li、cj分別表示表格第i行、第j列所示的方法，以t［i］［j］表示表格數值，初值為 0；

（2）若在li、cj兩種方法下，對用戶u，都有H200［u］=1，則t［i］［j］=1；

（3）考慮所有li、cj組合，通過式（6）得到最終表項的取值，分母的H200［u］是基于方法li得到的。

在此種表示方式下，可以通過觀察行來判斷方法li正確結果在其他方法正確結果中的占比，通過列來觀察其他方法正確結果在方法cj正確結果的占比，行所示數據越大，說明其正確結果包含在其他方法正確結果中的比例越大，其有效性相對越低，列所示數據越大，說明其包含越多其他方法的正確結果，其有效性相對越高。

通過結果可以看出，兩個協同過濾方法正確結果的重合度較高，但與其他方法的包含與被包含比例適中；案由召回包含了較多其他方法的正確結果且其被包含的比例相對較低；BERT與Popular兩種方法包含與被包含的比例相對適中。結果說明案由召回在此場景下是有效的，BERT、協同過濾、Popular都具有一定的價值，而UserCF與ItemCF兩種方法之間重合度較高，二者之間應當可以只保留一種方法。

4.4 多路召回結果

4.4.1 不同多路融合策略的召回結果

不同策略的多路召回結果如表6所示。策略一選取了每路中靠前的案例，策略二將案例得分進行了多路平權處理，以得分為依據進行召回，策略三使用了索引值倒數作為得分。

表6 不同多路融合策略的結果Table 6 Results of different multi-channel strategies

三種策略中，效果較好的為策略一、二，策略一選擇了每路靠前的案例，形成最終的召回序列，能一定程度上綜合各路的結果，具有一定的有效性。策略二則以量化的方式融合了各路的結果，有利于綜合各路優勢，故取得較好效果。

4.4.2 消融實驗

通過重合度分析，我們發現五路中案由召回相對重要，認為ItemCF與UserCF可以僅保留一種方法即可，而BERT、Popular方法具有一定的價值，在此通過消融實驗做出驗證。方法一到五分別表示無案由召回、無BERT召回、無UserCF召回、無ItemCF召回、無Popular召回，四路與五路召回結果總數保持一致，此時每路被選擇的案例數量增加。結果如表7所示。

表7 消融實驗結果Table 7 Results of ablation experiments

從結果可以看出，當缺少的方法為ItemCF與UserCF其中之一時，召回率下降并不明顯，而缺少的為其他方法時，召回率有所下降，尤其是缺少案由召回時，達到了最低值。可以認為案由召回在五路中貢獻較大，而兩種協同過濾方法最終的貢獻程度較為接近。其中，在舍棄UserCF召回時，Hit@1000有所提高，這是因為在舍棄UserCF之后其他方法能提供的案例變多，使結果改善，但通過前兩列的值，仍可認為五路召回是最為有效的。

4.5 其他分析

策略四采用的為各路平權相加的融合方式，但是否存在更好的網絡結構或網絡權重還有待進一步探究，故引入神經網絡方法，解決如下兩個問題：（1）探究適宜的網絡結構；（2）提供網絡權重的一種訓練方法。整個訓練與測試的設計如下。

網絡的輸入與輸出：輸入為一個長度為5的向量，分別表示五路中的得分，輸出為長度為1的向量，表示五路召回的綜合得分。

訓練：每次從用戶的點擊歷史中返回一個正例與從用戶沒有點擊的案例中采樣得到的九個負例，對案例進行分數預測，損失函數使用成對的損失函數。

測試：測試時針對用戶與其所有未點擊過的案例，通過網絡計算每一個案例的得分，將案例以得分進行降序排序，得到最終的召回列表。

網絡結構如下。

網絡一：單層線性網絡，不含bias；

網絡二：雙層線性網絡，線性層不含bias，使用GeLU為激活函數；

網絡三：雙層線性網絡，線性層不含bias，無激活函數。

以2.3中策略三所示方法作為對比，結果基于十折交叉驗證得到，結果如表8所示。

表8 不同網絡結構的召回結果Table 8 Results of different network structures

針對問題（1），通過結果可以看出，單層線性網絡與雙層網絡的效果相差不大，原因在于本問題較為簡單，無須復雜網絡即可達到較好效果，反而平權相加的方式擁有最好的效果。

針對問題（2），由于數據集中正例數目過少，因此對于神經網絡訓練的指導意義并不強，每次訓練收斂時所得的權重相差過大，難以得到一個相對穩定的權重，神經網絡方法對權重的確定指導意義較小。

5 結論

智能司法信息處理是司法領域從信息化走向智能化的關鍵路徑，司法場景下的推薦系統有利于滿足用戶的司法信息需求和緩解信息過載等問題，是一個重要的新興研究領域。針對案例推薦的召回方法研究，本文系統地回顧并實現了基于協同過濾、基于案例文書內容的召回方法，并提出基于司法要素的召回方法。相比于其他方法，基于司法要素的召回對司法場景下的特殊知識進行了挖掘與利用，利用案由進行召回的方法取得了較好的效果，驗證了基于司法要素召回的有效性。在多種融合策略中，將各路對某個案例的評分進行平權相加可取得較好結果，且實現方法簡單，算法復雜度低。在選取單路的召回策略時，可以進行重合度分析，若存在某兩路結果重合度較大，則可考慮舍棄其中的一個方法從而獲得更高的效率。最后，本文嘗試了使用神經網絡進行多路召回結果融合，但其效果不如多路加權相加方式的效果，反而出現了嚴重的過擬合問題。由于數據集正例數較少，神經網絡收斂時權重差異較大，能為權重確定帶來的指導較少。