基于改進概率軟邏輯模型的高校學生狀態推理方法

關鍵詞：概率軟邏輯;高校學生狀態;規則挖掘;推理;多層次結構

中圖分類號：TP181 文獻標志碼：A

0 引言（Introduction）

隨著高等教育的普及，高校應探索更加科學有效的管理決策方法[1]，以達到提升管理效率和提高學生培養質量的目的。當前，以數據和知識研究為基礎的管理決策作為一種新的決策方法，已經逐漸受到社會的廣泛關注，也為高校管理實踐帶來了新的發展動能[2]。

概率軟邏輯（PSL）[3]是一種適合處理高校學生狀態數據、表達推理過程的方法，目前已被廣泛應用于集體分類、垃圾郵件檢測、慕課參與者建模、個性化醫療、網絡社交和文本情感分析等多個領域[4]。然而，PSL推理規則需由專家或領域知識生成，該過程需耗費較多的時間、人力成本[5]，故本文提出一種改進的概率軟邏輯模型規則構建方法，將基于不完備知識庫的關聯規則挖掘算法（Association Rule Mining under IncompleteEvidence，AMIE+）融入PSL進行模型構建[6]，該方法的優點主要如下：（1）自動挖掘規則，減少人工工作量;（2）降低人為認知偏差帶來的不確定性，提高模型的科學性;（3）基于更科學的規則，構建多層次推理方法以提高推理的準確率。

1 改進概率軟邏輯模型方法（Improvedprobabilistic soft logic）

1.1 概率軟邏輯

概率軟邏輯是一種概率編程模型，它能夠有效地對結構化數據進行推理。PSL模型對一組加權的一階邏輯規則進行定義，這些邏輯規則的輸入原子和推理結果可以被定義或解釋為[0，1]的連續軟真值，而不是僅使用布爾值0或1代表概率。加權邏輯規則通常采用以下形式：

w：P1（A，B）∧P2（B，C）?P2（A，C） （1）

其中：w 是規則的權重（也可解釋為對應規則的重要性），P1（A，B）∧P2（B，C）稱為規則體，P2（A，C）稱為規則頭，P1、P2稱為謂詞，A、B、C表示實體，謂詞一般用于定義實體之間的關系，每個謂詞的計算值都可表示為[0，1]區間內的連續值，例如有規則Friend（A，B）∧know （A，C）?know（B，C），其中Friend（A，B）=0.7，表示A是B的朋友的概率為0.7，know（A，C）=0.9，表示A認識C的概率為0.9，經過PSL在這條規則上的推理后得出know（B，C）的值，即B認識C的概率。每一條規則表示特殊類型馬爾可夫隨機場（在PSL模型內，稱為鉸鏈損失馬爾可夫隨機場，簡稱HL-MRF）中的一個函數集合[3]。HLMRF的概率密度由以下公式表示：

1.2 改進方法

1.2.1 引入AMIE+

AMIE+從RDF（Resource Description Framework）三元組數據中不斷迭代組合規則（如算法1和算法2所示），當規則被組合完整時（具備完整的規則頭和規則體），AMIE+將對規則的各項參數進行檢查和判別，當得到的規則的各項參數均符合模型輸出參數設定時，該規則將被添加到輸出隊列。

AMIE+輸出的規則包含多個屬性[6]，本文的研究僅使用PCA置信度和頭部覆蓋率。

1.2.2 改進的概率軟邏輯模型結構

圖1展示了基于學生狀態數據改進的概率軟邏輯模型結構。規則學習模型用于從RDF三元組數據中挖掘規則，本文使用PCA置信度和頭部覆蓋率[6]的平均值作為規則的初始權重，得到邏輯規則后，經由規則優化模塊調整權重，進而輸入46PSL模型用于推理。

在本文研究中，為了得到更加豐富的推理結果，以及驗證推理結果對其他關系可能造成的多重影響，本研究在模型中引入了多層次方法。圖2展示了基于學生狀態數據改進的概率軟邏輯模型結構。

（1）非層次推理結構

非層次推理結構[圖1（a）]是PSL模型默認的模型構建方式，此狀態下的每個目標關系R₁，R₂，…，R_n 對應的規則在推理時是并列的且推理結果互不影響，即每次運行推理只輸出一種目標關系的結果數據。這種結構無法推理多重關系。

（2）多層次推理結構

多層次推理結構[圖1（b）]為本文研究所提出，它可以彌補非層次推理結構的不足，使推理模型能夠推理多重關系。多層次推理結構在推理過程中，R₁ 規則模塊得到結果后，其結果作為已知數據連同全局已知數據傳入R₂ 模塊，R₂ 推理得到結果后，R₁、R₂ 的結果將與全局已知數據一同輸入R₃，以此類推，直至所有模塊推理完成。例如，研究人員挖掘得到如下兩條來自不同目標關系的規則：

加入實驗室（B，A）?實驗室成員（A，B）

管理實驗室（E，A）amp;amp; 實驗室成員（A，B）?指導學生成員（E，B）

通過多層次方法，研究人員可以根據上述兩條規則在測試數據中推理得到老師E實際指導學生B的結果。

（3）編碼模塊

PSL模型的謂詞只允許使用英文字母或者英文字母與數字的組合定義。然而，本文所涉及的學生狀態數據中包含大量的中文字符數據，而原生的PSL模型無法處理這些數據。因此，本文將為PSL模型開發編碼模塊和解碼模塊以解決以上問題。編碼模塊的編碼原理：依據輸入數據所包含的實體和關系關鍵詞數量，編碼模塊將對它們以自然數序號編號作為其編碼，模型的運行過程將以編碼執行內部運行過程，運行完成后，編碼模塊將對輸出的運算結果及挖掘得到的規則進行解碼輸出。

（4）規則優化

AMIE+挖掘得到的規則在質量上存在差異，一種比較普遍的方法是對挖掘得到的規則的權重設置閾值以篩選更有效的規則，但是在實際篩選過程中，由于訓練數據對規則的支持程度不一，所以出現規則權重值不高但實際規則有效的可能性很大，例如研究人員在測試中得到如下3條規則：

0.6：輔導員（B，A）?管理學生（A，B）

0.7：管理實驗室（E，A）amp;amp; 實驗室成員（A，B）?指導學生成員（E，B）

0.8：指導學生成員（E，B）?輔導員（E，B）

根據高校管理常識可知，B是A的輔導員，那么A是B的所轄學生，因此第1條規則是正確的;同樣，如果老師E管理實驗室A，同時實驗室A包含學生B，那么就能推斷老師E大概率會指導學生B，這正好契合第2條規則;針對第3條規則表現的情況，不難看出它不一定能成立，因為當知道老師E指導學生B時，老師E除了有可能是學生的輔導員，他還可能是科任老師、實驗室老師等，因此需要更優秀的規則篩選方案，本文最終采用最大似然估計法（Maximum Likelihood Estimation，MLE）[3]基于訓練數據對規則權重進行調整。

2 實驗論證（Experimental verification）

2.1 數據

2.1.1 數據特征

本文研究的是學生狀態知識圖譜數據，它們以RDF三元組形式存在。如圖3所示，每一行是（a，r，b）格式的已知事實數據，a、b稱為主體（如人物、地點等），r是a、b之間的關系（如朋友、所屬班級、愛好等）。在本文的研究中，對應謂詞數據格式即r（a，b），例如“加入實驗室（羅蘭，實驗室A）”表示羅蘭同學已經加入實驗室A。

2.1.2 數據描述

（1）數據集1

數據集1是一個小范圍學生日常狀態數據集合，其中包含了13種關系的707條RDF三元組數據，數據間關系較為密集。

（2）數據集2

數據集2采集自某高校的真實學生的日常狀態數據，其中包含42種關系的117 640條RDF三元組數據，數據關系較為稀疏。

數據集1和數據集2包含的關鍵關系如表 1所示。

2.2 評估方法

評估學生狀態知識圖譜數據推理得到的新知識的準確性具有較大的挑戰性，因為即使是預先分割的大規模驗證數據，也很難包含足夠多的推理結果的真實數據。因此，目前除了人工識別方法，能準確辨別推理結果是否正確的方法幾乎沒有，但是采用人工方式識別大規模推理結果數據，人力成本巨大且難以實施。本文研究暫時只能選擇由人工分析部分數據，同時選擇AuROC（曲線下面積）、F1（綜合評價指標）、Precision（準確率）等標準[5]對多層次推理結構和非層次推理結構進行對比。

2.3 實驗設置

AMIE+在規則挖掘時的參數設置見表2：minHC 表示最小頭部覆蓋率;maxLen 表示規則長度閾值，即規則可包含的最大謂詞數;minConf 表示模型需要遵守的最小PCA置信度;minInitialSup 表示規則頭支持度，即要求訓練數據中需要契合規則頭的最小數據數量。

由于AMIE+在挖掘較長規則時所需時間成本會呈指數級增長，因此本文選擇只挖掘規則長度小于等于3的規則。如表3所示，在將最大規則長度閾值設置為4時，在數據集1上耗時近30 min;當設置最大規則長度閾值為5時，規則挖掘模型已經難以在短時間內得到規則輸出。需要強調的是，以上僅分析了規則挖掘模型的時間成本，加上優化和推理的過程，整個系統的耗時不可估量。此外，長規則可以通過多次應用長度為3的短規則進行推理，進而實現相似效果。

2.4 實驗結果

2.4.1 規則挖掘結果

在實驗中，規則挖掘模塊某次迭代從數據集2挖掘得到295條規則。其中，絕大部分規則可以通過簡單分析被研究人員理解，它們也與真實世界中的知識規律相吻合，例如如下列舉的4條規則：

0.51：班級學習委員（E，A）amp;amp; 班級班導師（E，B）amp;amp;（A！ =B）?學生班導師（A，B）

0.77：（貧困入庫（B，F）amp;amp; 貧困學生入庫（A，F））amp;amp;（A！ =B）?貧困等級（A，B）

0.78：關注策略（F，B）amp;amp;心理潛在風險（A，F）amp;amp;（A！ =B）?關注方式（A，B）

0.82：（所屬班級（B，F）amp;amp; 班級成員（F，A））amp;amp;（A！ =B）?認識（A，B）

表4展示了規則PCA 置信度排名前n 位的平均值，因PCA置信度在一定程度上顯示了規則的精確度[6]，所以可以推斷，對于每種要推理的目標關系，到達某一個臨界點后，隨著更多的低權重規則被推理過程使用，推理質量反而會下降，因此規則優化是必要的。

圖4是在數據集1上進行規則優化前、后的結果，從圖4可以看到，優化后的規則數量大幅減少，其實質作用是保證實驗在F1值最大的情況下，用更少的規則保證系統的推理效率。

通過規則挖掘，模型輸出了一些易于理解的高質量規則，如下：

0.97：（高中校友（E，A）amp;amp; 高中校友（E，B））?高中校友（A，B）

0.89：（實驗室學生成員（F，A）amp;amp; 所屬實驗室（B，F））?認識（A，B）

0.93：（關注策略（F，B）amp;amp; 自殺風險（A，F））?關注方式（A，B）

0.98：（勤工助學崗位（B，A））?崗位成員（A，B）

從以上可以看到，這些規則表達的意思顯而易見且符合人類認知，而且它們擁有較高的權重，這也意味著它們將在推理中起到非常重要的作用。

2.4.2 編碼機制導致的效率區別

對PSL開發編碼模塊后，通過對表5所示的各類字符定義謂詞進行測試，PSL均能正常運行，說明編碼能讓PSL具備處理各類字符串的能力。此外，編碼機制可以將PSL推理過程中的字符串計算轉化為數值計算，研究人員統計了PSL在數據集1上進行的10次推理實驗的運行時間，如圖5所示，編碼后使用數值運算方式的推理效率高于字符串運算方式的推理效率。

2.4.3 學生狀態數據推理結果

在對推理結果數據進行可視化之后，研究人員觀察到許多類似圖6中展示的相對準確的推理結果，它們在真實世界中對應的知識為高中校友的高中校友也是高中校友;如果兩個同學在同一實驗室，那么他們大概率互相認識;如果某同學自殺風險較高，那么依據學校規則他應該被重點關注;如果某課程招募了某助教同學，那么該同學一定在做勤工助學……

如圖7所示，推理結果也顯示出一些無法驗證但非常有意義的數據：兩個同學互相認識，那么他們有一定的可能性在同一實驗室或者同一組織中。這類情況在實際環境中存在極大的可能性。

通過推理，獲得了數據集1和數據集2的實驗結果，分別如圖8和表6所示。從中可以看到，在數據集1中，絕大部分關系的推理結果均具有較高的F1值，數據集2相較數據集1，整體F1值要低一些，這是由于數據集1上的關系更加密集且范圍更小，推理結果更容易被驗證，而數據集2上的數據量大且稀疏，很多推理得到的結果難以被已知事實驗證，但是研究人員不能判斷這些推理結果不正確，同時通過兩個數據集上的實驗結果都可以看到，多層次推理結構優于非層次推理結構，這也說明多層次推理結構對于推理質量的影響是正向的。此外，對于高校的學生管理工作來說，對“關注方式”“關注策略”“心理潛在風險”“愛好”“貧困等級”“自殺風險”等狀態關系的正確推理和預測，都可為高校學生管理提供有價值的參考[7-8]。

3 結論（Conclusion）

高校學生狀態數據高度復雜的關聯關系讓手動構建PSL推理規則異常困難，同時從時間成本、人力成本和經濟成本方面考慮，通過知識手動構建規則具有較大的挑戰性，本文提出了一種改進概率軟邏輯模型的自動化挖掘規則和推理的方法，通過引入AMIE+，使PSL在高校學生狀態知識圖譜（非完整知識庫數據）上擁有了挖掘關聯規則的能力。在真實數據集上的實驗結果顯示，改進的PSL模型應用于高校學生狀態數據推理領域是可行的，同時改進的多層次推理結構PSL模型在推理性能方面優于非層次結構模型。此外，本文研究還開發了PSL模型的編碼模塊，它不僅讓PSL具備了處理各種字符的能力，也使編碼后的PSL在以數值計算方式運行下的效率有了進一步提升。

作者簡介：

張嘉（1992-），男，碩士，助教。研究領域：機器學習，數據挖掘，知識推理。

王志星（1992-），男，碩士，講師。研究領域：數據挖掘，思想政治教育。

王 嬌（1988-），女，碩士，講師。研究領域：管理學，思想政治教育。