自適應(yīng)網(wǎng)絡(luò)安全意識測評系統(tǒng)研究綜述

齊 斌，鄒紅霞，王 宇，李冀興

(航天工程大學(xué) 航天信息學(xué)院，北京 101416)

世界范圍內(nèi)網(wǎng)絡(luò)安全事件頻發(fā)，對個人、企業(yè)和國家都造成了不同程度的損失，引起了社會的廣泛重視。統(tǒng)計發(fā)現(xiàn)，有近80%的事件是因人員缺乏網(wǎng)絡(luò)安全意識或?qū)W(wǎng)絡(luò)威脅缺乏敏感性造成的，甚至個別重要人員因意識不足導(dǎo)致了難以挽回的損失[1]。

《國家網(wǎng)絡(luò)空間安全戰(zhàn)略》指出“大幅提升全社會的網(wǎng)絡(luò)安全意識和基本防護技能”，為響應(yīng)《網(wǎng)絡(luò)安全法》對我國從業(yè)人員以及網(wǎng)民的具體要求，網(wǎng)絡(luò)安全意識測評系統(tǒng)能夠及時評估和預(yù)警重要崗位人員的網(wǎng)絡(luò)安全意識概況，減少或避免因欺詐、釣魚等社會工程學(xué)攻擊手段帶來的損失，同時根據(jù)評估結(jié)果可針對性地提升自身知識與技能[2]，是人員資質(zhì)管理系統(tǒng)裝備的重要組成部分。

近5年來學(xué)術(shù)界對網(wǎng)絡(luò)安全意識的研究明顯不足，國內(nèi)外的網(wǎng)絡(luò)安全意識相關(guān)領(lǐng)域的文獻計2500余篇，我國核心級別的文獻不足60篇，且研究方向大多是培養(yǎng)模式以及國外教育領(lǐng)域的經(jīng)驗、啟示[3-4]，國外 SCI、EI級別的學(xué)術(shù)論文百余篇，研究方向主要集中在網(wǎng)絡(luò)安全意識教育模框架、實訓(xùn)技術(shù)、培訓(xùn)策略與規(guī)范等[5-6]。綜合分析指出，網(wǎng)絡(luò)安全意識測評系統(tǒng)的研究尚處于萌芽狀態(tài)，而且多停留在理論和概念研究，對于人員安全意識測試和評估的具體技術(shù)仍然缺乏較為系統(tǒng)的指導(dǎo)和參考。

網(wǎng)絡(luò)安全意識測評系統(tǒng)是綜合性系統(tǒng)，關(guān)鍵技術(shù)包括自然語言處理(Natural Language Processing,NLP)、知識圖譜構(gòu)建和計算機自適應(yīng)測試(Computerized Adaptive Test,CAT)等，雖然NLP技術(shù)目前已趨于成熟，但其余關(guān)鍵技術(shù)仍處于發(fā)展階段，因此有必要在我國網(wǎng)絡(luò)安全意識測評系統(tǒng)等裝備發(fā)展的上升期，及時對關(guān)鍵領(lǐng)域的技術(shù)研究進展作綜述，為域內(nèi)學(xué)者和專家的研究提供有效參考。

1 自適應(yīng)網(wǎng)絡(luò)安全意識測評系統(tǒng)

網(wǎng)絡(luò)安全意識，指在網(wǎng)絡(luò)空間活動中為了保障個人、組織、國家的信息、財產(chǎn)等安全而具備的發(fā)現(xiàn)潛在威脅、判斷危害、及時預(yù)防或化解威脅的綜合能力[7]，測評結(jié)果通常由知識、技能和態(tài)度的量化進行綜合反饋。為提高網(wǎng)絡(luò)安全意識測評效率和準(zhǔn)確率，解決采用調(diào)查問卷、計算機審計等傳統(tǒng)方式帶來的資源浪費和不確定性等問題，本文提出了自適應(yīng)網(wǎng)絡(luò)安全意識測評系統(tǒng)，主要由自然語言處理、知識圖譜和基于認(rèn)知診斷的自適應(yīng)測試(Cognitive Diagnostic-CAT,CD-CAT)三個模塊組成，其完整的系統(tǒng)模型如圖1所示。

系統(tǒng)每個模塊都是一個獨立的有價值的重要研究課題，綜合了相關(guān)領(lǐng)域的多種理論和技術(shù)。在實際開發(fā)中，一個完整的系統(tǒng)并不是各個模塊之間的簡單拼湊，而是需要將各個部分有效結(jié)合在一起，最大程度提升整體性能。測評系統(tǒng)依據(jù)人員職業(yè)、計算機日志、社交信息等數(shù)據(jù)采用自然語言處理技術(shù)挖掘用戶日常網(wǎng)絡(luò)行為潛在的威脅，根據(jù)具體法律、規(guī)范等生成該用戶的網(wǎng)絡(luò)安全知識圖譜，并據(jù)此生成自適應(yīng)測試的題庫。引入心理測量學(xué)中的認(rèn)知診斷理論構(gòu)建自適應(yīng)測試技術(shù)，根據(jù)被試每一題的作答結(jié)果自適應(yīng)調(diào)整下一道試題，不斷收斂至被試的真實能力水平附近，從而根據(jù)測試結(jié)果綜合評估人員的網(wǎng)絡(luò)安全意識狀態(tài)以及存在的潛在風(fēng)險。

2 自然語言處理

自然語言處理，又稱自然語言理解或“計算語言學(xué)”，是當(dāng)前人工智能領(lǐng)域中較為重要研究方向，目的在于通過計算機自動理解并生成人類日常通用語言。自然語言處理技術(shù)在英語等規(guī)范語種的國家取得了相對成熟的應(yīng)用，但中文語句因具有一詞多義、一語雙關(guān)等歧義特性，句子的深層語義分析、句法及語用分析難以達到理想效果。

2.1 基于語義文法的NLP

正文內(nèi)容語義文法可用4元組G= (VT,VNT,S,R)表示，其中VT表示語義文法中的終結(jié)符，VNT表示語義文法中的非終結(jié)符，S表示語義文法的開始符集合，R表示語義文法中的確定型產(chǎn)生式集合。

語義文法描述語言的優(yōu)勢是可以提供語句中豐富的語義結(jié)構(gòu)，為降低語義文法設(shè)計難度，PALOGIANNID等[8]利用眾包收集文法學(xué)習(xí)所需的語料，通過設(shè)置不同模塊收集語料并利用困惑度模型從語料中抽取質(zhì)量較高的部分用于語義文法中的語義類學(xué)習(xí)。GEORGILADAKIS等[9]在學(xué)習(xí)Non-temimal型規(guī)則時融入了語義特征，在文法學(xué)習(xí)不同階段融入數(shù)據(jù)驅(qū)動分析方法來提高文法學(xué)習(xí)的覆蓋度。部分學(xué)者通過計算未識別文本段與已有文法規(guī)則的相似度，同已知規(guī)則相匹配，從而推理出新文法規(guī)則[10]。GASPERS等[11]采用弱監(jiān)督方法來學(xué)習(xí)語義文法，并基于語料給規(guī)則賦予權(quán)重，著重考慮了語義理解系統(tǒng)，避免數(shù)據(jù)的錯誤傳輸。WANG等[12]在語義文法的訓(xùn)練中將關(guān)聯(lián)領(lǐng)域知識融入到統(tǒng)計模型中輔助對語料的語義標(biāo)注，從而可以大量減少訓(xùn)練語料。

人機交互過程中，輸入的自然語言通常是不規(guī)范的，對NLP的魯棒性、容錯性提出了較高的要求。為解決自然語言的非規(guī)范輸入，語義文法的解析過程可直接對輸入的部分片段解析，生成解析樹再被轉(zhuǎn)化成語義框架，利用啟發(fā)式規(guī)則進行整合。

2.2 基于機器學(xué)習(xí)的NLP

基于機器學(xué)習(xí)的NLP可以極大地降低文法設(shè)計復(fù)雜性，魯棒性及可移植性較強，通常采用的機器學(xué)習(xí)方法如貝葉斯分類器、VSM模型構(gòu)造分類器等，但因產(chǎn)生無層次的分類，不帶有嵌入變元的結(jié)構(gòu)，所以不適用于語句結(jié)構(gòu)分析。

為提高語義理解的準(zhǔn)確度和改善結(jié)構(gòu)性問題，WU[13]提出了一種弱指導(dǎo)學(xué)習(xí)的限定領(lǐng)域自然語言處理方法，通過使用主題分類器識別語句的主題，再根據(jù)已經(jīng)訓(xùn)練好的槽分類器從語句中提取出槽值序?qū)?，最終生成句子的語義表示。Psarologou[14]在前人研究的基礎(chǔ)上，將HMMs與n元語法模型相結(jié)合來刻畫自然語言，通過語料標(biāo)注進行訓(xùn)練，實現(xiàn)了處理帶嵌套語義結(jié)構(gòu)的功能，進一步提高了語義層次的理解與識別。

2.3 基于規(guī)則與統(tǒng)計相結(jié)合的方法

基于文法規(guī)則的NLP能夠獲得語句的結(jié)構(gòu)信息，基于統(tǒng)計方法容錯性較高，對于某些領(lǐng)域來說使用單一的方法不能滿足現(xiàn)實需求，所以通常將兩類方法以不同的方式進行結(jié)合。

隨著目前語言訓(xùn)練數(shù)據(jù)累積得越來越多，NLP系統(tǒng)主要以數(shù)據(jù)驅(qū)動方法為主。微軟研究院 Wang等[15]提出了一種將統(tǒng)計模型與語義文法相結(jié)合的語言理解系統(tǒng)，該系統(tǒng)首先采用SVM和Naive Bayes等分類器識別用戶的查詢意圖，再根據(jù)識別出的查詢意圖選擇與其相關(guān)的文法對句子進行解析，并最終依據(jù)解析結(jié)果生成句子的語義表示。該方法充分結(jié)合了統(tǒng)計模型的魯棒性以及語義文法能夠生成復(fù)雜結(jié)構(gòu)的特性。為克服領(lǐng)域訓(xùn)練語料不足的問題，WANG等[16]又通過將領(lǐng)域知識(領(lǐng)域?qū)＜叶x的語義框架)與條件隨機模型結(jié)合進行語義理解，提高了識別效果。

2.4 深度文本匹配

隨著深度學(xué)習(xí)的快速發(fā)展，基于深度學(xué)習(xí)的自然語言處理逐漸受到重視。深度學(xué)習(xí)模型便于描述自然語言中的層次結(jié)構(gòu)，直接從數(shù)據(jù)中學(xué)習(xí)并模擬出規(guī)則或特征以描述語言規(guī)律，提高處理精度[17]。

2.4.1 基于單語義文本表達

基于單語義的深度學(xué)習(xí)模型是通過將兩個待匹配的對象經(jīng)深度學(xué)習(xí)生成高維度稠密向量，用相似度度量兩個對象的匹配度，一般可根據(jù)全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)等繼續(xù)劃分。

深度語義結(jié)構(gòu)模型[18]主要針對查詢項和文檔的匹配度進行建模。為提高語義判斷的準(zhǔn)確度，微軟研究院提出了基于單詞序列的卷積深度語義結(jié)構(gòu)模型[19]。Hu等[20]提出了ARC-I模型，將句子表達為定長向量，拼接一個全連接的多層神經(jīng)網(wǎng)絡(luò)。Qiu等[21]提出CNTN模型，使用張量神經(jīng)網(wǎng)絡(luò)作為相似度度量來建模兩個文本向量之間的關(guān)系。為解決CNN深層匹配結(jié)構(gòu)無法表達遠(yuǎn)距離依存關(guān)系和復(fù)雜語義的問題，Palangi等[22]提出基于長短時記憶(Long Short Term Memory,LSTM)的文本匹配模型，將查詢項和文本表達成向量的形式，余弦距離計算相似度并輸出匹配值。

單語義表達具有易于數(shù)據(jù)儲存、計算速度快等優(yōu)勢，適合對存儲和速度要求都比較高的任務(wù)。缺陷表現(xiàn)為：匹配不具備傳遞性，對局部化信息的有效性要求較高，壓縮句子的過程中信息損失嚴(yán)重。

2.4.2 基于多語義文本表達

為解決單語義模型的缺陷，考慮文本的局部性表達和全局性表達以及向量的相似程度，多語義模型生成局部短語表達進行匹配。

Socher等[23]提出了一種遞歸神經(jīng)網(wǎng)絡(luò)，可伸展遞歸自動編碼器uRAE，對兩段文本進行句法分析并自動構(gòu)建句法樹，作為遞歸自動編碼器樹狀連接的結(jié)構(gòu)，通過匹配相似度矩陣表現(xiàn)匹配關(guān)系。Yin等[24]提出使用卷積神經(jīng)網(wǎng)絡(luò)分別得到不同層面的文本表達，將向量拼接或建模向量相似度得到最終的匹配值。因RNN在掃描句子的過程中能夠從不同位置分別輸出表達，Wan等[25]提出了多視角循環(huán)神經(jīng)網(wǎng)絡(luò)MV-LSTM，形成了由不同中心詞產(chǎn)生的多個視角表達的集合，效果提高明顯。

多語義文檔表達豐富了語義信息，模型仍然有如下缺陷：依賴句法樹算法的準(zhǔn)確性難以保障，魯棒性不足；無法區(qū)分局部化信息的重要性，因語言多義性難以整合局部和全局信息；僅對兩個對象獨立提取特征，難以捕獲匹配中的結(jié)構(gòu)信息。

直接建模匹配模式的深度學(xué)習(xí)模型，兩段文本的匹配主要是關(guān)注關(guān)鍵詞及其相對位置的匹配，再結(jié)合文本的語義對匹配程度進行評估。

主題深度匹配模型[26]包含局部匹配層和綜合層兩個部分，局部匹配層將輸入的文本對表達為多個局部匹配結(jié)果，綜合層是一個多層神經(jīng)網(wǎng)絡(luò)，將得到的局部匹配結(jié)果進一步綜合并形成綜合的最終匹配結(jié)果。樹深度匹配模型[27]采用依存樹作為文本的表示，每一個局部匹配模型都對應(yīng)一個子樹對，而匹配模型的輸出取決于輸入的句子對是否含有這兩個子樹對所表示的依存結(jié)構(gòu)。

直接建模匹配模式初始將文本交互得到細(xì)粒度的匹配信息，避免了細(xì)節(jié)匹配信息丟失，但需要大量有監(jiān)督文本匹配的數(shù)據(jù)訓(xùn)練，存在預(yù)測消耗資源大，難以單獨計算文本的特征等缺陷。因此這類模型一般都是用于問答系統(tǒng)、對話系統(tǒng)等匹配程度高、句式變化復(fù)雜的任務(wù)。

2.5 小結(jié)

自然語言處理技術(shù)不僅需要創(chuàng)新研究方法與模型，還需要充分挖掘已有的模型和技術(shù)。一是模型的有機融合，將不同模型、框架進行優(yōu)勢互補提高處理精度與效率；二是借助外部知識庫擴充文本訓(xùn)練內(nèi)容，提高深層語義挖掘的效果。

3 知識圖譜構(gòu)建技術(shù)

知識圖譜是描述客觀世界的概念、實體、事件及其間關(guān)系的表現(xiàn)形式[28]，已被廣泛用于數(shù)據(jù)分析與數(shù)據(jù)決策等領(lǐng)域，是基于知識的智能服務(wù)基礎(chǔ)設(shè)施。通常用三元組G=(E,R,S)表示，實體集合E={e1,e2,…,e|E|}，共包含|E|種不同實體；關(guān)系集合R={r1,r2,…,r|R|}，共包含|R|種不同關(guān)系；S?E×R×E代表知識庫中的三元組集合。

目前多數(shù)知識圖譜都采用自底向上的構(gòu)建方式，從某些開放鏈接數(shù)據(jù)中提取置信度較高的實體，加入到知識庫中后再構(gòu)建頂層的本體模式[29]，典型如Google的Knowledge Vault[30]。按照步驟分為信息抽取、知識表示、知識融合和知識推理四個部分。

3.1 信息抽取

信息抽取是從異構(gòu)數(shù)據(jù)源中自動抽取信息得到候選知識單元，作為一種自動從半結(jié)構(gòu)化和無結(jié)構(gòu)化數(shù)據(jù)中抽取結(jié)構(gòu)化信息的技術(shù)[31]，因此主要涉及實體抽取、關(guān)系抽取和屬性抽取等技術(shù)，本質(zhì)也是自然語言處理，具體處理模型可參考第二章。

實體抽取也稱命名實體識別，從原始語料中自動識別出命名實體，是信息抽取中最為關(guān)鍵的步驟，Jung等[32]將抽取方法分為基于規(guī)則與詞典、基于統(tǒng)計機器學(xué)習(xí)以及面向開放域的抽取方法。

此外，為了讓更多企業(yè)享受得到政策，認(rèn)定標(biāo)準(zhǔn)必須要降低。例如：在認(rèn)定增值稅納稅人的時候，針對新建立的企業(yè)不需要限定規(guī)模，只需要企業(yè)具備固定經(jīng)營地，擁有合法賬簿以及納稅材料，在申請的時候就可以認(rèn)定為一般納稅人[1]。在認(rèn)定企業(yè)所得稅的時候，除了要處理法律上的差異，還需要提高所得稅額的標(biāo)準(zhǔn)，讓優(yōu)惠政策能夠常態(tài)化。在當(dāng)前的形勢下，小微企業(yè)稅率也需要得到降低。例如：增值稅小規(guī)模的納稅人稅率是3%，若依據(jù)城市建設(shè)、教育費以及地方教育費的稅率進行計算，納稅人稅率應(yīng)該是3.26%。對于小微企業(yè)這樣的稅率仍然是過于高的，應(yīng)該將稅率調(diào)整到1.5%附近。所得稅的優(yōu)惠也可以考慮從原本的20%降低到15%的稅率。

關(guān)系抽取是為了解決實體間語義鏈接的問題，目前應(yīng)用較為廣泛的是實體間關(guān)系模型。BANKO[33]提出了面向開放域的抽取框架OIE，但在實體間隱含關(guān)系的抽取上表現(xiàn)較差，因此部分研究者提出了基于馬爾可夫邏輯網(wǎng)和基于本體推理的深層隱含關(guān)系抽取方法。

屬性抽取可形成關(guān)于實體較為完整和全面的描述，但因?qū)嶓w的屬性可簡單看作是實體、屬性間的名稱性關(guān)系，所以普遍將屬性的抽取問題轉(zhuǎn)換為關(guān)系抽取問題。楊博等[34]提出的基于規(guī)則與啟發(fā)式的屬性抽取算法能夠從Wikipedia及WordNet的半結(jié)構(gòu)化網(wǎng)頁中自動抽取相應(yīng)的屬性名稱與屬性值，且可擴展為本體知識庫，是目前發(fā)展較為快捷的技術(shù)，實驗表明此種算法的抽取準(zhǔn)確率可達到95%。

3.2 知識表示

知識表示可分為符號主義和聯(lián)結(jié)主義兩類：符號主義將符號設(shè)定為思維的基礎(chǔ)單元，認(rèn)知過程擬作符號表示運算；聯(lián)結(jié)主義將認(rèn)知作為神經(jīng)網(wǎng)絡(luò)的整體活動，知識信息相互聯(lián)系，存于聯(lián)結(jié)或權(quán)重中。

基于符號邏輯的知識表示，主要包括邏輯表示法(如一階邏輯、描述邏輯等)、產(chǎn)生式表示和框架表示等。邏輯表示的描述能力和推理效果較好，但生成推理規(guī)則的能力弱，對數(shù)據(jù)質(zhì)量的要求高。

在語義網(wǎng)中，信息均有確定的意義，能被計算機理解、獲取和集成?；ヂ?lián)網(wǎng)內(nèi)容的知識表示主要包括基于標(biāo)簽的半結(jié)構(gòu)置標(biāo)語言XML、基于萬維網(wǎng)資源語義元數(shù)據(jù)描述框架RDF和基于描述邏輯的本體描述語言O(shè)WL等[35-36]。

表示學(xué)習(xí)可將語義信息表示為低維的實值向量，將不同粒度的知識單元進行隱式的向量化表示，有效緩解數(shù)據(jù)稀疏性，一般包括張量重構(gòu)[37]和勢能函數(shù)[38]方法。大數(shù)據(jù)下張量重構(gòu)產(chǎn)生了維度高、計算量大等困難，因此一般選用勢能函數(shù)方法。Bordes等[39]提出的TransE模型是勢能函數(shù)中平移模型的代表，從頭實體到尾實體的平移基礎(chǔ)上提出了向量優(yōu)化表示模型。

3.3 知識融合與推理

知識融合可使來自異源的知識在同一框架下實現(xiàn)異構(gòu)數(shù)據(jù)整合，通過消歧、加工、推理、驗證、更新等步驟，實現(xiàn)數(shù)據(jù)、方法、經(jīng)驗以及思維的融合，從而生成高質(zhì)量的知識庫。實體匹配，指從頂層創(chuàng)建規(guī)模統(tǒng)一的知識，輔助處理多源異質(zhì)的數(shù)據(jù)，通過消除異構(gòu)數(shù)據(jù)中實體沖突等問題實現(xiàn)高質(zhì)量庫。匹配算法在知識圖譜的融合技術(shù)上分為成對實體匹配與集體實體匹配兩大類。實體匹配后的事實表達或本體僅作為基本單位，需要進一步知識加工，包括本體構(gòu)建、質(zhì)量評估。

知識推理是基于現(xiàn)有知識庫進一步挖掘隱含的知識和知識聯(lián)系，從而進一步豐富和擴展知識庫。知識推理的對象可以是實體、屬性、關(guān)系、層次結(jié)構(gòu)等，但在推理過程中往往需要關(guān)聯(lián)規(guī)則的支持，一般分為基于邏輯的推理與基于圖的推理。推理是知識圖譜研究的重點和難點，評估標(biāo)準(zhǔn)也尚未統(tǒng)一。

3.4 小結(jié)

知識圖譜的研究方向：一是知識表示和獲取的理論與方法，強調(diào)知識的顯式語義定義；二是知識服務(wù)對知識圖譜構(gòu)建平臺的要求；三是知識圖譜的不同應(yīng)用模式需進一步推進知識驅(qū)動的信息處理。

4 基于認(rèn)知診斷的自適應(yīng)測試技術(shù)

教育領(lǐng)域已逐漸進入數(shù)據(jù)時代，CAT逐漸成為了心理測量領(lǐng)域的熱點，并演化到了其他測試領(lǐng)域。測試采用復(fù)雜的統(tǒng)計方式來估計被試的能力水平，并根據(jù)測試結(jié)果實時地從項目池中選擇最佳的項目。認(rèn)知診斷理論是目前重點研究和發(fā)展的對象，強調(diào)對個體的屬性評估。目前廣泛應(yīng)用于各種資格考試、職業(yè)認(rèn)證以及軍事等領(lǐng)域等。

4.1 認(rèn)知診斷模型

認(rèn)知診斷模型(Cognitive Diagnostic Model，CDM)建立了觀察反應(yīng)模式和被試知識狀態(tài)之間的映射，通過被試在項目上的反應(yīng)推斷出屬性掌握情況(知識狀態(tài))，并對被試的知識狀態(tài)做出診斷。

CDM發(fā)展至今已超過百余種，代表性的認(rèn)知診斷模型有線性Logistic模型、規(guī)則空間模型、DINA模型、屬性層級模型等[40]。國內(nèi)外專家、學(xué)者在此基礎(chǔ)上，為適應(yīng)不同應(yīng)用環(huán)境都做了相應(yīng)的改進,de la Torre的拓廣DINA模型，涂冬波等的多級評分DINA等[41]，在實驗階段取得了良好的效果。在選擇CDM時需要綜合考慮數(shù)據(jù)與模型的擬合情況、診斷信息的精確性、模型參數(shù)簡易型、樣本容量、收斂速度等方面問題，其中 DINA 模型因其參數(shù)較少和易解釋性而應(yīng)用廣泛。

CDM的參數(shù)估計模型會影響估計收斂速度和精度，估計方法包括聯(lián)合極大似然估計、邊際極大似然估計法、貝葉斯期望后驗估計、貝葉斯最大后驗估計、Expectation-maximization算法、馬爾可夫鏈蒙特卡羅(Markov Chain Monte Carlo,MCMC)算法等。其中MCMC等算法的估計速度通常需要幾個小時，而在同等條件下 EM 算法收斂速度更快,囿于 CD-CAT 的及時反饋需求和當(dāng)前計算設(shè)備的實際性能，EM 算法在 CD-CAT 中更為普遍。

4.2 選題策略

計算機自適應(yīng)測試的選題策略是影響度量準(zhǔn)確性的主要因素之一，也是反映測試過程個性化及智能化程度的重要依據(jù)。CD-CAT 的選題策略中主要分為以測量準(zhǔn)確性為主的策略和非統(tǒng)計約束類的策略。

提高測量準(zhǔn)確性是測試的首要目標(biāo)，較為常用的兩種基礎(chǔ)選題指標(biāo)包括香農(nóng)熵(Shannon Entropy,SHE) 和KL信息量。基于SHE的選題策略將被試認(rèn)知狀態(tài)、屬性掌握模式看作隨機變量的概率分布，從而依據(jù)算法度量隨機變量的不確定性。KL 信息量可以度量兩種概率分布之間的距離，距離越大越能區(qū)別兩種分布，此后又延伸發(fā)展了PWKL信息量和HKL信息量等指標(biāo)。

若只考慮測量精確性將會導(dǎo)致優(yōu)質(zhì)題目曝光率過高，不利于題庫安全，同時為提高測試的公平性，非統(tǒng)計約束類選題策略逐漸受到重視，項目曝光控制和內(nèi)容約束是重要的非統(tǒng)計約束策略。CD-CAT框架下控制題目曝光率的選題策略一般有限制性的隨機化方法，如限制進程法和限制閾值法等，部分學(xué)者指出項目合格方法、最大后驗概率、分層方法、修正優(yōu)先指標(biāo)等傳統(tǒng)CAT方法也可在一定程度上控制項目曝光率[42]。為控制內(nèi)容約束，Cheng等[43]提出了修正的最大全局區(qū)分度指標(biāo)MMGDI，潘奕嬈等[44]結(jié)合認(rèn)知診斷區(qū)分度指標(biāo)CDI后改進的MGCDI，Mao等[45]將傳統(tǒng)CAT中Monte Carlo(后用MC代替)方法引入CD-CAT，實驗驗證在測量精度、項目曝光均勻性和題庫利用率方面,較好于MMGDI 方法。為同時控制內(nèi)容約束和項目曝光，毛秀珍等[46]在CD-CAT框架下比較了目前基于MC改進的較為常用的5 種選題策略，實驗表明：在同屬性結(jié)構(gòu)下，測量精度以MC和最大后驗概率聯(lián)合方法最好，項目曝光均勻性以MC和限制進程聯(lián)合方法最好。

越來越多學(xué)者在考慮選題策略時同時兼顧了測量精度和約束條件。有專家提出了基于被試屬性掌握概率的選題策略，選擇最能改變被試屬性掌握概率的作為下一個測驗項目。朱天宇[47]等考慮了被試的知識屬性共性提出協(xié)同過濾推薦試題策略。目前，混合選題策略在題庫使用的均勻性等方面有較好的表現(xiàn)。

4.3 小結(jié)

第一，適應(yīng)更加復(fù)雜的認(rèn)知環(huán)境，提高知識狀態(tài)診斷的精確性，創(chuàng)新認(rèn)知診斷模型仍是未來研究的重要方向。第二,在題庫的開發(fā)與維護方面，現(xiàn)有的研究較少，尤其是針對限定領(lǐng)域的題庫模型和維護策略仍需進一步研究。第三，通過將不同優(yōu)勢的選題策略進行有機結(jié)合或做出相應(yīng)改進可以明顯提高測試效果，因此方法融合是重要研究思路。

5 結(jié)論

針對我國國民網(wǎng)絡(luò)安全意識不強的現(xiàn)實性問題，網(wǎng)絡(luò)安全意識測評系統(tǒng)應(yīng)運而生，受到了各界的重視并逐步展開了深入研究。但測評系統(tǒng)在上述領(lǐng)域小結(jié)的基礎(chǔ)上仍需注重并加強以下方向的研究。

1) 理論、模型的創(chuàng)新研究。技術(shù)的創(chuàng)新性研究往往需要科學(xué)的理論作為支持，測評系統(tǒng)的核心是知識系統(tǒng)的完善，當(dāng)前網(wǎng)絡(luò)安全領(lǐng)域仍需要進一步研究知識體系等框架性知識結(jié)構(gòu)。網(wǎng)絡(luò)安全意識測評系統(tǒng)的理論模型非本文所述的單一模型，故構(gòu)建更為合理、高效的測評系統(tǒng)模型是理論創(chuàng)新與研究的重心。

2) 多領(lǐng)域模型的融合性研究。自然語言處理模型等，知識圖譜技術(shù)的知識融合、推理模型等，針對不同應(yīng)用領(lǐng)域存在著不同的優(yōu)勢和不足，因此自主選用不同模型或者相應(yīng)模型的優(yōu)勢融合、跨領(lǐng)域模型等也是研究的重要方向。

3) 交叉學(xué)科的應(yīng)用研究。本質(zhì)上，自適應(yīng)網(wǎng)絡(luò)安全意識測評系統(tǒng)是交叉學(xué)科的應(yīng)用研究，即融合以計算機教育學(xué)、網(wǎng)絡(luò)安全、人工智能、計算語言學(xué)等多個領(lǐng)域的綜合性系統(tǒng)研究，因此在關(guān)鍵技術(shù)研究時應(yīng)加強多領(lǐng)域?qū)W科的知識融合，以完善整體系統(tǒng)。

4) 基于深度學(xué)習(xí)的數(shù)據(jù)挖掘。深度學(xué)習(xí)、遷移學(xué)習(xí)、加強學(xué)習(xí)等技術(shù)作為大數(shù)據(jù)處理的優(yōu)勢方法，應(yīng)針對在文本匹配、參數(shù)估計、語義理解等關(guān)鍵技術(shù)上提高訓(xùn)練集和模板的準(zhǔn)確性和訓(xùn)練效率。