在線學(xué)習(xí)資源的個性化智能推薦研究探析

馬華　李京澤

摘? 要： 由于在線學(xué)習(xí)學(xué)習(xí)者的認知能力的不確定性、學(xué)習(xí)興趣的變化性、用戶偏好的多樣性等，在線學(xué)習(xí)資源的個性化智能推薦面臨新挑戰(zhàn)。文章根據(jù)學(xué)習(xí)者認知能力的模糊綜合診斷和學(xué)習(xí)者多重特征信息融合等，對在線學(xué)習(xí)資源的個性化智能推薦進行了研究，以期為相關(guān)研究者提供參考和啟發(fā)。

關(guān)鍵詞： 個性化學(xué)習(xí); 學(xué)習(xí)資源; 個性化推薦; 認知診斷

中圖分類號：G642? ? ? ? ? 文獻標(biāo)識碼：A? ? ? ? ? 文章編號：1006-8228（2022）02-111-05

Research on personalized intelligent recommendation of online learning resources

Ma Hua， Li Jingze

（College of Information Science and Engineering， Hunan Normal University， Changsha， Hunan 410081， China）

Abstract： Due to the uncertainty of online learners' cognitive abilities， the variability of learning interests and the diversity of personalized preferences， the personalized intelligent recommendation of online learning resources is facing new challenges. According to the fuzzy comprehensive diagnosis of learners' cognitive ability and the information fusion of learners' multiple characteristics， this paper researches the personalized intelligent recommendation of online learning resources， in order to provide relevant researchers with reference and inspiration.

Key words： personalized learning; learning resources; personalized recommendation; cognitive diagnosis

0 引言

基于互聯(lián)網(wǎng)的在線學(xué)習(xí)作為教育信息化的主要表現(xiàn)形式，是未來人們學(xué)習(xí)的一種主要趨勢[1]。目前，國內(nèi)外主流的公共在線學(xué)習(xí)平臺，例如edX、中國大學(xué)MOOC、智學(xué)網(wǎng)、EduCoder等，已積累了包括慕課、開放式課程（OCW）、習(xí)題、試題、實驗等在內(nèi)的龐大學(xué)習(xí)資源，并且，參與在線學(xué)習(xí)的學(xué)習(xí)者人數(shù)和學(xué)習(xí)時間也日益增長。《2020年騰訊課堂大數(shù)據(jù)報告》顯示，2019年騰訊課堂在線課程超17.8萬門，累計報名3430萬余門課程，總學(xué)習(xí)時長累計達7531年。

智能化教育環(huán)境中，獲得通用的學(xué)習(xí)資源已不再是學(xué)習(xí)者的核心需求。學(xué)習(xí)者希望從海量學(xué)習(xí)資源中快速地挑選出適合自己的個性化資源來有效完善自己的知識結(jié)構(gòu)[2]。而智能化推薦系統(tǒng)可以為在線學(xué)習(xí)者提供與其認知狀態(tài)和學(xué)習(xí)能力相匹配的個性化學(xué)習(xí)資源推薦，這也是當(dāng)前智能化教育發(fā)展的迫切需要[3]。

面對已生成的教育大數(shù)據(jù)和豐富的學(xué)習(xí)資源，在學(xué)習(xí)者的認知能力的不確定性、學(xué)習(xí)興趣的變化性、個性化偏好的多樣性等因素影響下，當(dāng)前學(xué)習(xí)資源的個性化智能推薦研究面臨諸多挑戰(zhàn)。

⑴ 為診斷學(xué)習(xí)者的認知狀態(tài)和定量考察學(xué)生的個體差異、知識認知水平，通常采取的方法是對學(xué)習(xí)者的在線測試（或練習(xí)）的結(jié)果進行建模分析，然而，由于可能存在的知識點自身內(nèi)在的復(fù)雜性、在線測試題設(shè)計的局限性、學(xué)習(xí)者測試現(xiàn)場表現(xiàn)的意外性等因素，導(dǎo)致學(xué)習(xí)者的知識認知水平診斷結(jié)果具有明顯的模糊不確定性和隨時間變化的動態(tài)性特征[4]，如何充分挖掘在線學(xué)習(xí)大規(guī)模普及背景下生成的測試或練習(xí)結(jié)果數(shù)據(jù)，選用合適的模糊數(shù)學(xué)工具來系統(tǒng)性地度量學(xué)習(xí)者認知能力中蘊含的不確定性和動態(tài)性特征變得越來越迫切。

⑵ 學(xué)習(xí)者往往同時在線學(xué)習(xí)多門相關(guān)課程，他這時“信息迷航”和“信息過載”等問題更加突出。以2020年新冠疫情期間的線上學(xué)習(xí)為例，一名大學(xué)生在線學(xué)習(xí)的課程約在十門左右，其篩選學(xué)習(xí)資源的工作量極其龐大。現(xiàn)有學(xué)習(xí)資源推薦的研究主要針對單一課程的在線學(xué)習(xí)活動進行認知能力分析，一般缺乏考慮知識點的覆蓋及層次結(jié)構(gòu)等問題[4-6]。所以在線學(xué)習(xí)資源推薦的研究不僅要考慮同一課程內(nèi)知識點間的低層認知能力，也要綜合考慮涵蓋多門課程的高層認知能力。如何對涉及多門課程的多個知識點進行多層次的學(xué)習(xí)者認知能力建模，是做到精準(zhǔn)的個性化學(xué)習(xí)資源智能推薦的前提條件。

針對在線學(xué)習(xí)中學(xué)習(xí)者認知能力的不確定性和動態(tài)性特點，以及學(xué)習(xí)者在跨學(xué)科、跨課程學(xué)習(xí)時遇到的“信息迷航”和“信息過載”困境，本文從模糊綜合診斷、學(xué)習(xí)者多重特征信息融合兩個方面，對在線學(xué)習(xí)資源個性化智能推薦進行探析，以期為相關(guān)研究提供參考和啟發(fā)。

1 國內(nèi)外研究現(xiàn)狀

⑴ 學(xué)習(xí)者認知能力診斷

在心理與教育測量中，人們通常把對個體認知過程、加工技能或知識結(jié)構(gòu)的診斷評估稱為認知診斷。具有認知診斷功能的心理計量模型被稱為認知診斷模型（cognitive diagnosis model，CDM）。由于能較好地從知識點層面對學(xué)生的認知狀態(tài)進行建模，CDM在國內(nèi)外引起廣泛關(guān)注，至今比較成熟的研究有項目反映理論（item response theory，IRT）和DINA模型（Deterministic Inputs，NoisyAnd-gatemodel）[7]。由于參數(shù)簡單和易于識別理解，DINA模型的應(yīng)用更為廣泛。

傳統(tǒng)DINA模型只針對客觀題進行診斷，即答案只有對與錯兩種結(jié)果，未考慮學(xué)生在主觀題上的答題情況。近年來國內(nèi)外研究者對DINA模型有多種改進。涂冬波等人針對DINA模型僅適應(yīng)于包含0分和滿分的兩級0-1評分機制的不足，開發(fā)了支持多級評分的P-DINA模型，它可適應(yīng)從0分到滿分區(qū)間內(nèi)共（滿分+1）種不同的評分類別[8]。蔡艷等人[9]針對P-DINS模型下學(xué)生的得分可能被推向0分或滿分兩個極端的問題，提出了rP-DINA模型，它對學(xué)生的理想得分進行重新構(gòu)造，可支持從0分到滿分的各種理想得分。Wu等人[4]針對傳統(tǒng)DINA模型無法有效診斷主觀題的問題，提出了一種面向?qū)W生個性化學(xué)習(xí)的模糊認知診斷分析框架FuzzyCDF，它將學(xué)生的認知能力表示為模糊集合的隸屬度（即一個[0，1]范圍內(nèi)的實數(shù)），采用模糊交和模糊并來建模客觀題和主觀題的認知作答模式。李憂喜等人[6]在Fuzzy-CDF的基礎(chǔ)上提出R-FuzzyCDF模型，它在知識點的掌握程度中引入了知識點重要性因子，將知識點的重要程度與其后繼知識點的個數(shù)以及相關(guān)的試題數(shù)量關(guān)聯(lián)起來，該模型進一步提升了診斷模型的準(zhǔn)確率，但因增加參數(shù)數(shù)量導(dǎo)致加重了計算負擔(dān)。然而，以上模型和方法對于準(zhǔn)確診斷在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者的認知能力仍存在明顯的局限性。一方面，由于一些知識點本身可能是復(fù)雜和抽象的，而測試題對于知識點的覆蓋度可能是不完全的;另一方面，學(xué)習(xí)者在知識點的理解深度和運用水平的靈活性上存在不穩(wěn)定性，從而導(dǎo)致測量診斷結(jié)果表現(xiàn)模糊性和不確定性。

⑵ 學(xué)習(xí)資源的個性化推薦方法

當(dāng)前，各大在線學(xué)習(xí)平臺已能公開提供數(shù)量龐大的各類學(xué)習(xí)資源，但是，絕大多數(shù)平臺通常只支持查詢檢索各類學(xué)習(xí)資源，缺乏個性化推薦功能。因此，研究面向在線學(xué)習(xí)的個性化學(xué)習(xí)資源推薦具有越來越重要的現(xiàn)實意義。個性化學(xué)習(xí)資源推薦的現(xiàn)有學(xué)術(shù)研究中通常使用協(xié)同過濾算法。按協(xié)同過濾算法的類型，相關(guān)的主要研究可以分為以下兩類。

① 采用基于近鄰的協(xié)同過濾算法的個性化學(xué)習(xí)資源推薦。該類研究首先根據(jù)學(xué)生在試題上的答題記錄計算學(xué)生之間的相似度，找到目標(biāo)學(xué)生的相似學(xué)生群組，通過相似學(xué)生的得分對目標(biāo)學(xué)生進行得分預(yù)測，進一步根據(jù)預(yù)測的得分進行試題推薦。例如：Wu等人[10]提出的一種在線學(xué)習(xí)背景下基于模糊樹匹配用戶學(xué)習(xí)資源的個性化推薦方法;Dwivedi等人[11]提出的一種融合不同學(xué)生的學(xué)習(xí)興趣并向一組學(xué)生進行個性化學(xué)習(xí)資源推薦的方法;Huang等人[12]在傳統(tǒng)的基于內(nèi)容的推薦算法基礎(chǔ)上結(jié)合word2vec模型進行物品建模以及物品相似度計算，提出了一種慕課推薦算法。該類研究的不足是，使用近鄰學(xué)生的表現(xiàn)來預(yù)測其他學(xué)生的表現(xiàn)時，會丟失學(xué)生自身的一些學(xué)習(xí)特性。

② 采用基于模型的協(xié)同過濾算法的個性化學(xué)習(xí)資源推薦。該類研究應(yīng)用最為廣泛的是矩陣分解方法，它可以將高維矩陣分解成低維矩陣，利用該技術(shù)可以獲取學(xué)習(xí)者對于學(xué)習(xí)資源在低維空間中的表現(xiàn)，并依此來完成學(xué)習(xí)資源推薦。例如：Koren等[13]利用矩陣分解對學(xué)習(xí)者的試題得分矩陣進行處理，據(jù)此來預(yù)測學(xué)生在其他試題上的得分，并將得分較高的試題推薦給學(xué)生;Lian等人[14]通過分析圖書借閱歷史和GPA成績數(shù)據(jù)，提出了有監(jiān)督的內(nèi)容感知的矩陣分解算法來相互增強圖書的推薦和成績的預(yù)測。該類研究的不足在于，由于矩陣分解得到的潛在向量的含義難以解釋，使其在用于學(xué)習(xí)資源推薦時具有一定的局限性，即推薦結(jié)果的可解釋性不強。

2 研究方法探析

為提高個性化學(xué)習(xí)資源推薦的準(zhǔn)確性、學(xué)習(xí)者的學(xué)習(xí)效率和學(xué)習(xí)滿意度。本文認為可以從學(xué)習(xí)者認知能力的層次化模糊綜合診斷和學(xué)習(xí)者多重特征信息融合的個性化推薦方法兩個層面進行分別研究。

2.1 學(xué)習(xí)者認知能力的多層模糊診斷方法

利用測試或練習(xí)來評估學(xué)生能力并通過學(xué)生作答來建模學(xué)生認知，己經(jīng)是教育學(xué)（尤其是教育心理學(xué)）的核心研究。在線學(xué)習(xí)的大規(guī)模普及，使得持續(xù)獲取涉及多門課程、多個知識點的測試或練習(xí)結(jié)果數(shù)據(jù)變得可行。但是，目前對學(xué)習(xí)者認知能力的建模主要分為離散型（即0或1）模型或連續(xù)型（即在[0，1]區(qū)間內(nèi)的單值實數(shù)）模型，尚未充分利用時序化、多樣性的測評數(shù)據(jù)，也缺乏對學(xué)習(xí)者認知能力的不確定性和動態(tài)性特征進行模糊量化診斷的有效支持。

針對學(xué)習(xí)者認知能力的模糊性和不確定性特點，本文認為可以引入具有多值表征特點的模糊數(shù)學(xué)理論，例如，中智集（neutrosophic set）[15]或猶豫模糊集。以中智集為例，它在刻畫不精確、不完全和不確定信息方面具有獨特優(yōu)勢，可為全面、客觀評估學(xué)習(xí)者的認知能力提供重要的理論支持。中智集合中每個元素由獨立的真實度、不確定度以及失真度三個分量組成。在中智集基礎(chǔ)上，單值中智集、區(qū)間中智集[16]等理論得到發(fā)展，并獲得較廣泛的應(yīng)用[17-18]。本文認為，可通過擴展區(qū)間中智集理論定義“認知診斷區(qū)間中智集”對學(xué)習(xí)者的認知能力進行模糊化度量，將認知能力建模為一個“認知診斷區(qū)間中智集”數(shù)，即：A=〈P，U，R〉。其中，0≤infP+infU+infR≤3，0≤supP+supU+supR≤3，P，U，R∈[0，1];inf和sup分別表示取下限和取上限值;P=[infP，supP]表示完全掌握知識點的可能度區(qū)間值，它對應(yīng)區(qū)間中智集中的真實度函數(shù);R=[infR，supR]表示完全未掌握知識點的可能度區(qū)間值，它對應(yīng)區(qū)間中智集中的失真度函數(shù);U=[infU，supU]表示P和R的不確定度，它對應(yīng)區(qū)間中智集中的不確定度函數(shù)。這個數(shù)中，P越大、R和U越小，則意味著它所對應(yīng)的認知能力越優(yōu)秀。在“認知診斷區(qū)間中智集”數(shù)的上、下區(qū)間值進行度量時，可以結(jié)合云模型理論等進行不確定性的度量[18]。

新的模糊數(shù)學(xué)理論的引入，可更全面客觀地刻畫學(xué)習(xí)者認知能力的模糊性和不確定性。通過上述方法獲得學(xué)習(xí)者認知能力的表征結(jié)果后，為將其應(yīng)用于認知診斷計算，需要對新的認知診斷模型中的參數(shù)進行估算，可采用MCMC（Markov Chain Monte Carlo）算法來嘗試參數(shù)估算。

接下來，構(gòu)建覆蓋包括“學(xué)科-專業(yè)-課程-知識點”四個層次的認知能力刻畫機制。

⑴ 使用爬蟲從公共在線學(xué)習(xí)平臺上爬取的課程簡介信息以及各類學(xué)習(xí)資源簡介。

⑵ 對爬取的信息進行切詞、去除停用詞等文本預(yù)處理，計算學(xué)習(xí)資源所屬知識點之間以及課程之間的詞權(quán)重相似度。同時，提取課程簡介的關(guān)鍵字信息，計算課程間的詞向量相似度，對詞權(quán)重相似度和詞向量相似度進行合成。

⑶ 按《教育部發(fā)布普通高等學(xué)校本科專業(yè)目錄（2020年版）》對課程進行專業(yè)和學(xué)科劃分。

⑷ 基于上述計算獲得的學(xué)科、專業(yè)、課程和知識點間的相似度，可構(gòu)建一個相似度網(wǎng)絡(luò)圖，由它發(fā)現(xiàn)相關(guān)課程的知識點之間的顯性或隱性的關(guān)聯(lián)關(guān)系。

基于這些關(guān)聯(lián)關(guān)系，在進行學(xué)習(xí)者認知診斷時，可從具有間接相似關(guān)系的知識點獲得學(xué)生認知能力的間接評價，即學(xué)習(xí)者對于當(dāng)前知識點的掌握程度，可從相關(guān)知識點進行間接評估，從而支持學(xué)習(xí)者在進行跨課程的知識點學(xué)習(xí)時學(xué)習(xí)資源推薦面臨的冷啟動或數(shù)據(jù)稀疏問題。

2.2 學(xué)習(xí)者多重特征信息融合的個性化推薦方法

在線學(xué)習(xí)大規(guī)模普及背景下，各大在線學(xué)習(xí)平臺均已積累了數(shù)量龐大的學(xué)習(xí)資源，但是，由于學(xué)習(xí)資源自身存在著學(xué)習(xí)難度、認知層次、資源類型、制作質(zhì)量等諸多差異，而學(xué)習(xí)者自身也存在著認知能力水平、學(xué)習(xí)興趣、學(xué)習(xí)風(fēng)格等多方面的不同，當(dāng)前學(xué)習(xí)者在選擇學(xué)習(xí)資源時更容易發(fā)生信息超載與知識迷航等現(xiàn)象。因此，一個智慧的個性化在線學(xué)習(xí)平臺，需要深入挖掘“學(xué)習(xí)者-資源”的多維關(guān)聯(lián)關(guān)系，融合在線學(xué)習(xí)者的多層模糊綜合認知診斷以及學(xué)習(xí)者的顯式或隱式偏好等多維特征信息，以為學(xué)習(xí)者提供學(xué)習(xí)資源的個性化推薦服務(wù)。

學(xué)習(xí)者的個性化偏好是學(xué)習(xí)者基于個人喜好和已知信息對學(xué)習(xí)資源的具體和抽象認知的一種心理傾向，是學(xué)習(xí)者需求的外在表現(xiàn)。具體地說，學(xué)習(xí)者偏好是學(xué)習(xí)者在學(xué)習(xí)過程中的心理傾向，它不僅局限于具體的學(xué)習(xí)資源，還包括對各種抽象、感性的因素的關(guān)注點、喜好程度、需求等。個性化偏好識別側(cè)重于從教育大數(shù)據(jù)中挖掘?qū)W習(xí)者對于學(xué)習(xí)資源的個性化信息，包括通過顯性或隱性行為挖掘和情感分析來獲得學(xué)習(xí)者的多樣化偏好、抽取學(xué)習(xí)者偏好的時間特征等。在線學(xué)習(xí)平臺中的行為數(shù)據(jù)和社交數(shù)據(jù)中往往隱含著學(xué)習(xí)者長期穩(wěn)定的及近期的偏好信息。本文建議從長期穩(wěn)定的/近期的學(xué)習(xí)者顯性偏好挖掘、長期穩(wěn)定的/近期的學(xué)習(xí)者隱性偏好挖掘、時間感知的學(xué)習(xí)者偏好的動態(tài)預(yù)測等三個方面進行研究。

⑴ 長期穩(wěn)定的/近期的學(xué)習(xí)者顯性個性化偏好挖掘。可采集并分別分析所有時間范圍內(nèi)的和近期一段時間內(nèi)關(guān)于學(xué)習(xí)資源的使用頻率、學(xué)習(xí)時長等相關(guān)數(shù)據(jù)，采用數(shù)理統(tǒng)計的方式對學(xué)習(xí)者在不同類型的學(xué)習(xí)資源的喜好程度進行分析，識別出學(xué)習(xí)者喜好的學(xué)習(xí)資源類型，并進一步識別學(xué)習(xí)者對學(xué)習(xí)資源不同屬性的態(tài)度。同時，可通過TF-IDF/高頻詞等關(guān)鍵詞提取技術(shù)、LAD主題模型等方法深入挖掘所有時間范圍內(nèi)的和近期一段時間內(nèi)的學(xué)習(xí)者的發(fā)言、討論和評論中的文本信息，以此來刻畫學(xué)習(xí)者對各個學(xué)習(xí)資源屬性的情感傾向，獲得各類屬性下的情感得分，并探討近期時間段的選擇對后續(xù)學(xué)習(xí)資源選擇的影響。

⑵ 長期穩(wěn)定的/近期的學(xué)習(xí)者隱性個性化偏好挖掘。可采集并分別分析所有時間范圍內(nèi)的和近期一段時間內(nèi)學(xué)習(xí)者的點擊、瀏覽以及對某一學(xué)習(xí)資源的收藏、關(guān)注等行為產(chǎn)生的相關(guān)數(shù)據(jù)。采用統(tǒng)計分析、社會網(wǎng)絡(luò)分析、關(guān)鍵詞提取等方法從學(xué)習(xí)者生成的所有時間范圍內(nèi)的和近期一段時間內(nèi)的瀏覽、點擊等行為數(shù)據(jù)以及收藏、關(guān)注等社交數(shù)據(jù)中挖掘出學(xué)習(xí)者的興趣點。

⑶ 時間感知的學(xué)習(xí)者個性化偏好的動態(tài)預(yù)測。考慮到學(xué)習(xí)者的偏好可能會隨時間而動態(tài)變化，基于學(xué)習(xí)者長期穩(wěn)定的/近期的顯性和隱性偏好，可通過支持向量機、神經(jīng)網(wǎng)絡(luò)、SoftMax回歸等方法對顯式及隱式的偏好特征進行學(xué)習(xí)，從而判斷學(xué)習(xí)者是否喜歡未體驗過的學(xué)習(xí)資源。通過建立合適的量化指標(biāo)，來衡量學(xué)習(xí)者對未體驗過的學(xué)習(xí)資源的喜好程度，從而使之能用于后續(xù)推薦中對學(xué)習(xí)資源期望的量化。

3 結(jié)束語

在線學(xué)習(xí)大規(guī)模普及背景下，各大在線學(xué)習(xí)平臺均已積累了數(shù)量龐大的學(xué)習(xí)資源，但是由于學(xué)習(xí)資源自身存在著學(xué)習(xí)難度、認知層次、資源類型、制作質(zhì)量等諸多差異，而學(xué)習(xí)者自身也存在著認知能力水平、學(xué)習(xí)興趣、學(xué)習(xí)風(fēng)格等多方面的不同，學(xué)習(xí)者在選擇學(xué)習(xí)資源時容易發(fā)生信息超載與知識迷航等現(xiàn)象。本文總結(jié)了當(dāng)前在線學(xué)習(xí)資源個性化推薦面臨的挑戰(zhàn)和相關(guān)研究現(xiàn)狀。提出從學(xué)習(xí)者認知能力的模糊綜合診斷、學(xué)習(xí)者多重特征信息融合等兩個方面，對在線學(xué)習(xí)資源的個性化智能推薦研究進行探析，以期為相關(guān)研究提供參考和啟發(fā)。

參考文獻（References）：

[1] Binbin Zheng， Chin-Hsi Lin， Jemma Bae Kwon.Theimpact of learner， instructor-， and course-level factors on online learning[J].Computers & Education，2020，150：103851

[2] Robert Bodily， Katrien Verbert. Review of research onstudent-facing learning analytics dashboards and educational recommender systems[J]. IEEE Transactions on Learning Technologies，2017，10（4）：405-418

[3] 鄭慶華，董博，錢步月，田鋒，魏筆凡，張未展，劉均. 智慧教育研究現(xiàn)狀與發(fā)展趨勢[J].計算機研究與發(fā)展，2019，56（1）：209-224

[4] Runze Wu， Qi Liu， Yuping Liu， Enhong Chen， Yu Su，Zhigang Chen， Guoping Hu. Cognitive modelling for predicting examinee performance [C]. Proceedings of the 24th International Joint Conference on Artificial Intelligence，2015：1017-1024

[5] 王超，劉淇，陳恩紅，黃振亞，等. 面向大規(guī)模認知診斷的DINA模型快速計算方法研究[J].電子學(xué)報，2018，46（5）：1047-1055

[6] 李憂喜，文益民，易新河，等.一種改進的模糊認知診斷模型[J].數(shù)據(jù)采集與處理，2017，32（5）：958-969

[7] 朱天宇，黃振亞，陳恩紅，等.基于認知診斷的個性化試題推薦方法[J].計算機學(xué)報，2017，40（1）：176-191

[8] 涂冬波，蔡艷，戴海琦，等.一種多級評分的認知診斷模型：P_DINA模型的開發(fā)_[J].心理學(xué)報，2010，42（10）：1011-1020

[9] 蔡艷，趙洋，劉舒暢，等.一種優(yōu)化的多級評分認知診斷模型[J].心理科學(xué)，2017，40（6）：1491-1497

[10] Dianshuang Wu， Jie Lu， Guangquan Zhang. A fuzzy treematching-based personalized e-learning recommender system[J].IEEE Transactions on Fuzzy Systems，2015，23（6）：2412-2426

[11] Pragya Dwivedi， Kamal K. Bharadwaj. e-Learningrecommender system for a group of learners based on the unified learner profile approach[J]. Expert Systems，2015，32（2）：264-276

[12] Ran Huang， Ran Lu. Research on content-based?MOOC recommender model[C]. Proceedings of the 5th International Conference on Systems and Informatics，2018：676-681

[13] Yehuda Koren， Robert Bell， Chris Volinsky. MatrixFactorization Techniques for Recommender Systems[J]. Computer，2009，42（8）：42-49

[14] De-Fu Lian， Qi Liu. Jointly recommending library booksand predicting academic performance： A mutual reinforcement perspective[J].Journal of Computer Science and Technology，2018，33（4）：654-667

[15] Florentin Smarandache. A unifying field in logics：Neutrosophic logic[M].Rehoboth，NM：American Research Press，1999

[16] Haibin Wang， Florentin Smarandache， Yanqing Zhang，Rajshekhar Sunderraman. Interval Neutrosophic sets and logic： Theory and applications in computing： theory and applications in computing [M]. Hexis Phoenix Az，2005

[17] Nouran M. Radwan， M. Badr Senousy， Alaa El Din M.Riad. A new expert system for learning management systems evaluation based on neutrosophic sets[J]. Expert Systems，2017，33（6）：548-558

[18] Hua Ma， Haibin Zhu， Zhigang Hu， Keqin Li， WenshengTang. Time-aware trustworthiness ranking prediction for cloud services using interval neutrosophic set and ElECTRE[J]. Knowledge-Based Systems，2017，138：27-45