基于Spark架構的藝術學慕課資源協同 過濾推薦算法研究

侯璐璐

摘? 要： 傳統資源協同過濾推薦算法MAE值偏高，因此提出基于Spark架構的藝術學慕課資源協同過濾推薦算法。采用分級響應形式，建立用戶?資源評分關系模型，用戶對資源的評分減掉該用戶評分平均值，完成資源協同過濾相似度計算的優化，引入集成度高的Spark架構，預測用戶對資源的評分并生成推薦列表，實現藝術學慕課資源的精準推薦。經過與兩種傳統算法的對比實驗結果可知，研究的算法在不同比例訓練集和測試集的情況下，MAE值均低于兩種傳統方法，說明基于Spark架構的藝術學慕課資源協同過濾推薦算法推薦精度更高，性能更好。

關鍵詞： 協同過濾推薦算法; Spark架構; 藝術學慕課資源; 用戶評分預測; 用戶?資源評分關系模型; 相似度計算

中圖分類號： TN911.1?34; TP319? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）03?0162?03

Research on art MOOC resource collaborative filtering recommendation algorithm

based on Spark architecture

HOU Lulu

（Baoji University of Arts and Sciences， Baoji 721013， China）

Abstract： The MAE （mean absolute error） value of traditional resource collaborative filtering recommendation algorithm is slightly higher， so an art MOOC （massive open online course） resource collaborative filtering recommendation algorithm based on Spark architecture is proposed. The user?resource scoring relation model is established in the form of hierarchical response. The average value of the user′s scoring is taken from the user′s scoring for resources， which is then used to optimize the similarity calculation for resource collaborative filtering. The Spark architecture with high integration level is introduced to predict the user′s scoring for resources and generate the recommendation list， thus realizing the accurate recommendation of art MOOC. The results of comparative experiments show that， in comparison with the two traditional algorithms， the MAE value of the proposed algorithm is lower than those of the two traditional methods in different proportion of training sets and test sets， which shows that the art MOOC resource collaborative filtering recommendation algorithm based on Spark architecture has higher recommendation accuracy and better performance.

Keywords： collaborative filtering recommendation algorithm; Spark architecture; art MOOC resource; user scoring prediction; user?resource scoring relation model; similarity calculation

0? 引? 言

慕課是當今時代下互聯網與教育相結合的產物，它實際上是一種大規模開放的在線課程（Massive Open Online Course），是互聯網時代下涌現出的一種在線課程的開發模式。傳統課程只有幾十個或幾百個學生，但是一門慕課最多可以容納十多萬人。因此，在互聯網中，利用協同過濾進行藝術學慕課資源的推薦[1?2]。協同過濾簡單來說，就是利用共同興趣或者是擁有共同經驗人群的喜好大數據資料，來給用戶推薦有可能感興趣的信息，個人通過合作機制給予信息一定程度的回應，利用評分等方法將特別感興趣的以及特別不感興趣的資源進行區分，并利用大量的評分記錄對信息進行過濾，幫助別人進行信息的篩選。由于資源數據日益龐大，現有的藝術學慕課資源協同過濾推薦算法只能停留在數據表面上的分析，導致MAE值較高，因此提出基于Spark架構的藝術學慕課資源協同過濾推薦算法。Spark架構的優點在于能夠更加適用于數據挖掘的算法，能夠從大量的數據中，通過算法搜索內部隱含的信息。

1? 基于Spark架構的協同過濾推薦算法研究

隨著慕課的大范圍普及，很多的互聯網社交平臺上都能夠搜索到大量的慕課資源。要想在海量資源中搜索到自己需要的信息，需要借助Spark架構下的協同過濾推薦算法來實現[3?4]，預期通過建立用戶自身的搜索歷史模型，記錄用戶的喜好和興趣，主動提供相關的慕課推送。從協同過濾算法的出發點來看，相似用戶的喜好也會有相似的品味，因此可以利用相似用戶（在這里簡稱為鄰居）的喜好為目標用戶做出推薦，算法流程如圖1所示。

流程主要分為4部分，用戶評分、計算相似度選擇鄰居、預測評分、資源推薦列表，下面對流程進行詳細研究。

1.1? 建立用戶?資源評分關系模型

藝術學慕課的受眾分群和資源推薦需要以用戶?資源關系模型為基礎，本文主要采取分級響應形式，對海量數據進行深層挖掘，將數據中隱含的反饋信息作為構建模型的重要元素。想要對用戶推薦其感興趣的資源，需要根據用戶和資源的歷史數據進行預測，比如用戶是否觀看了某個慕課課程，以及用戶觀看的時長和次數[5?6]。分級響應形式值是用戶對資源進行不同級別的評價，可以用一個用戶評分數據表來體現，見表1。

表1中：[m]代表用戶數量;[n]代表資源數量;[Tmb]表示用戶[Um]對資源[Ib]的評分值，評分值的區間為1～5分，分別代表非常不喜歡、不喜歡、一般、喜歡、非常喜歡，以此作為用戶?資源評分關系模型，能夠準確地體現出用戶對不同慕課資源的滿意程度。

1.2? 優化資源協同過濾的相似度計算

在用戶?資源評分關系模型的基礎上，為了實現資源的精準推薦，需要依靠鄰居的喜好做出預測，鄰居需要對比相似度而選擇出來，因此在相似度的計算中，需要能夠正確衡量出資源和用戶之間的相似性，才能夠保證資源推薦的準確性。傳統算法中用的是余弦相似度[7?9]，但是余弦相似度忽略了資源被評分尺度的問題，因此需要對其進行修正，采用用戶對資源的評分減掉該用戶評分的平均值進行中心化評分，計算公式如下：

式中：[sim（i，j）]表示資源[i]和[j]的相似度;[U（i）]代表對資源[i]評分的用戶全體;[U（j）]代表對資源[j]評分的用戶全體;[U（i）?U（j）]代表對[i]，[j]都有評分的用戶全體;[Tu，i]，[Tu，j]分別代表用戶[u]對資源[i]，[j]的評分;[Tu]代表兩個資源的評分均值。單一慕課與所有慕課的集合之間都存在著距離[10?11]，該距離為二者之間的最小距離，單一用戶與用戶集合之間的距離也能夠同理得到。其相似度選擇示意圖如圖2所示。

圖2中，[K1]為慕課資源集合的個數，在基于慕課資源的協同過濾算法中，相似度選擇對于算法整體的準確度有重要影響，實現了資源協同過濾相似度計算的優化。

1.3? 實現慕課資源精準推薦

研究的算法中，想要實現慕課資源的精準推薦，需要引入Spark架構。Spark是一個能夠快速且通用的集群計算引擎，在本文的推薦算法研究中，采用基于內存的數據抽象設計，將Spark任務的中間環節的結果進行保存，具體框架如圖3所示。

Spark框架包含了SQL查詢、文本處理、機器學習等功能組件[12?13]，這些組件在Spark內緊密集成，其運算性能更好，尤其是在進行信息大批量分析和迭代的工作環境下，利用Spark框架的優勢更加突出。當Spark架構在集群中運行時，首先由驅動程序通過資源管理器完成資源申請，在管理器分配完資源后，在相應的節點上啟動Executor，節點在完成驅動程序提交的任務后，最后向驅動程序提交反饋，其運行過程如圖4所示。

在算法中引入Spark架構，運行的過程中能夠過濾大量的資源[14?15]，并對剩余資源進行深層次的信息預測評分。預測評分主要是利用資源的相似度和資源[i]的鄰居集合[N（i）]評估某用戶對目標資源的評分，具體評估方法如式（2）所示：

式中：[Pu，i]代表用戶[u]對資源[i]的相似度預測評分;[Ri]表示資源[i]的平均分;[N（i）]代表資源[i]的鄰居集合;[Ru，j]代表用戶[u]對資源[j]的評分;[Rj]代表資源[j]的平均分;[sim（i，j）]表示資源[i]和資源[j]的相似度。

通過公式得出的相似度預測評分越高，說明算法的準確度越高。根據用戶[u]對資源[i]的最近鄰集合[N（i）]的評分值，利用式（2）預測用戶[u]對資源[i]的評分高低，產生了資源推薦列表，實現了藝術學慕課資源的精準推薦，至此完成了基于Spark架構的藝術學慕課資源協同過濾推薦算法研究。

2? 實? 驗

為了驗證本文提出的基于Spark架構的藝術學慕課資源協同過濾推薦算法是否能夠提高推薦的性能，設計了對比實驗，分別將兩種傳統算法和本文算法的預測精度進行對比，并將結果進行分析。

2.1? 實驗環境

搭建包含6臺虛擬機的Spark集群，其中1臺設置為主節點，另外5臺設置為從節點，參數如表2所示。

協同過濾算法采用平均絕對偏差MAE作為算法精準的評價指標，其計算公式定義如下：

式中：[N]表示資源數量;[pi]表示資源的實際分數;[qi]表示資源的預測分數。當MAE的值越小，表示推薦的精準度越高。將進行實驗的訓練集和測試集以不同的比例進行實驗，訓練集和測試集比例分別為：6∶4，7∶3，8∶2，9∶1。

2.2? 實驗結果與分析

在上述的實驗環境參數下分別用傳統算法和本文算法進行實驗，得到的實驗結果如表3所示。

實驗結果表明，隨著訓練集與測試集比例的增加，三種算法的MAE值都在減小，準確度都在不斷提升。本文提出的算法在每種比例下，MAE值均低于兩種傳統方法，說明基于Spark架構的藝術學慕課資源協同過濾推薦算法推薦精度更高，性能更好。

3? 結? 語

針對傳統資源協同過濾推薦算法推薦性能差，本文提出基于Spark架構的藝術學慕課資源協同過濾推薦算法。采用分級響應形式建立用戶?資源評分關系模型，用戶對資源的評分減掉該用戶評分平均值完成中心化評分，優化了傳統余弦相似度計算方法。利用Spark框架集成SQL查詢、文本處理、機器學習等功能組件，完成了基于Spark架構的藝術學慕課資源協同過濾推薦算法的研究。經過與兩種傳統算法的對比實驗結果可知，研究的算法在不同比例訓練集和測試集的情況下，MAE值均低于兩種傳統方法，說明基于Spark架構的藝術學慕課資源協同過濾推薦算法推薦精度更高，性能更好。

參考文獻

[1] 黃成成，遠方.慕課與專業音樂教育改革：男高音歌唱家張美林教授的聲樂慕課實踐[J].戲劇之家，2017（9）：215?216.

[2] 史曉玲，王福朋.淺談學前教育專業音樂混合式教學改革：對初中起點五年制音樂教學的思考與實踐[J].大眾文藝，2018，450（24）：205?206.

[3] 梁瑩，陳孝余.藝術碩士課程“慕課”教學法探究：以學校音樂課程與教學理論實踐課程為例[J].藝術教育，2017（4）：229?230.

[4] 李濤，符丁.基于協同過濾算法的自動化隱式評分音樂雙重推薦系統[J].計算機測量與控制，2018，26（11）：171?175.

[5] 章宗杰，陳瑋.基于標簽擴展的協同過濾算法在音樂推薦中的應用[J].軟件導刊，2018，17（1）：99?101.

[6] 祝永志.基于Spark技術的協同過濾推薦算法的可擴放性研究[J].電子技術（上海），2018（7）：41?42.

[7] 游思晴，周麗，趙東杰.基于粒子群優化算法的協同過濾推薦并行化研究[J].北京郵電大學學報，2018，41（6）：119?126.

[8] 何麗，李熙偉.基于樸素貝葉斯與協同過濾的分布式推薦模型研究[J].北方工業大學學報，2017，29（5）：96?102.

[9] 周顯春，鄧雨，吳世雄.基于改進協同過濾算法的個性化美食推薦APP開發[J].軟件導刊，2019，18（2）：94?96.

[10] 徐靜，杜崗，安剛.融合關聯規則及情感分析的音樂協同過濾推薦[J].連云港職業技術學院學報，2018，31（4）：19?22.

[11] 李卓遠，曾丹，張之江.基于協同過濾和音樂情緒的音樂推薦系統研究[J].工業控制計算機，2018，31（7）：127?128.

[12] 李艷，李葆華，王金環.一種新的基于LDA?MURE模型的音樂個性化推薦算法[J].吉林大學學報（理學版），2017，55（2）：371?375.

[13] 許明杰，蔚承建，沈航.Spark并行化基于物品協同過濾算法[J].計算機工程與設計，2017，38（7）：1817?1822.

[14] 黃亞坤，王楊，王明星.綜合社區與關聯序列挖掘的電子政務推薦算法[J].計算機應用，2017，37（9）：2671?2677.

[15] 扈濱.互聯網時代音樂基礎理論教育翻轉課堂模式探析：評《翻轉課堂的可汗學院：互聯時代的教育革命》[J].中國教育學刊，2018（5）：142.