基于Spark的影視推薦系統的設計與實現

摘" 要：在當今信息爆炸的時代，用戶在選擇影視作品時面臨海量的選擇。針對當前影視推薦系統在推薦精度、管理效率和擴展性上的不足，文章提出了一種基于Spark框架的解決方案。文章采用Spring Boot和Vue框架進行前后端分離開發，利用Scala編寫的Spark應用程序結合內容推薦算法，對用戶行為數據進行處理和分析。實驗結果表明，該系統在大規模數據處理方面表現優異，顯著提升了推薦準確率和用戶滿意度，且具備良好的可擴展性，整體提升了系統的運行效率和用戶體驗。

關鍵詞：Spark；Spring Boot；Vue；Scala；基于內容的影視推薦

中圖分類號：TP311" 文獻標識碼：A" 文章編號：2096-4706（2025）01-0082-06

Design and Implementation of Film and Television Recommendation System Based on Spark

Abstract： In today's era of information explosion， users face a huge number of choices when selecting film and television works. Aiming at the shortcomings of the current film and television recommendation system in recommendation accuracy， management efficiency and scalability， this paper proposes a solution based on the Spark framework. This paper adopts the Spring Boot and Vue frameworks for front-end and back-end separation development， uses the Spark application program developed by Scala and combines with the Content-Based Recommendation to process and analyze the user behavior data. The experimental results show that the system performs well in large-scale data processing， significantly improves recommendation accuracy and user satisfaction， and has good scalability， which improves the operating efficiency and user experience of the system as a whole.

Keywords： Spark; Spring Boot; Vue; Scala; film and television recommendation based on content

0" 引" 言

隨著科技的快速發展，線上娛樂已經成為人們生活中必不可少的一部分，電影以及電視節目也從傳統的頻道資源，轉戰到以流媒體技術為主導的流媒體平臺[1]。以我國主流的影視記錄平臺豆瓣為例，擁有龐大的用戶數量，并收錄了大量的影視作品。然而，豆瓣等主流平臺，主要集中在影視評分以和評論，尚未為用戶提供更好的個性化服務[2]，面對眾多的影視選擇，用戶難以在短時間內做出有效抉擇，從而浪費大量時間。推薦系統基于各類推薦算法，可以為用戶過濾個性化的信息，如文章、電影、游戲、音樂、商品等，找到用戶最感興趣和最有價值的信息[3]。影視推薦系統尤其能夠在短時間內為用戶匹配符合其偏好的影視作品，不僅提高了用戶體驗，也有助于吸引更多用戶并提升平臺的用戶留存率[4]。

1" 國內外研究現狀

推薦系統通過預測用戶對信息資源的喜好程度來實現信息過濾，并根據用戶的特殊需求，采用不同的推薦算法實現個性化推薦。基于這一原理，推薦系統演化出多種不同的算法。協同過濾推薦是迄今為止最為成功和應用最廣泛的個性化推薦技術[5]。隨著人工智能技術的快速發展，深度學習成為互聯網大數據和人工智能的研究熱點[6]。相比傳統推薦算法，混合推薦算法、深度學習模型如神經網絡和知識圖譜等被逐漸運用于推薦算法中。這些新興算法不僅提高了推薦精度，還能夠更好地捕捉用戶行為，實現更加個性化的服務，并且在實際應用中能夠使各個推薦算法發揮其各自的優勢，同時在一定程度上避免了其各自的劣勢，從而進行高質量推薦[7]，為用戶提供更優質的個性化推薦體驗。

國外的推薦系統發展相對國內更早更快，國內由于數據相對封閉，面臨更多的冷啟動問題，且推薦內容同質化現象明顯[8]。近幾年國內在推薦算法上的投入也顯著增加。例如，憑借優異的短視頻推薦功能，TikTok通過去中心化、協同過濾及流量池疊加的方式，成功占據了巨大市場份額[9]。國內的推薦系統研究緊密結合實際應用場景，涉及電商、網絡社交、在線影視、在線教育等領域。電商平臺如淘寶和京東，社交平臺如微信和微博，以及影視平臺如騰訊視頻和嗶哩嗶哩，均在積極探索和應用推薦算法。學業界和工業界眾多的專家和學者都在積極探索更加行之有效的推薦算法[10]，以適應用戶對推薦服務的迫切需求。

然而，傳統的推薦系統在大數據環境下，推薦精度和管理效率上仍存在不足，難以滿足用戶多樣化的需求[11]。許多推薦系統依賴于簡單的協同過濾或基于用戶評分的算法，這些方法在處理大規模數據和快速變化的用戶興趣時表現欠佳。此外，部分系統缺乏有效的管理工具，使得后臺管理煩瑣，影響整體效率。對于傳統的Spring項目，復雜煩瑣的配置以及整合第三方框架的配置，使開發和部署效率變得低下[12]。為了解決這些問題，本文提出了一種基于Spark框架的影視推薦系統解決方案，該框架擁有高效的迭代計算能力，非常適合大規模的機器學習應用與數據處理[13]，旨在通過結合內容推薦算法、Spring Boot和Vue框架，實現一個具有高擴展性和高管理效率的系統。

2" 需求分析

2.1" 用戶群體分析

根據前期對基于Spark的推薦系統的需求分析，用例圖如圖1所示。本系統的角色有以下3類：

1）游客。游客在未注冊登錄的情況下，可以瀏覽近期熱門影視推薦、查看各類型影視的TOP20榜單，可以搜索影視（基于名稱、導演、演員、影視別名等）、分享影視、瀏覽影視詳情和查看影評。

2）會員。與游客相比，會員的權限更加豐富，會員能夠登錄網站、編輯個人信息、獲取個性化推薦、查看影視詳情，分享影視、收藏影片、評分評價、搜索影視、查看影評和記錄觀影歷史等。

3）管理員。主要負責管理影視信息、會員信息、影視評論數據，進行系統監控與維護。具體包括登錄系統、審核和管理評論、更新影視類型、搜索和管理用戶、發布和刪除影視信息、監控系統日志、管理用戶權限和更新個人信息。

2.2" 后臺管理需求分析

影視推薦系統管理后臺為管理員提供了多個功能模塊。影視管理模塊：支持編輯影視基本信息（如名稱、導演、主演、封面、簡介等）、設置分類、新增或刪除影視資源。提供IMDb精確查找功能，同時支持通過名稱或導演模糊查詢。在用戶管理模塊，管理員可以凍結或恢復用戶賬號，支持通過賬號進行精確查詢或通過姓名進行模糊查詢，以便高效管理用戶信息。在評論管理模塊，管理員可以通過用戶賬號精確查詢評論信息，并對不當評論進行刪除操作，維護評論區內容的規范性。在個人中心模塊，允許管理員修改自身信息，包括姓名、性別和密碼等，方便個人資料的及時更新。在推薦管理模塊，管理員可手動更新影視相似度列表，同時維護和調整類型影視的TOP20榜單，優化推薦內容的質量和用戶體驗。

3" 系統設計

3.1" 總體架構設計

圖2為本系統前后端分離的架構設計，前端使用Vue構建用戶界面，ElementUI提供豐富的UI組件，Echarts用于數據可視化，Axios進行HTTP請求處理。后端通過Nginx進行請求轉發和負載均衡，使用Spring Boot框架搭配Maven進行項目管理，并結合Spring Security保障系統安全。數據持久化采用MongoDB數據庫，提供高效的文檔存儲能力；緩存使用Redis，加速數據讀取和寫入，提升系統性能。數據處理和分析由Scala結合Spark完成，實現大規模數據處理和快速響應。系統運行環境包括JDK 1.8用于Java開發，CentOS作為服務器操作系統，Python 3用于開發數據處理腳本。

這種架構設計旨在為用戶提供優質的個性化推薦服務，包含近期熱門推薦、個性化推薦、各類型影視推薦、影視搜索和評分評價功能。通過強大的數據處理能力和高效的緩存機制，系統能夠提供快速的響應和高效的數據管理，同時為管理員提供便捷的數據管理和監控工具。

3.2" 系統功能設計

本系統功能支持會員、游客和管理員三類角色，主要功能如圖3所示。

系統為游客提供熱門影視推薦、各類型TOP20榜單、注冊、搜索影視、查看影視詳情和推薦相關影視的功能。這些功能幫助游客快速找到并了解感興趣的影視內容。

會員享有游客的所有功能，并額外提供個性化推薦、收藏、觀看記錄、登錄、評分評價和推薦相關影視的功能。會員服務根據用戶喜好提供更精準的推薦，提升用戶體驗。

管理員功能包括影視管理、用戶管理、影視評論管理和日志記錄。管理員可以精確或模糊查詢影視和用戶信息，編輯或刪除數據，凍結違規賬號，刪除違規評論，并查看敏感操作的日志記錄，確保系統安全穩定運行。

4" 系統實現與展示

4.1" 游客功能實現

在首頁，游客可以通過影視名稱、導演、主演、影視又名進行模糊查詢，搜索記錄會保存在本地以便快速查詢。游客還可以查看近期熱門影視數據和各類型影視的TOP20榜單，如圖4所示。熱門影視推薦展示了當前最受歡迎的影視作品，類型推薦則按照不同的影視類型（如經典劇情、經典動畫、經典科幻等）提供熱門榜單，幫助游客快速找到感興趣的影視內容。

4.2" 會員功能實現

在游客功能的基礎上，系統為會員提供個性化推薦。在“猜你喜歡”模塊中，系統根據會員的偏好和觀看記錄進行推薦，如圖5所示。具體來說，系統通過分析會員的歷史觀看記錄、評分、收藏和評論內容，結合用戶的搜索歷史、瀏覽時間和點擊行為，采用基于內容的推薦算法，為會員提供個性化的影視推薦。推薦列表會動態更新，確保內容的時效性和相關性，同時包括近期熱門影視、高評分影視、經典作品和新上線的影視。

在影視詳情界面，系統會推薦與當前影視相似的作品，幫助用戶更快找到感興趣的內容。會員可以對推薦的影視進行評分和評論，在評論區分享和討論對這部影視的看法與見解。系統將根據反饋進一步優化推薦結果。當用戶點擊進入影視詳情頁后，系統會記錄這次觀看記錄。用戶再次刷新首頁時，“猜你喜歡”模塊會根據觀看記錄進行個性化推薦，進一步提升用戶體驗。影視詳情頁如圖6所示。

總之，會員功能不僅包括游客的所有功能，還增加了個性化推薦、影視相似推薦、評分評論以及觀看記錄等高級功能，旨在為用戶提供更豐富和個性化的觀影體驗。

4.3" 影視推薦功能實現

首先，從MongoDB中讀取影視數據并存儲為DataFrame類型。為了對影視類型進行計算與分析，創建了TF-IDF向量化器，將影視ID和影視類型轉為TF-IDF矩陣，其中TF（Term Frequency）為詞頻，IDF（Inverse Document Frequency）為逆轉文檔頻率，設M表示影視數據的總量，包含某類型關鍵詞ka的影視數量為ma，fab表示類型關鍵詞ka在某影視類型db中出現的次數，fdb表示某影視類型db中出現的詞語總數，那么ka在某影視類型db的詞頻TFab定義為：

IDF通過上述計算結果取對數得到類型關鍵詞ka的逆文檔頻率IDFa：

由TF和IDF計算詞語的權重Wab為：

在計算出每個詞的權重后，為每部影視作品計算其特征向量。然后，使用笛卡爾積對所有影視進行相互匹配，排除自匹配情況。使用余弦相似度計算匹配影視之間的相似度，其公式如下：

為了確保匹配的精確性，去除了相似度低于0.6的影視對。最終，獲取的影視相似列表被保存回數據庫。

此過程通過TF-IDF向量化和余弦相似度計算，為每個影視作品生成了精確的特征向量，確保了推薦系統的準確性和高效性。通過這些步驟，系統能夠為用戶提供更具個性化和相關性的影視推薦。

4.4" 管理員功能實現

后臺管理系統是一個專為管理員設計的服務平臺，其核心目標是確保系統的平穩高效運行。如圖7所示，本系統集成了影視管理、用戶管理、評論管理和日志記錄四大功能模塊，提供了全面的統計與管理功能。管理員可以通過系統對影視資源進行精細化分類和管理，監控和管理用戶行為與信息，審核和處理用戶評論，同時記錄并審計所有操作日志，確保管理活動的透明性和可追溯性。

系統首頁通過大數據可視化圖表直觀展示關鍵統計數據，包括各類影視資源的分布情況、用戶活躍度、評論情感分析等。通過餅圖、折線圖、柱狀圖等多種形式，管理員能夠準確把握系統整體運行狀態和用戶偏好。此類數據驅動的可視化分析不僅為管理決策提供了堅實的數據支撐，同時顯著提升了管理效率和服務質量，有助于實現更加科學化、精細化的系統管理。

5" 結" 論

本系統采用Spring Boot框架和Vue框架進行快速開發，代碼更加簡潔，提高了開發效率和便捷性。使用MongoDB進行數據持久化，通過Spark進行大數據計算，基于內容推薦算法計算出影視相似列表，幫助用戶更快找到自己喜歡的內容，提升了用戶的使用體驗。同時，系統為管理員提供了便捷的管理后臺，管理員可以高效管理會員、影視數據以及影視評論，增強了系統的健壯性。管理員還能通過大數據可視化圖表直觀了解系統的運行狀態，進一步優化系統性能和用戶體驗。

未來我們將進一步完善系統，加強推薦算法的優化和智能化，提升系統的推薦精度和個性化服務水平。同時，不斷探索新的技術和方法，以應對不斷增長的用戶和數據規模，確保系統能夠持續穩定、高效地運行，為用戶提供更優質的影視推薦服務。

參考文獻：

[1] 陳接峰.泛景觀：電影業余化的屏幕美學 [J].上海師范大學學報：哲學社會科學版，2024，53（2）：75-85.

[2] 王旭東.基于SparkALS的電影推薦系統設計與實現 [D].重慶：重慶大學，2022.

[3] PARHI P，PAL A. A Survey of Methods of Collaborative Filtering Techniques [C]//2017 International Conference on Inventive Systems and Control（ICISC）.Coimbatore：IEEE，2017：1-7.

[4] 周蔚生.基于機器學習的混合電影推薦系統的設計與實現 [D].北京：首都經濟貿易大學，2021.

[5] 張全富.基于位置情境的英語資源個性化推薦系統研究 [D].昆明：云南師范大學，2023.

[6] 李鑫，韓仁坤，劉子揚，等.基于卷積神經網絡的三維流場重構研究 [J].航空計算技術，2023，53（5）：11-14+19.

[7] ONDREJ K，MICHAL K，MáRIA B. Personalized Hybrid Recommendation for Group of Users： TOP-N Multimedia Recommender [J].Information Processing and Management，2016，52（3）：459-477.

[8] 袁星潔，石子玉.算法推薦在健康傳播中的實踐進路、問題表征與應對策略 [J].湖南人文科技學院學報，2022，39（3）：68-75.

[9] 藍曉燕.基于智能算法的抖音短視頻推薦模式分析 [J].電視技術，2023，47（6）：152-154+158.

[10] 張文龍.融合注意力機制的深度協同過濾推薦算法研究 [D].合肥：安徽大學，2021.

[11] 侯力鐵.基于情景感知的移動圖書館個性化推薦服務研究 [D].長春：吉林大學，2019.

[12] ZHANG D D，WEI Z Q，YANG Y Q. Research on Lightweight MVC Framework Based on SpringMVC and Mybatis [C]//2013 Sixth International Symposium on Computational Intelligence amp; Design.Hangzhou：IEEE，2013：350-253.

[13] MENG X R，BRADLEY J，YAVUZ B，et al. MLlib： Machine Learning in Apache Spark [J].Journal of Machine Learning Research，2016，17（1）：1235-1241.

[14] 宋瑜輝，張俠，艾琳，等.基于Mongodb的智能電網大數據存儲設計 [J].電子制作，2020（19）：64-67.