基于數據挖掘技術的系統

【摘要】隨著網絡的不斷更新迭代，近年來在網絡上的學習資料五花八門，種類繁多，導致學習者需要不斷篩選無用信息的問題出現，降低了學習效率。由于網絡上學習資料的不斷豐富，就越來越需要一個綜合整理后的多功能的大數據學習庫，方便用戶進行學習數據的搜索和技能學習。為了更加便利且快速的讓每一個學習者搜索到所需學習資料，本項目團隊通過對各大網校，學習網站資料庫的數據分析，并利用當前熱門的人工智能學科知識，設計了一個能夠幫助用戶找到可靠并且高效的學習資源，提高學習效率"學習庫"。該學習庫具有學習資料，學習視頻的查找功能和一對一線上直播教學功能，盡可能滿足每個用戶的學習體驗。

【關鍵詞】數據挖掘技術;書籍管理系統;視頻通訊技術

【基金項目】本研究為2020年大創項目，（項目編號：202010205014）。負責人：王秋涵，參與人：潘翔，劉祖桓，劉海洋，蓋冠宇。

中圖分類號：G223? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.08.087

1.學習庫在網絡平臺系統應用的現狀

隨著當前我國高等教育教學信息化事業深度快速發展，互聯網等移動信息時代技術正在為我們學生建設一種更加個性化的教育學習信息環境、為我們學生提供一種更加個性化的教育學習信息資源和教學服務、以及正在促進我們的教育個體學生自主選擇學習越來越受到關注。在線開放的課程體系是當前我國網絡課程教育發展的一種最新形式，是推進我國高等教育的教學改革與構建一個學習型社會的重要支持。再加上教學內容是通過互聯網可以建立一個虛擬真實的課堂環境，所能達到的效果也比簡單的文字堆砌是無法比擬的。網絡課程通過傳統的多媒體技術就是能夠真正實現對教學情境的虛擬化和創設，營造出一個虛擬教學情境，這將大大促進學習者的認知動機由外在的內驅力向其認知內驅力的轉化。因此越來越多的學習軟件出現在市場上，各種各樣的功能也層出不窮，但是對于課程的質量卻很難把關，甚至營銷多過于教學本身質量的學習軟件比比皆是。基于此，通過對市場上現有學習軟件的滿意度和不滿意的原因進行調查，為改善現有學習軟件的不足，擬開發"集海量學習資料于一身的法寶—"學習庫"系統。目的是能夠將從小學到大學，各種考試、各種教材、教學輔助、教學講義的電子版本等學習資料收錄到系統之中，對學習資料進行全覆蓋，增加學習資料的受用人群范圍，能夠根據需求進行階段性線上和線下的學習，歸一化學習軟件的使用。并且由于市面上的學習軟件五花八門且品質良莠不齊，基于這一情況特別實現了教師在線直播授課功能。一對一形式授課，了解院校信息，師生論壇的語音交流等一系列的功能，做到花最少的錢，學最多的知識，集各種學習資料于一身，創新出能夠在線瀏覽并下載文檔資源的學習系統，成功解決其他學習類軟件學習資料單一，不能做到全方位和多元化學習的弊端。成功打破用戶只能學習其所在階段的學習資源的局限性，讓任何階段的學生都能夠學習到他所需要學習的知識。學習知識的覆蓋面廣，且用戶從小學到大學，甚至畢業都只需使用一款學習系統，極大地提高了系統的便捷性，實用性和適用性。

2.學習庫創建過程中存在的問題

任何一個平臺在初期的搭建，產品設計以及后期運行過程中都必須具有自己獨特的方向性和其相應的使用價值，也都會是面向各種形式迥異的用戶，面對不同用戶的不同需求及時作出調整。比如說同時在搭建模塊及頁面的時候對于整個板塊的設計和搜索引擎的創建都會需要敲定。因此初期都或多或少的就可能存在著一系列的技術問題，這就必然要求我們相應的研發管理團隊需要去定期進行數據挖掘，商榷，研討和最終解決的這些問題，同樣是以基于學習庫的創建也會面臨著一些可解決的問題。

在本篇論文中僅列舉一條具有代表性，針對性，關鍵性，極大影響性的問題，并列出相應的解決措施及方案，其他的問題都已經跟組員一起溝通制定了解決的方案。

系統的設計和實現中存在技術性問題的解決是重中之重。實踐技術是我們檢驗科學真理的唯一標準，任何一個系統，任何一個平臺都永遠離不開這項技術的大力支持與研發，尤其是本次的系統設計需要大量計算機技術支持，所以格外需要計算機技術的學習。因此本研究團隊進行了深度機器學習研究計算機互聯網技術，ASP. net開發框架，sql server建立數據庫，視頻通信技術，數據挖掘技術，web軟件開發，UML統一建模使用教程和軟件工程理論與實踐等多門課程。對于一個數據庫來說，除了設計一個數據庫之外，還有一個歷史數據處理不好的問題，因為這個歷史數據處理不好，最終可能會導致數據庫不能正常工作。因此我們學習了一套技術設計專業的歸檔數據庫，根據歷史資料的需要確定保存和備查時間的長短，定期將所有歷史資料轉移到相應的歸檔數據庫中。

3.基于學習庫的設計理念

在學習庫中，當學生或教師注冊自己的信息之后，系統會根據信息進行大數據分析推薦相應的課程視頻以及資料。前端界面作為一個用戶首先能夠看到的最直觀的窗口，在進行課程可視化設計過程中，依據分析的各單元模塊信息特征和用戶需要，圍繞課程資料的瀏覽和對資料檢索兩大功能，用資料卡片的方式，列表展示一定時間內學習資料的點擊量和閱讀量還有下載量，根據瀏覽次數統計最多人采納的學習資料。再對專題進行較為細致的劃分。系統將自動對收到的點贊和采納數量最多的學習材料進行排列綜合整理后排名給所有用戶。在課程可視化設計中，依據分析出的單元模塊信息特征和用戶需要，圍繞課程數據瀏覽功能和資料檢索功能進行了兩大功能。檢索之后會根據用戶的瀏覽記錄、下載記錄、答題的錯誤記錄等等推薦相對應的合適的視頻，文字，包括老師的細致推薦，推薦的順序也是從最受采納的資料依次推薦，想要更加細分就是繼續增加關鍵字進行搜索。

本系統區別于其他的學習軟件單一的功能，集各大功能需求為一體。其他的學習軟件重在通過課程的資源進行盈利，課程價格層次不一，參差不齊，質量也是難以保證。而本系統重在資源共享和快捷便利。

首先，我們會整合從小學到大學的學習資料，包括各類證書的學習資源進行數據整合。然后進行分類細致化分板塊。同時支持教師線上一對一教學，邀請老師入住網站進行資格認證，采用視頻通訊技術，獲取授課雙方的在線視頻信息，實時地顯示在前端的JSP頁面上，學生可以有選擇的聯系老師在線教學。也支持管理員自發上傳學習資料，用戶可以在后臺對學習資料進行審核，拒絕發布學習資料的不合法信息。

其次，我們會收集近十年各大高校，各類別考試的十年真題以及模擬題練習題作為題庫，方便用戶學習之后的鞏固復習，創建問答管理模塊，將用戶提出問題的提問表和用戶給出答案的解答表實現對接，實現將提問和解答同時顯示的功能。還會開通自習室功能，創建白名單，自主設定學習時間，關閉手機里的娛樂app，讓每一位有需求的用戶能夠靜下心來學習。用戶與用戶之間可以進行線上互動，互加好友，進行學習的比拼，找到志同道合的"學友"。雙方互為好友之間可以進行學習資源間的共享，針對用戶的瀏覽記錄，愛好和學習題庫的答卷情況等進行個性化的推薦同時，本系統還結合了人工智能技術，通過語音識別，圖像識別，人臉識別等多項技術使得用戶更為便捷地操作和安全使用。

4. 基于學習庫系統的設計與實現

本系統的設計與實現共歷經：前期準備，系統研發和系統測試三個階段。

4.1 前期準備

前期的準備工作過程中對項目進行前期的需求分析，了解項目的用戶需要和制訂設計流程，部分功能存在技術問題需要解決。相應的技術研發人員也根據所需的功能對學習庫進行了相關技術的研究，每一位學習成員都對該庫系統進行了獨立的技術研究和學習，對于計算機技術的深入和進修也更認真地進行了研究，并且為此擬定了學習庫系統的開發工作日程和計劃。前期準備回歸工作研究小組團隊通過線上的紙質電子問卷，線下的紙質問卷調研等多種方式出現來分析和調研那些是否有關于用戶的各類需要商榷之處的問題。本次調研均為有效的數據，發出了電子及紙質版的調查問卷共有200份，有效問卷共有164份，表現為86%的答卷者了解學習軟件，了解學習軟件的人對學習軟件各有不同：46%的人了解是補課的學習軟件，比如學而思網校、一起學網校;30%的人了解的是可以專項學習技能的學習軟件，比如51Talk英語，哆啦日語等;24%的人了解的是解題軟件，比如小猿搜題。在這其中有65.29%的人認為學習軟件的資料豐富和界面的簡潔便利很重要（宋茲鵬.2021）。并且在網上翻閱和查找了大量的文獻，學習資料庫的建立以及市面上大多數學習軟件界面以及功能的優缺點進行對比和優化。

4.2 系統研發

在系統的研發階段本項目對系統進行了細致的設計，按照系統總體設計、原型圖的要求來開發各個主要模塊。其中在系統的展示部分，該系統主要界面展示為視頻資料展示，文字資料展示和答題庫展示，以及本系統采用協同過濾算法對用戶進行資料推薦，為用戶推薦合適的學習資料。由于傳統的視頻傳輸技術中，存在一些問題比如：建立連接消耗時間過長，視頻質量不夠清晰等，所以團隊學習了新的視頻傳輸協議和視頻編碼技術，也就是VC的視頻傳輸技術，能夠進行實時而高效的視頻傳輸，保證在線的一對一的課程的質量（趙新梅，曹艷.2016）。同時會讓管理員在后臺進行直播間的巡視巡查，確保在學習交流過程中的安全性，并在確保安全性的同時穩定直播間的鏈接，減少直播間的卡頓，延遲，畫面的正常顯示。在搜索功能中，本系統分別選擇了學習資料的關鍵字搜索和按照不同類別進行搜索，在該功能中本系統結合人工智能添加了語音識別搜索，圖片搜索等功能。關于問題功能的設計本系統在整體設計中分別收藏了相關題目、筆記添加和例題多練等功能在資料下載這一模塊，在用戶做完測試之后會收集錯題數據，方便推薦給用戶同種類型題進行反復練習和鞏固。本資料系統設計了提供資料下載，資料分享，資料上傳，分享資料至微博、qq等第三方社區的一系列功能。同時，在登錄的過程中本系統充分結合了人工智能技術采用指紋登錄和密碼登陸兩種方式，極大的提高了用戶在登錄使用效率的同時，也加強了對于用戶密碼的管理和保護。而本系統的后臺關于數據庫的設計與開發部分，本系統采用了主從備份，對所有數據庫都進行了負載均衡，確保了數據庫的正常工作運行，包括可以進行資料的上傳，資料的加密。當然管理員也會進行審核，確保資料上傳以及瀏覽環境的安全。ASP.net##r還提供了一種軟件跟蹤服務，在用戶可以通過選擇性設定應用程序的調試級別和其他頁面查看調試信息級別的操作過程中會被啟用，可以通過有利于選擇性功能地快速查看這些頁面調試信息，或者如果是軟件使用者還可以通過選擇性設定應用程序調試級別的軟件跟蹤工具查看，該工具可用來快速查看跟蹤信息。

4.3 系統測試

系統測試階段直接影響著系統能否給予正常的使用，因此本系統擬采用SQL Server建立數據庫，ASP.NET應用程序平臺，采用UML實現系統建模。學習庫的設計是進行對系統各個功能模塊的分類劃分和網站各個功能模塊之間相互關聯的設計，對網站的功能模板進行了編程，以及頁面模板的設計，網頁外觀也進行了美化。通過加載插件的方式，對數據進行了可視化。使其能夠實時記錄和分析用戶的數據，為以后人工智能分析的數據做好準備。數據挖掘技術是數據庫原始數據處理，儲存和操作的基礎。

通過對相關的數據結構和標準化的客服需求，解決了特殊存取數據的難題，利用新時代出現的數據庫定向技術更易于找到在數據庫中所隱含的模型。ASP. net為我們能夠向任何一個瀏覽器或者是設備都提供了更安全，更強大的可升級性，更穩定的應用程序而言，它們都是一種新的軟件編程模式和基本架構，并且在內部使用Unicode以表示請求和響應數據的時候，可以為每臺計算機，每頁都配比國家化的設置。同時使用視頻通訊技術，獲取雙方的在線視頻信息，實時的顯示在前端的JSP頁面上。同時提升技術，在能夠實時的進行直播的時候確保能夠少卡頓，少延遲，確保直播鏈接的穩定性。用戶可在直播間進行有效發言。本次測試系統是選用黑盒測試，對系統的性能進行了測試。除此之外，研發團隊還將根據測試的效果，對系統進行一些優化和改進，極大的程度上提高系統的性能使用率，并且要做好系統后期的檢測和維修工作。

5. 學習庫推薦系統項目總結

本系統針對UML統一建模和SQL Server的系統，不僅具有豐富的理論意義，而且還有很強的使用價值，為用戶提供最快最便捷的數據搜索系統。本系統主要面向的是所有需要進行學習資料檢索的所有用戶人群，其中包含大學生，考研黨，考公務員等不同的對于考試正在努力或者想通過自學學習想要技能的人群。網絡課程的建設和實施將對推進高等教育改革、遠程教育的發展具有重要意義和作用（李瑩亮.2020），如果不正視我們的網絡課程在其設計、開發、應用、管理和評估等過程中可能出現的一些問題，并及時加以預防和改善，不僅可能會嚴重影響到網絡教育課程的質量，而且可能會阻礙我們的網絡教育課程在實際應用中的推廣和發展，所以本系統會盡可能的保證網絡學習資料的質量和網課的開發與建設。完善的數據庫之外，也有機會為網絡課程的設計和開發，應用和管理盡最大的努力的推進網絡課程的發展。在極大程度上進行用戶學習資料資源共享的同時，發布資源的用戶經過管理員審核之后可以自行決定學習資料有償與否，讓每一位用戶可以更加高效便利的享受到有用的學習資料，進行學習與學習間的交流。

本次系統將先進的算法代碼和核心技術也都進行了優化，讓系統的性能也在設計上得到了質的改善，使系統能夠實現了準確率和效果的雙重提高。包括本系統學習庫的線上直播教學功能通過視頻通訊技術的加持也會讓學習庫更加的高效，讓所有的孩子都能夠享受到一線的教育資源，能夠拿到最好的學習資料，讓每一位用戶都能通過學習庫得到提高，是這個學習庫的最開始設計的初衷。也希望未來這個系統能夠讓更多用戶感受到更好地學習體驗。

參考文獻：

[1]宋茲鵬.51Talk黃佳佳：初心不改? 努力構建在線英語素質教育系統[J].中國商界，2021（04）：70-73.

[2]冉慶華.計算機數據挖掘技術及其應用研究[J].電腦編程技巧與維護，2021（03）：68-70.

[3]趙新梅，曹艷.視頻通訊發展現狀及未來趨勢[J].科技資訊，2016，14（03）：4-5+7.