基于分類與評(píng)價(jià)算法的教學(xué)資源智能化動(dòng)態(tài)更新系統(tǒng)構(gòu)建

邵孟良

摘要：針對(duì)網(wǎng)絡(luò)教學(xué)資源平臺(tái)中資源的靜態(tài)特性，以及無法實(shí)時(shí)獲取Internet上動(dòng)態(tài)資源的問題，提出基于分類與評(píng)價(jià)算法的云端資源動(dòng)態(tài)更新的系統(tǒng)建設(shè)方案，并對(duì)系統(tǒng)整體架構(gòu)及資源動(dòng)態(tài)采集模塊、文件自動(dòng)化分類模塊、評(píng)價(jià)與反饋模塊進(jìn)行分析設(shè)計(jì)，對(duì)核心的文件分類模塊采用基于詞頻及權(quán)重值的集成分類算法，通過分類搜索樹運(yùn)算構(gòu)建，最后實(shí)驗(yàn)驗(yàn)證系統(tǒng)及算法正確、高效。

關(guān)鍵詞：教學(xué)資源庫;文件分類;詞頻分類;搜索樹

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）18-0274-03

Abstract： Aiming at the static characteristics of resources in the network teaching resource platform and the problem of not being able to obtain real-time dynamic resources on the Internet， a system construction scheme based on classification and evaluation algorithm for dynamic updating of cloud resources is proposed， and the system architecture and resource dynamic collection modules and files are proposed. The automatic classification module， evaluation and feedback module are used for analysis and design. The core file classification module adopts the integrated classification algorithm based on word frequency and weight value， and is constructed by classification search tree operation. Finally， the experimental verification system and algorithm are correct and efficient.

Key words： Teaching resource library; document classification; word frequency classification; search tree

隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)教育及資源成為傳統(tǒng)教育的有益補(bǔ)充與擴(kuò)展。各大高職院校非常重視網(wǎng)絡(luò)教育資源與傳統(tǒng)教學(xué)模式的結(jié)合應(yīng)用，提高人才培養(yǎng)質(zhì)量。同時(shí)，國家也給予大力的支持，如：教育部于2010年啟動(dòng)高等職業(yè)教育專業(yè)教學(xué)資源庫建設(shè)項(xiàng)目，2010年遴選、立項(xiàng)11個(gè)項(xiàng)目，2011年遴選、立項(xiàng)17個(gè)項(xiàng)目，涉及13個(gè)學(xué)科大類、16個(gè)省市和32個(gè)高職院校，建設(shè)資金達(dá)3億多元[1];2018 年底“新建一批國家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫和國家精品在線開放課程”、“立項(xiàng)建設(shè)省級(jí)高等職業(yè)教育專業(yè)教學(xué)資源庫 （200個(gè)左右）和精品在線開放課程（1000門左右）”[2]。

教學(xué)資源庫的建設(shè)與使用帶動(dòng)全國職業(yè)教育的人才培養(yǎng)模式改革，推動(dòng)職業(yè)教育教學(xué)改革，促進(jìn)學(xué)習(xí)方式轉(zhuǎn)變，滿足學(xué)習(xí)者個(gè)性化、多樣化、自主式的學(xué)習(xí)需要，整體提升職業(yè)教育人才培養(yǎng)質(zhì)量和社會(huì)服務(wù)能力[3]。

目前，建成的教學(xué)資源庫一般具有以下功能：完善的庫類別，資源的共建共享， WEB集成，資源檢索，網(wǎng)上交流，自主學(xué)習(xí)等[4]。在庫類別中，一般分為專業(yè)標(biāo)準(zhǔn)庫、網(wǎng)絡(luò)課程庫、精品課建設(shè)庫、專業(yè)信息庫、專業(yè)特色專題庫、專業(yè)試卷庫、專業(yè)圖片庫、專業(yè)視頻動(dòng)畫庫、專業(yè)合作企業(yè)庫、專業(yè)文獻(xiàn)庫等。用戶可自己維護(hù)自定義資源庫的類別。由于教學(xué)資源庫的建設(shè)周期長，而上傳到平臺(tái)的資源多為靜態(tài)數(shù)據(jù)，且一般是由教學(xué)實(shí)施方手工方式上傳更新，在知識(shí)日新月異的信息時(shí)代，專業(yè)庫的知識(shí)內(nèi)容嚴(yán)重滯后，無法適應(yīng)專業(yè)的飛速發(fā)展，特別是專業(yè)信息庫、專業(yè)文獻(xiàn)庫。

針對(duì)教學(xué)資源庫資源種類單一、不能清晰地標(biāo)注資源之間的邏輯關(guān)系、更新不及時(shí)等問題[5]，本文擬提出建設(shè)基于分類與評(píng)價(jià)算法的云端資源動(dòng)態(tài)更新的系統(tǒng)建設(shè)方案，由系統(tǒng)自動(dòng)化地抓取Internet上的相關(guān)資源，并進(jìn)行智能化地歸類，動(dòng)態(tài)更新專業(yè)信息庫、專業(yè)文獻(xiàn)庫，以適應(yīng)專業(yè)的發(fā)展，及時(shí)跟蹤專業(yè)領(lǐng)域前沿技術(shù)。如何對(duì)Internet上海量的、異構(gòu)的、動(dòng)態(tài)的、半結(jié)構(gòu)化或非結(jié)構(gòu)化的信息資源進(jìn)行抓取與分類，本文將結(jié)合教學(xué)資源庫的特定案例進(jìn)行研究與嘗試。

1系統(tǒng)分析與設(shè)計(jì)

1.1系統(tǒng)整體設(shè)計(jì)

系統(tǒng)整體架構(gòu)圖如圖1所示：

本系統(tǒng)主要涉及資源動(dòng)態(tài)采集、文件分類、資源評(píng)價(jià)與反饋三大模塊。資源動(dòng)態(tài)采集模塊實(shí)時(shí)地抓取頁面;文件分類模塊根據(jù)專業(yè)性質(zhì)及難易度等要求進(jìn)行自動(dòng)化文檔歸類;資源評(píng)價(jià)與反饋模塊讓用戶對(duì)資源進(jìn)行評(píng)議，并反饋給文件分類模塊，通過機(jī)器學(xué)習(xí)不斷提高文件分類的精準(zhǔn)度。

1.2資源動(dòng)態(tài)采集模塊

資源動(dòng)態(tài)采集模塊根據(jù)專業(yè)庫的不同，依據(jù)配置文件中設(shè)置的URL、關(guān)鍵字、采集策略等搜索條件，實(shí)時(shí)地抓取Internet上的資源，并生成輸出數(shù)據(jù)文件供文件分類模塊進(jìn)一步處理歸類。資源采集流程如圖2：

1.3文件分類模塊

文件分類模塊根據(jù)采集輸出的數(shù)據(jù)，結(jié)合關(guān)鍵字庫，采用相應(yīng)的文本分類算法進(jìn)行分類，歸集到相關(guān)類別中。

文本分類算法眾多，針對(duì)本應(yīng)用系統(tǒng)特點(diǎn)，主要是針對(duì)固定的課程，其教學(xué)計(jì)劃與要求比較明確（如：課程關(guān)鍵字、每個(gè)章節(jié)關(guān)鍵字、每個(gè)知識(shí)點(diǎn)關(guān)鍵字等都比較明確），故采用基于詞頻分類器集成的文本分類方法。文件分類模塊架構(gòu)如圖3所示：

1.4資源評(píng)價(jià)與反饋模塊

文件分類模塊完成文檔的自動(dòng)化分類與歸集，但由于文檔結(jié)構(gòu)復(fù)雜，文件分類模塊無法智能化理解文件內(nèi)容，其分類算法對(duì)文件的分類與歸集會(huì)存在一定的誤差。為適時(shí)調(diào)整與反饋分類評(píng)價(jià)，資源評(píng)價(jià)與反饋模塊完成以下操作：當(dāng)用戶瀏覽文件內(nèi)容時(shí)，讓用戶對(duì)文件進(jìn)行簡要評(píng)價(jià)，計(jì)算生成調(diào)整參數(shù)值，傳入調(diào)整因子，反饋到文件分類模塊，調(diào)整分類結(jié)果。

2相關(guān)技術(shù)概述

2.1網(wǎng)頁抓取技術(shù)

網(wǎng)頁抓取主要根據(jù)關(guān)鍵字檢索網(wǎng)頁內(nèi)容，尋找匹配的頁面。其關(guān)鍵技術(shù)是字符串匹配算法。字符串匹配分為精確字符串匹配和非精確字符串匹配，其匹配的模式有單模式匹配和多模式匹配。單模式匹配算法主要有：BF算法、KMP算法、BM算法、RK算法、Horspool算法[6]、Sunday算法[7]等，及各種改進(jìn)的算法;多模式匹配算法主要有：AC （Aho-Corasick algorithm）、ACBM（CW）[8]、WM[9]、ACQS、DAWG（ACRF）、MultiBDM[10]等，及各種改進(jìn)的算法。

本系統(tǒng)根據(jù)課程及章節(jié)設(shè)置關(guān)鍵字，其關(guān)鍵字比較固定，為適應(yīng)不同的要求，根據(jù)章、節(jié)、知識(shí)點(diǎn)設(shè)置1-3級(jí)關(guān)鍵字，抓取頁面時(shí)，根據(jù)需要選擇不同的級(jí)別，對(duì)技術(shù)綜合類的網(wǎng)站選擇粗粒度的關(guān)鍵字，對(duì)專業(yè)性的網(wǎng)站選擇細(xì)粒度的關(guān)鍵字，缺省情況選擇到2級(jí)關(guān)鍵字。由于關(guān)鍵字較多，本系統(tǒng)采用多模式匹配算法進(jìn)行匹配，以提高網(wǎng)頁抓取速度。

2.2文件分類技術(shù)

文本分類的任務(wù)是將文集（corpus）中的文本分到預(yù)先定義的類別中[11]。根據(jù)分類器的數(shù)量將文本分類分為兩大類：單分類器文本分類和多分類器文本分類。單分類器文本分類是指采用單一算法完成文本分類任務(wù)，一個(gè)分類器能夠獨(dú)自完成分類任務(wù)，這種分類器分類效果較好，但是算法復(fù)雜度較高，對(duì)樣本具有敏感性，如K近鄰分類算法、S V M分類算法等。多分類器文本分類算法是由多個(gè)分類器共同完成分類任務(wù)，通過訓(xùn)練將多個(gè)簡單的基分類器按一定方式組合構(gòu)成集成分類器 ， 由集成分類器合作完成分類任務(wù) ， 這種分類器具有較好的泛化能力和較高的分類準(zhǔn)確率 ， 如基于集成學(xué)習(xí)的文本分類算法等[12]。

本系統(tǒng)將采用基于詞頻及權(quán)重值的集成分類方法，由細(xì)粒度級(jí)別的關(guān)鍵字詞頻及權(quán)重值向上一級(jí)歸集，并計(jì)算文檔難易度。

3智能化的文檔分類

對(duì)采集到的文檔進(jìn)行分類，智能化歸檔到相關(guān)章節(jié)并設(shè)置難易度，是系統(tǒng)的核心部分。本系統(tǒng)采用基于詞頻及權(quán)重值的集成分類方法，采用搜索樹結(jié)構(gòu)運(yùn)算構(gòu)建。

3.1分類樹的構(gòu)建

3.1.1 分等級(jí)關(guān)鍵字

由于教學(xué)資源庫建設(shè)針對(duì)性較強(qiáng)，面向具體的課程，課程一般分章、節(jié)，及下面的知識(shí)點(diǎn)。根據(jù)章、節(jié)、知識(shí)點(diǎn)設(shè)置三級(jí)關(guān)鍵字，其結(jié)構(gòu)示例如下（以“數(shù)據(jù)結(jié)構(gòu)”課程為例）：

3.1.2 分類樹初始構(gòu)建

各節(jié)點(diǎn)數(shù)據(jù)格式為：關(guān)鍵字：頻度度量值，初始化頻度度量值為0;各邊的權(quán)值為0。

3.1.3 頻度度量值和權(quán)值計(jì)算

頻度度量值和權(quán)值計(jì)算將根據(jù)資源動(dòng)態(tài)采集模塊輸出的統(tǒng)計(jì)結(jié)果進(jìn)行，根據(jù)關(guān)鍵字頻度、標(biāo)題關(guān)鍵字等因子進(jìn)行計(jì)算。

（1） 公式定義

（2） 文檔歸類的確定

從根節(jié)點(diǎn)開始，選擇權(quán)值為最大的邊進(jìn)行深度搜索，直至葉節(jié)點(diǎn)為止。搜索經(jīng)過的路徑就是各級(jí)分類的歸集點(diǎn)。

3.2資源評(píng)價(jià)與反饋

用戶在瀏覽文檔后，將彈出調(diào)查問卷，請(qǐng)用戶對(duì)資源分類適合度進(jìn)行評(píng)價(jià)，若不適合，將選擇權(quán)值第二、第三大的邊進(jìn)行深度搜索，供用戶進(jìn)行選擇。并將選擇的結(jié)果轉(zhuǎn)化為調(diào)整因子[α]，重新計(jì)算[P（i，j）]。[α]計(jì)算公式如下：

[α]=t*Count，其中t為基數(shù)，缺省值為0.01，可根據(jù)用戶數(shù)與真實(shí)度進(jìn)行調(diào)整;Count為給予評(píng)價(jià)與反饋的個(gè)數(shù)。對(duì)于用戶評(píng)價(jià)與反饋的真實(shí)度需要一個(gè)評(píng)估過程，可根據(jù)實(shí)驗(yàn)數(shù)據(jù)最終確定基數(shù)t的取值。

4實(shí)驗(yàn)驗(yàn)證

以表1采集結(jié)果作為實(shí)驗(yàn)樣本數(shù)據(jù)，進(jìn)行權(quán)值計(jì)算。

（1）計(jì)算生成搜索樹

（2）文檔歸類確定

從根節(jié)點(diǎn)開始，選擇權(quán)值最大的邊進(jìn)行深度搜索，確定文檔歸類。如圖5所示數(shù)據(jù)，搜索路徑為：線性表→鏈?zhǔn)酱鎯?chǔ)→線性鏈表，則一級(jí)類別為線性表，二級(jí)類別為鏈?zhǔn)酱鎯?chǔ)，三級(jí)類別為線性鏈表，三級(jí)備選類別為單鏈表。

從資源原文件分析理解，系統(tǒng)功能正確，分類準(zhǔn)確。

5結(jié)論與展望

本文對(duì)教學(xué)資源庫建設(shè)中拓展資源的智能化動(dòng)態(tài)更新進(jìn)行了嘗試，采用基于詞頻及權(quán)重值的集成分類方法，使用分類搜索樹結(jié)構(gòu)運(yùn)算構(gòu)建，確定分級(jí)文檔歸類。并對(duì)核心的文檔分類部分給出具體的設(shè)計(jì)與實(shí)現(xiàn)，從分類樹的構(gòu)建，到權(quán)值計(jì)算，到最佳搜索路徑的生成。本文的研究對(duì)Internet上海量的、異構(gòu)的、動(dòng)態(tài)的、半結(jié)構(gòu)化或非結(jié)構(gòu)化的信息資源進(jìn)行抓取與分類，對(duì)教學(xué)資源庫動(dòng)態(tài)獲取，并職能化歸類有極大的實(shí)用價(jià)值。但系統(tǒng)也還存在繼續(xù)完善的環(huán)節(jié)，如：系統(tǒng)對(duì)關(guān)鍵字需要事先精心選擇，對(duì)多別名的關(guān)鍵字也需要涉及，使得系統(tǒng)的效果依賴于關(guān)鍵字的正確設(shè)置;系統(tǒng)對(duì)文檔的難度設(shè)置，無法做到智能化語義的理解，目前還只能是依據(jù)關(guān)鍵字及特性值。這些都是未來要繼續(xù)學(xué)習(xí)與研究的。

參考文獻(xiàn)：

[1] 中國高職高專網(wǎng).數(shù)字化學(xué)習(xí)資源中心高等職業(yè)教育教學(xué)資源庫專欄[EB/OL].[2012-12]. http：//www.tech.net.cn/zyjs/index.aspx.

[2] 中華人民共和國教育部. 教育部關(guān)于印發(fā)《高等職業(yè)教育創(chuàng)新發(fā)展行動(dòng)計(jì)劃（2015-2018年）》的通知[EB/OL].[2015-10].http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_cxfz/201511/t20151102_216985.html

[3] 劉銳. 高職專業(yè)教學(xué)資源庫研究綜述[J]. 職業(yè)技術(shù)教育，2013（14）：42-46.

[4] 張家貴，曹哲新.高職院校共享型專業(yè)教學(xué)資源庫建設(shè)研究[J].現(xiàn)代教育技術(shù)，2010（7）：51-54.

[5] 楊浩，付艷芳，楊陟卓.教學(xué)資源庫建設(shè)存在的問題及對(duì)策探析[J].職業(yè)教育研究，2017（02）：55-60.

[6] Horspool R N. Practical fast searching in strings[J]. Software： Practice and Experience， 1980， 10（6）： 501-506.

[7] Boyer R S， Moore J S. A fast string searching algorithm[J]. Communications of the ACM， 1977， 20（10）： 762-772.

[8] Commentz-Walter B. A string matching algorithm fast on the average[M]. Springer Berlin Heidelberg， 1979.

[9] Wu S， Manber U. A fast algorithm for multi-pattern searching[J]. 1994.

[10] F Sebastiani. Machine learning in automated text categorization[J]. ACM Computing Surveys， 2002，34 （1）：1-47.

[11]姜遠(yuǎn)，周志華. 基于詞頻分類器集成的文本分類方法[J]. 計(jì)算機(jī)研究與發(fā)展，2006（10）：1681-1687.

[12]梁曉娜，于紅，范麗民，駱桂爽. 改進(jìn)詞頻分類器集成的文本分類算法[J].智能系統(tǒng)學(xué)報(bào)，2010（2）：177-180.

【通聯(lián)編輯：梁書】