基于協同標注的個性化電子學習推薦系統

王 丹，田廣強

(黃河交通學院 智能工程學院，河南 焦作 454950)

0 引 言

協同標注作為Web 2.0的一部分，是對動態內容[1]進行分類的重要工具。基于用戶對在線學習體驗的要求逐步提高的趨勢，我們研究了協同標注技術在學習資源推薦系統中的應用。協同標注過程創建一組標注，通常稱為大眾分類法，用于描述資源[2]。為了定義相關性，大眾分類法可以通過標注過程向資源添加語義，其特點是不需要單獨的手動索引器或自動的關鍵字生成器[3]的支持。標注過程允許用戶使用自己的重要詞匯或概念。在網絡學習環境中，標注已被證明是一種成功的元認知策略，它能使學生更有效地參與到學習過程中。標注通過強調課文中最重要的部分，使學生可以更好地記住它。此外，標注活動可以激發學生更深入地參與到學習過程中，并幫助他們理解學習內容[4]。

隨著越來越多的用戶開始使用標注來提高學習的效果，基于標注分析的方法也逐漸應用于對推薦系統的改進中[5]。本文以一個智能編程輔導系統(E-course)為基礎，討論了如何將推薦系統和協同標注相結合用于教學過程的問題。本文的研究重點是如何選擇合適的協同標注技術，以激發學生的學習動機和增強對學習內容的理解。我們將基于標注的推薦方法應用到E-course系統中，用來給學生提供最合適的學習資料。實驗結果表明，本系統的個性化推薦結果與學生的興趣和先前獲得的知識相一致，同時還能簡化學生之間的協作和交互。

在我們的這個推薦系統中，開發、使用并評估了最適合的基于張量因子分解技術的推薦模型，為學生推薦最合適的學習資源，實現了基于學習風格模型的聚類技術，減小了用于推薦的標注空間。改進的協同標注技術縮短了推薦執行時間，減少內存需求，同時提高推薦質量。

我們使用提出的方法進行了幾個實驗，從而驗證，可以通過系統生成的推薦意見，增強學生的學習動機和效果；同時，我們也從教師和學生的角度，對系統的性能進行了評估；此外，我們還研究了協同標注的過程，以及標注的位置與其表達的相關性；最后，我們對標注進行了語義分析，以便更好地理解它們的不同用法。

1 網絡學習環境下的基于標注的推薦系統

根據傳統，電子學習系統應當為學生提供具有個性化的學習指導，幫助學生找到合適的學習材料，并適應學生的需求、知識、才能和學習風格。目前電子學習系統的主要局限性是[6]：需要根據各自的領域開發特定的和不同類型的應用系統，系統不可能把每個學生在每門課程學習中的具體需要都涵蓋其中。因此，研發為學習提供動態支持的應用系統，通過為學生推薦合適的學習活動，以實現學生的學習目標，是十分必要和可取的。此外，該系統還具有在互聯網上發現適用的學習內容的能力，并能夠將這些內容針對學生的學習特點進行調整、定制和個性化。

本文中我們將考查、整合基于標注的電子學習系統新的框架。新的電子學習框架主要體現在能夠識別每個學生的學習特點，以及根據最合適的標注和學習項目為學生提供相應的個性化學習指導[7]。標注對學生的重要作用表現在以下幾方面[8-10]：

(1)標注作為一種元認知策略，能夠吸引學生參與到學習過程中來。

(2)對于教師來說，標注傳遞的信息對于了解學生的學習活動具有重要意義。

(3)標注有助于學生總結學習活動，同時通過查看其他學生的標注獲得有效的幫助。

(4)通過協同標注，可以了解學生的學習進度。在個人層面，有助于分析學生對學習材料的理解；在群體層面，有助于確定課程的整體進度。

(5)電子學習系統目前缺乏對教材[8]進行注釋的有效支持。然而，學生可以通過標注參與許多注釋活動，如記筆記、突出顯示文本或標注頁面。標注允許學生添加評論、更正、鏈接或加入討論。

本文中，我們提出了基于張量因數分解(RTF)的排名方法，以提供基于標注的推薦，并重點介紹了它們在電子學習環境中的應用。選擇這個模型是因為它在本文第2節的比較研究中表現最好。本文中使用的其它方法的詳細信息見文獻[11-15]。

我們通過實驗分析了RTF方法在電子學習環境中應用標注推薦的適用性，并比較了基于圖和張量的標注推薦方法在電子學習環境中的適用性。正如將在第2節中介紹的那樣，所選技術的優點是縮短了執行時間并減少了內存需求，同時保證了推薦質量。

1.1 E-course編程輔導系統的個性化推薦

本項目開發了一個名為E-course的編程輔導系統。E-course允許學生在相應的課程中學習個性化推薦的學習材料，并對學到的知識進行測試。系統包含的典型課程之一是《Java編程入門》。選擇Java是因為它是面向對象程序設計語言的一個典型，非常適合于面向對象概念的教學。本課程是為沒有面向對象編程經驗的學生而設計的。E-course系統的架構如圖1所示，包含了5個實用組件：學習模型、會話監控、領域模塊、應用模塊和適配模塊。

圖1 E-course系統架構

學習模型用來收集學生有用的信息。學習模型的數據根據共享的質量和特征[16]分為3類：

個人信息——學生在注冊時提供的信息。如個人信息、學習偏好、以前的知識等。學生可以在系統注冊時編輯這些信息。

活動信息——系統對學生的學習活動進行監控和記錄的信息。如學生的學習風格、學習進度和當前知識水平、學生的疑惑和整體表現。

學習歷史信息——學生學習的課程和測試結果、學生與系統的互動信息、對課程學習效果的評估信息等。這些信息可以自動從E-course系統中導出。

為了跟蹤學生的學習活動和進度，會話監控模塊在會話期間可以自動對學習模型進行更新。會話監控模塊同時負責檢測和糾正學生的錯誤，并對會話進行相應地重定向。

領域模塊包含所學課程的概念和對象、教材和測試的結果等，所含內容的結構由相應的課程定義。E-course中的Java編程課程分為6個單元，每個單元包含幾個講座。每堂課(共18堂)包含幾個學習對象(LoS)：教材、示例、理論部分和關鍵概念。為了檢查學習的效果，系統提供了測試單元。

應用模塊是E-course系統的重要組成部分，其設計目的是使學習內容適應學生的個性。它支持不同的推薦技術和策略，旨在通過學習模型，推薦學習資源或提供特定的導航模式。

適配模塊基于推薦系統生成個性化的學習建議。它由3個組件組成，如圖2所示。

圖2 E-course系統的適配模塊(推薦組件)

(1)學生和系統的交互模塊。收集和準備學習活動的數據，如訪問的頁面、獲得的分數、測試的結果等。

(2)離線模塊。應用學習模型和數據分析策略來識別學生的學生目標和學習內容。該模塊首先需要根據最初的問卷確定每個學生的學習風格。學習內容可以根據學習風格、課程現狀和學生的所屬關系進行篩選。

(3)推薦引擎。為學生群體創建一個推薦列表。即使對于學習興趣相似的學生，他們的學習能力也會因其知識水平的不同而不同，因此有必要首先對學生進行聚類。我們提出了一種基于學生學習風格的數據聚類方法，然后根據以下步驟創建推薦列表：

收集學生的學習標注。

通過AprioriAll算法挖掘頻繁序列，識別學習模式。我們使用E-course系統提供的協同過濾方法，根據頻繁序列的評分生成學習資料的個性化推薦列表。

1.2 基于標注的個性化推薦

E-course系統的推薦組件可生成用于推薦的最佳標注列表。我們通過實驗將生成的標注列表與系統以前版本的列表進行比較。通過對基于標注的推薦技術的比較，我們選用了下面的RTF(張量因數分解)技術來實現基于標注的個性化推薦。推薦過程包括3個階段：初始張量的生成；張量分解的計算；生成推薦項目(學習內容)的列表。

1.2.1 初始張量的生成

我們使用學生、項目(學習內容)和標注三維數據來生成初始張量。初始張量是一個三階張量A∈R|L|×|I|×|T|， 其中|L|、|I|、|T|分別是學生數據、項目數據和標注數據的維數。例如，值 (A)litk=alit表示學生l用標注t標注一個項目i的次數。該階段包括下列步驟：

創建一個基于學習風格的學生的集合。

確定學生使用的一組標注。

解析由學生標注的項目集。

遍歷學生、項目和標注。確定當前的項目是否被當前的學生和當前的標注所標注，并在張量中標注可獲得的關聯。

如果學生沒有使用標注標注一個項目，則保持當前學生與該項目的空關系。

我們的方法可以看作是一個基于學習風格創建學習集的過程，而其它與之類似的方法在電子學習環境中還沒有應用。也就是說，分類數據集的聚類的本質是基于學生的學習風格。很明顯，不同的學生有不同的學習偏好、學習需求和學習方法，因此，通過學生喜歡的學習環境使學生適應系統并發現更高效的學習方法是非常重要的。學習風格可以定義為學生專注、加工、吸收和記憶新的知識的獨特方式。它們是獨特的個人學習模式，因人而異。根據學習風格類別形成聚類后，標注推薦可用于發現對學生有用的知識。

我們選擇Felder-Silverman學習風格模型[17]應用于E-course。學習風格可通過學習風格指數(ILS)確定，ILS是一個研究學習風格[18]的數據收集工具，其中包含了44個問題，通過對這些問題進行多項的選擇并加以評分可獲取學習風格。ILS評估了個人學習偏好在4個維度上的特征：信息感知、信息接收、信息處理和信息理解。ILS問卷所收集的結果被用來進行適當的聚類，以確定具有相似學習風格偏好的學生群體。初始張量生成的算法如下所示。

算法1：產生初始張量

輸入：三元組列表 <學生(S)，標注(T)，項目(I)>；

學生，標注，項目的維度|S|，|T|，|I|；

輸出：初始張量A

算法過程：

確定一個學生的集合；

fors←0 to |S| do

獲得學生s, 把它加到學生集中

end;

獲得一個學生使用的標注集;

獲得一個被學生標注的項目集;

iniTensor = new double[|S|][|T|][|I|];

intsIndex=0;

fors∈SandsIndex<|S| do

fortIndex←0 to |T| do

foriIndex←0 to |I| do

if 學生標注了一個當前的項目

then iniTensor[tIndex][sIndex][iIndex]++;

end

end

end;

if 當前學生=sthen

StoreEmptyRelations(iniTensor);

End

sIndex++;

End.

1.2.2 張量分解的計算

為了計算張量分解，首先定義初始張量，然后按照以下步驟：首先，初始張量被分成3個模式矩陣；其次，減少每個模式矩陣的維數以簡化矩陣，然后根據簡化的矩陣計算出一個核張量；最后，對矩陣進行變換和乘法運算，計算因式張量。

張量分解算法如下：

算法2：計算張量分解

輸入：初始張量A

學生，標注和項目的維度：C1，C2，C3

輸出：定義映像張量A

把初始張量矩陣A分成A(1)模式，A(2)模式和A(3)模式，為每個模式計算SVD；

計算一個核心張量：減少維數，執行矩陣乘法；

為每個模式(1≤i≤3)產生更新矩陣Ci=A(i)A(i)T

通過使Ci(1≤i≤3) 對角線化計算U(i)

生成特征向量：U(1)，U(2)，U(3)

估計核心張量的近似值：S=A×(U(1))T×U(2)T×(U(3))T

計算映像張量：A=S×(U(1))×U(2)×(U(3))

1.2.3 生成推薦項目列表

標注推薦的過程能夠預測學生喜歡用什么標注來標注一個項目，這意味著標注推薦系統必須預測分解后的張量的數值，說明學生對某一特定標注的偏愛程度。該系統為學生提供了一個個性化的列表，其中包含一個特定項目的最佳N個標注。

教師利用E-course授權的工具，通過E-course系統的標注界面，生成專門的學習資源。在顯示資源的同時，E-course的用戶界面還提供了標注創建和查看每個資源的選項。

E-course中的標注菜單允許學生進行標注活動，如添加注釋、鏈接、更正或加入共享討論，如圖3所示。學生通過選擇學習對象并在適當的文本框中輸入關鍵字來創建標注。E-course允許學生輸入任意多的標注。標注可以用逗號或空格分隔，且不局限于單個詞匯。

圖3 標注菜單

與許多流行的標注系統(只允許單個詞作為標注)不同，E-course允許使用多詞標注。每當學生返回到特定的學習資源時，之前制作的標注列表就會重新出現，如圖4所示。每點擊一個單獨的標注，學生就有兩個選擇：編輯或刪除。

圖4 我的標注列表

其它標注列表表示其他學生最常用的標注。學生可以從其它標注列表中選擇標注，并將其添加到我的標注列表中。如圖5所示。

圖5 其它標注列表

基于標注的推薦算法的對比分析結果，系統可根據學生的需求，計算基于張量因子分解模型的排序，生成“推薦標注”列表，如圖6所示。

圖6 標注推薦列表

2 實驗結果

實驗的目的是分析RTF技術在電子學習中應用標注推薦的適用性，以及比較基于圖和張量的標注推薦方法在電子學習環境中的適用性。

此外，我們還進行了一些實驗，從教師和學生的角度來評估系統的性能。實驗目標是：研究協同標注過程以及標注的位置與其表達能力的相關性；對標注進行語義分析，以更好地理解標注的不同用法；進行專家效度研究，系統驗證學生的知識理解與其標注之間的關系。

實驗是在一個包括200名大學生的教學數據集上進行的。該實驗獲得了河南省某普通大學信息技術專業的支持。實驗在2019年11月進行了一個月。參與的學生是編程初學者，他們均成功地通過了相關的計算機基礎知識課程。

2.1 學習風格聚類

實驗前，學生首先填寫Felder-Soloman ILS(學習風格指數)問卷，以便根據問卷結果將學生分組。問卷包含44個問題，分為4類，分別是感知與直覺、主動性與反思、視覺與語言、部分與整體，代表了不同的學習偏好和風格。問卷確定了120名學生的學習風格，并形成了8個分組，見表1。

表1 基于不同學習風格的聚類結果

為了增加各分組中的學生數量并獲得更多相關的推薦信息，我們省略了一些不重要的類別。每個分組的數據特征見表2。表中給出了學生的數量、學習對象的數量及其標注數、學生標注的平均數量以及每個學習對象被標注的平均數量。

表2 每個分組的數據特征

2.2 評價指標

我們將數據集(即分組)中的一部分作為測試集，用于對構建的模型進行評估，將剩余的部分用于訓練和構建模型。測試集和訓練集各占數據集的20%和80%。選用精度(precision)和召回率(recall)作為模型性能的評價指標，如下所示

(1)

(2)

上式中T(u，i) 為用戶u隨機抽取的項目i的推薦標注集。

precision：表示推薦的相關標注數與N的關系，或前面的列表項數目與N的關系，N為實際的標注數，precision值越高，表明推薦越準確。

Recall：表示學生在數據集的估計部分中所設置的項目數或標注總數中的前N個列表項中推薦的相關標注與標注數N之間的關系，Recall值越高，表明正確的推薦被找的越全。

2.3 實驗設置

在實驗中，首先對待評估的算法進行設置，之后，我們將展示和分析所進行的實驗和評估的結果。為了對所選算法(自適應頁面排名Page-Rank[11]、Folk-Rank[12]、基于標注的協同過濾(CF)算法、高階奇異值分解(HOSVD)算法、RTF排序)進行實驗評估，首先確定每個算法的重要參數的靈敏度，然后確定并使用了這些參數的最優值。實驗分析包括了8個分組中的前4個分組。

Page-Rank算法：參數設置如下：當兩個連續的權向量之間的距離小于10-6時，計算停止。參數d為0.7。在p參數中，我們給用戶和被選擇頁面中的項目賦予了更高的權重。每個用戶標注和項目的偏好權值設為1，而來自該特定頁面的用戶和項目的偏好權值分別為1+|U|和1+|I|。

Folk-Rank算法：和自適應頁面排名算法一樣，我們選擇相同的參數和偏好權值。

CF算法：其鄰域基于user-tag矩陣進行計算。最佳鄰居的數量k是需要在基于CF的算法[13]中進行調優的參數。根據鄰域尺度k，我們研究了其對召回率的影響，鄰域尺度k與標注偏好的生成密切相關。從10到90的鄰域尺度變化對召回率的影響如圖7所示。當鄰域尺度從10增加到30時，推薦器的質量得以相應改善。然而，在尺度為30的鄰域之后，k值的增加并沒有在統計學上起到應有的質量增強作用，且最近鄰居k(NNk)值達到一定程度后，每個用戶的推薦質量就不會因為k的進一步增加而改變。根據這一特點，我們選擇了30作為最優的鄰域規模。

圖7 基于標注的協同過濾算法隨鄰域尺度的召回率

HOSVD算法：由于沒有直接的方法來找到C1、C2和C3最佳值，我們采用了文獻[14]提出的方法：即原X(1)、X(2)和X(3) 矩陣的對角線的70%可以給出很好的近似。因此，C1、C2和C3被設置為奇異值的個數，每次運行時分別保留X(1)、X(2)和X(3) 原始對角線的70%。

RTF算法：根據文獻[15]，我們在 (ku，ki，kt)∈{(8，8，8)} 參數下運行RTF。其它超參數設置為：學習率=0.5，正則化γ=γc=10-5， 迭代次數=500。模型的參數θ由服從正態分布N(0，0.1) 的隨機值進行初始化。

2.4 實驗結果

本節中，我們將分析基于標注的協同過濾(CF)、基于圖的方法(自適應Page-Rank和Folk-Rank算法)以及基于張量的方法(HOSVD和RTF)的預測性能。

Folk-Rank算法是在Page-Rank算法的基礎上發展起來的，能給出比CF更重要的標注推薦，主要原因是Folk-Rank算法能夠通過底層超圖的集成結構，將適合于特定用戶的信息與其他用戶的輸入結合起來。在CF的預測性能方面，采用Page-Rank和Folk-Rank兩種方法，如圖8所示，可以看出Folk-Rank的預測質量最優。除了一般相關標注，與CF相反，Folk-Rank算法能夠預測用戶的最合適的標注，這是由于Folk-Rank算法通過超圖結構考慮了特定用戶的詞匯，這是CF從定義上無法做到的。而且，Folk-Rank方法允許在不對算法進行任何修改的情況下改變模式。此外，Folk-Rank以及基于CF的算法，對于在線更新是魯棒的，因為它不必在系統中出現新的用戶、標注或項目時進行訓練。另一方面，Folk-Rank算法更適合于不需要實時推薦的系統，因為它的計算開銷比較大，而且可伸縮性也不是很好。張量因式分解法適用于大眾經濟學的三元關系，盡管張量重構的階段代價高昂，但它可以離線實現。當計算較低維張量時，可以更快地生成推薦，這使得該算法適用于實時推薦。

圖8 各種方法的預測性能比較

在實踐中，RTF模型比HOSVD模型的預測速度要快得多，這主要是由于RTF模型比HOSVD模型需要更少的維數，而HOSVD對維度數量和用戶、標注和項目維度之間的關系十分敏感，且選擇相同數量的維度會帶來糟糕的結果，而對于RTF方法，是可以為用戶、標注和項目選擇相同數量的維度的。

除了理論分析外，由圖8可見，RTF的預測質量明顯優于HOSVD。同樣，從圖8中可以看出，即使只有少量的8維，RTF也可以達到與HOSVD類似的效果。實驗進一步驗證，當RTF的維數增加到32時，它在預測質量上已經優于HOSVD。此外，每當RTF的維度增加時，就會得到更好的結果。關于Folk-Rank和RTF算法的預測性能，實驗可以驗證，16維的RTF可以獲得比較好的結果，而32維的RTF在預測質量上優于Folk-Rank。

2.5 分析與討論

2.5.1 標注的語義分析

對標注進行語義分析，可以更好地理解標注的不同用法。根據文獻[19]，可以對標注進行如下分類，即：

事實標注。標注可以用來識別一個對象的主題，通常使用名詞和專有名詞(如操作符，循環，數組)或可分類對象的類型(如教程)；

主觀標注。標注可以用來表示對象的性質和特征(例如有用、有趣、困難、容易、可理解、模糊)；

個性化標注。個人經常使用的標注子集，用來組織個人的學習過程。就像自引用標注一樣，這些標注被個人用于學習任務組織(例如閱讀、練習、打印)。

當我們分析這些標注在學生中是如何使用和重復使用的時候，我們發現絕大多數標注是個性化的(48%的標注)和主觀類型的(38%的標注)。剩下的標注(14%)是事實標注。

2.5.2 專家效度分析

為了系統地驗證知識理解與學習過程中的標注的關系，幫助教師評估學生對所學知識的掌握情況，我們用專家標注集設計了測試實驗，并在實驗中比較了從學生那里搜集的標注和本領域的4個專家給出的標注(專家標注集)，專家標注集由171個標注組成。在專家標注集中，我們詳細研究了兩個問題：

(1)使用完整的專家標注集進行模擬查詢，可以找到哪些學習對象？它有哪些相關性(匹配標注的數量)？我們發現匹配的比例是平均44%的專家標注可由學生分配給一個學習對象。

(2)有多少專家指定的標注被應用到學習對象中？結果表明，與學生相比，專家更傾向于抽象和概念上的標注，而學生使用的標注大多都不在專家標注集中。研究結果表明，只有44%的專家標注出現在學生的標注中。

鑒于大多數的專家標注(大約占56%)都不在學生使用的標注中，向學生提供這些標注的作用是值得考慮的。如果專家標注為學生提供的價值有限，那么使用自動標注功能以最小代價創建標注數據集并減少學生的負擔可能更合適。我們注意到，正如文獻[20]所建議的那樣，協同標注具有潛在的教學益處：標注本身代表了專家的專業知識，這表明，在一個協作的層次上，當課程由專家給出時，可以由專家提供一個協同標注集，以改進學生從在線材料中學習知識的能力。

據觀察，電子學習系統由于失去對課堂的控制，教師普遍對這種新的教學方式的教學效果信心不足。通過讓教師積極參與標注的創建過程，可以減少他們對電子學習方式的質疑。與開放的Web網絡不同，教師在電子教學上不僅僅是一個同伴，他們的標注可能與考核更相關，這可能對學生更有用。因此，從這一點來說，標注在電子學習環境中的使用也是十分重要的。

2.5.3 討論

實驗結果表明，協同標注對于學生具有很大的幫助，學生可以觀察專家提供的課程的標注集，以提高從在線材料中篩選主題和概念的能力。教師們對此普遍的看法是積極的，尤其喜歡使用學生的標注數據來改進電子學習系統。利用協同標注能夠直接在系統中對課程進行修改，并且可以與其他教師一起工作和共享信息。

我們研究了系統中每個學生平均標注了多少個學習對象，發現70%以上的學生表現出了很高的積極性，標注的學習對象在60～80個之間。為了了解學生的標注行為，我們對學生的標注特征進行了研究。研究結果表明：如果學生的數量足夠多，并且學習對象接收到的標注也足夠多，那么某一標注被選擇的頻率就趨于穩定。這種穩定性可以在共享知識以及當學生使用其他學生的標注選擇時發揮作用。

我們分析了基于圖的方法(自適應Page-Rank和Folk-Rank)和基于張量的方法(HOSVD和RTF)在我們的電子教育環境中的預測性能。Folk-Rank算法是在Page-Rank的基礎上構建的，它被驗證是比CF更好的標注推薦技術，因為Folk-Rank可以利用適合于特定學生的信息來分析其他學生通過底層超圖輸入的信息。Folk-Rank算法也允許在不對算法進行任何改進的情況下進行模式轉換。Folk-Rank在在線更新方面是魯棒的，因為它不需要每次向系統引入新的學生、項目或標注時都重新應用。然而，Folk-Rank在計算上代價較高，并且不具有可伸縮性，這使得它更適合那些不需要實時推薦的系統。與Folk-Rank相似，張量分解的方法也直接作用于大眾分類法的三元關系。盡管張量重構階段可能代價較高，但它可以離線執行。在計算了較低維張量之后，推薦可以快速完成，使得該算法適合于實時推薦。

我們檢驗了張量分解方法的潛在缺點，即模態變化的性質只能通過最小化相同的誤差函數來完成。例如，HOSVD算法利用重構的張量進行多模態推薦，模式改變簡單。然而，盡管問題可能得到了錯誤的解決：HOSVD減少了最小二乘誤差函數，而社會標注與排名的關系更大。我們只選擇了所考慮的技術的最佳代表，并得出結論：最好的結果是RTF，其次是Folk-Rank，然后是HOSVD。

3 結束語

近年來，推薦技術取得了顯著的進步。許多方法，如協同過濾、混合和基于內容的方法，以及一些“工業級”的系統得到了應用。盡管有這些進步，現代的推薦系統仍然需要不斷地改進，以便在更大范圍內推廣應用。本文提出的協同標注系統，有助于電子學習中的推薦系統的完善和應用。標注有助于學生組織自己的私有集合。此外，標注可以被看作是學生的個人意見，同時隱含了對學習對象的隱式評價或評級。因此，標注信息是有助于推薦意見的生成的。

協同標注是對動態學習內容進行分類、共享和搜索的重要手段。本文研究了協同標注系統的發展前景，詳細分析了具有個性化和主觀性的學習偏好，對學習內容進行了分類，并將協同標注技術應用到Java教學系統中。學生采用協同標注技術，不僅可以更好地理解學習的內容，還有助于提高學習的興趣。我們下一步的研究，將側重于提取學生使用互聯網的經驗，以及學生個人的興趣對標注創建的影響。此外，我們也需要研究是否還有其它因素影響標注的選擇，如學生的情緒或壓力的因素。