基于PTA平臺的編程能力評估算法

申曉倩，林曉霞，李環宇，徐燕妮

（山東科技大學智能裝備學院，泰安 271000）

0 引言

PTA（programming test assessment）是由浙江大學主導，杭州百騰教育科技有限公司管理運營的程序設計類輔助教學平臺［1］。當前，PTA平臺被越來越多的高校和機構采用，截止目前，該平臺注冊用戶近400 萬，由1086 所高校共創，9100 多位優秀教師建設，近28 萬道高質量題目供學習、練習。平臺覆蓋百余門課程，支持20萬人同時在線，在平臺上，教師可以創建自己的班級、創建自己的題目集、布置作業等。PTA 平臺支持多種編程語言，如C、C++、Java等。它提供了豐富的題庫，包括基礎算法、數據結構、網絡編程、操作系統等方面的題目，以及各種比賽和練習題目。學生可以通過PTA平臺直接提交代碼，進行在線編譯、運行和評測。PTA 平臺旨在提供一個高效、公平、準確的評測環境，評測結果會及時反饋給學生，幫助練習者及時發現問題、糾正錯誤，幫助學生提高編程能力和解決問題的能力。

數據挖掘技術是一種利用自動或半自動的手段挖掘出隱藏在海量數據中的對我們研究有用的信息的技術。數據挖掘技術包括分類、聚類、關聯規則、異常檢測等方法。其中，分類是將數據分成多個類別的過程，聚類是將數據分成多個相似的組的過程，關聯規則是尋找數據之間的相關性，異常檢測是檢測與預期結果不符合的數據。

在數據挖掘技術的應用中，需要使用到各種算法和工具。這些算法可以用于關聯、預測等，例如，決策樹、神經網絡、支持向量機等算法［2］通常用于分類和預測；K-means、DBSCAN等是常見的用于聚類的算法；可以用于關聯規則挖掘的算法包括Apriori、FP-growth 等算法。同時，在進行數據挖掘的過程中，還需要熟悉經常使用到的各種數據挖掘工具，如RapidMiner、KNIME等。

本文采用數據挖掘的相關技術，借助PTA平臺對高校學生的編程能力進行評估。

1 數據清洗

從PTA 平臺采集完數據后，需要對采集到的學生學習記錄數據進行處理，去除無效數據、異常數據，并對數據進行標準化，使得數據可以被后續的算法所使用。數據處理過程中需要注意數據的質量和準確性，以確保數據的可靠性和有效性，避免對后續的數據分析和模型構建產生干擾。

（1）處理異常數據。主要是對成績單數據進行清洗，對缺失數據進行處理，在Navicat 中利用篩選功能處理數據，成績單中“缺考”的學生記錄直接刪除，對于試題總分缺失的學生記錄，用該套試題的學生得分平均值補充；練習試題通常分為選擇題、判斷題、函數題以及編程題，若某一類型題目得分數據缺失，不采取將該條數據刪除的方法，而是用該條樣本的其他題型的平均得分進行填補，本文使用均值插補法［3］，均值插補的原理是用待插補數據集的所有非缺失部分的均值替代每個缺失值，從而得到完整的數據集，避免大量數據的損失。

（2）進行數據規約［4］。主要是通過減少特征維數和數據規模的方式去掉一些不重要的信息，本文刪除了用戶組、姓名等與研究無關的變量，留下與編程能力相關度較高的特征作為評價指標，分別為耗時、總分、選擇題得分、判斷題得分、編程題得分和試題難度系數。

（3）數據標準化。是將數據進行無綱量化，使處理后的數據度量相同，將學生數據轉換為統一的標準格式，以方便后續算法進行處理和分析，為了實現評估數據的集中和便于觀察，對選擇的數據進行歸一化處理。本文用minmax 方法［5］歸一化指標數據，將數據的取值范圍規范到［0，1］，便于處理和計算，提高指標數據間的可比性。

2 定義和處理數據集

2.1 定義數據集

建立基礎知識掌握情況集，確定基礎知識掌握程度集，該程度集在面對不同的學生對象時，可以靈活掌握。本文為方便起見，將程度集分為三個等級，不掌握、半掌握和完全掌握，分別用［0，0.2］、［0.2，0.6］和［0.6，1］與這三個等級對應，具體見表1。編程實踐能力評價等級分為強、較強、一般、弱、很弱五個等級，由于數據經過歸一化處理后評價指標都介于［0，1］，所以評價等級也在［0，1］，規定區間［0.80，1.00］、（0.60，0.80］、（0.40，0.60］、（0.20，0.40］、（0，0.20］分別與上述評價等級一一對應［6］。規定編程實踐能力評語集為V={}強,較強,一般,弱,很弱，見表2。在定義指標集之前，首先確定評價指標，根據規約后得到對學生學習狀況評估有較重要影響的指標，即選擇題得分、判斷題得分、函數題得分、編程題得分、總分、耗時，及試題難度系數七個評價指標。以客觀題得分情況來表示基礎知識掌握情況，客觀題有選擇題和判斷題，以函數題和編程題作為評估編程實踐能力的評價指標。

表1 基礎知識掌握程度評價等級

表2 編程實踐能力評價等級

在研究規定評價指標集S={S1,S2,S3,S4,S5,S6,S7}其中S1是總分，S2是耗時，S3表示判斷題得分，S4是選擇題得分，S5是函數題得分，S6是編程題得分，S7是試題難度系數。規定指標權重集為Ws=[W1,W2,W3,W4,W5,W6,W7] 。定義指標權重集后，接下來就需要計算指標權重。

2.2 計算評價指標權重

指標權重的計算采用熵權法，這是根據某一指標的變異程度進行權重分配的方法。根據熵值進行指標權重計算時，如果指標的熵值較小，則表明其變異程度大，其權重也就越大。

2.2.1 求各個指標的信息熵

本文經過數據預處理后，有72個評價對象，7 個評價指標，設原始評價矩陣歸一化后的評價指標矩陣其中xij表示第i個對象的第j個評價指標的值，bij是歸一化后無量綱的第i個對象的第j個評級指標。根據信息熵的概念，可得公式（1）和公式（2）。

根據公式計算可得pij矩陣，局部矩陣展示如圖1所示。

圖1 局部矩陣示意

通過公式計算得到7個評價指標的信息熵為H1= 0.876，H2= 0.802，H3= 0.902，H4= 0.898，H5= 0.7591，H6= 0.7107，H7= 0.9034。

2.2.2 計算各個指標的權重

根據以上信息熵的公式，計算得到7個指標的信息熵值后，采用公式（3）計算可得到權重，公式（3）如下：

其中，j= 1,2,3,4,5,6,7并且

通過計算得到評估指標權重的具體值，見表3。

表3 評估指標權值

3 BP神經網絡模型結構的確立

本文是通過訓練BP 神經網絡模型［7］來評估學生的編程能力，要確定BP 神經網絡的結構，就需要確定三層的節點數。針對該系統，輸入層有7 個神經元，輸出層有2 個神經元，因此，確定隱含層的節點個數是明確BP 神經網絡模型結構的關鍵，對于隱含層節點個數的計算通常采用經驗公式（4）：

其中，l表示隱含層節點個數，n為輸入層節點數，m為輸出層節點數，α為［1，10］之間的常數。

通過公式（4）可得該隱含層節點個數取值范圍為［4，14］，采用試湊法對不同數量的隱含層神經元個數進行測試，最終得到最佳隱含層神經元個數是9。即確定了該神經網絡的結構為輸入層節點數為7，隱含層節點數為9，輸出層節點數為2，因此，確定7-9-2 型BP 神經網絡。如圖2所示，建立了BP神經網絡模型［8］。

圖2 BP神經網絡結構

4 確定隱含層函數

本文采用tansig 函數和logsig 函數分別作隱含層的傳輸函數和輸出層的轉移函數，如式（5）和（6）所示：

輸入層到隱含層函數如式（7）和（8）所示：

其中，xi表示輸入層中第i個神經元的輸入，wij表示輸入層中第i個神經元和隱含層第j個神經元之間的連接權值，netj是指隱含層第j個神經元的輸入，yj表示隱含層第j個神經元的輸出。

隱含層到輸出層函數如式（9）和（10）所示:

其中，vj表示隱含層第j個神經元與輸出層神經元之間的連接權值，O1是輸出層神經元的輸出，net1表示輸出層神經元的輸入。

5 BP神經網絡訓練

該系統模型訓練的流程［9］如下：首先，輸入訓練樣本，本文選取了7 套題，共500 條記錄，以400 條編程數據為訓練樣本，100 條數據作為測試樣本。然后，設置網絡參數，初始最大迭代次數設置為40000，目標誤差為1e-004，訓練樣本數據進行學習，通過不斷調整網絡權值和閥值，使得評估模型達到一個穩定的狀態，當神經網絡達到目標誤差或者達到最大迭代次數時訓練可以結束。

在進行模型訓練之前，首先要確定綜合評價值，通過公式（11）計算綜合評價值，將其作為期望輸出。

采用絕對誤差來測量神經網絡輸出的真實值與預期值之間的偏差，絕對誤差是真實值與預期值之間差的絕對值，通過對比兩者之間的絕對誤差，編程實踐能力測試結果和評價等級見表4。

表4 BP神經網絡測試結果與誤差

由表4 可知，該系統BP 神經網絡的真實值與預期值的最大絕對誤差為0.0072，最小值為0.0000，誤差值十分接近，能夠比較準確地對學生編程能力進行評估。因此，采用基于熵權的BP 神經網絡模型對學生學習狀況進行評估是可行的。

6 結語

本研究采用了BP 神經網絡算法，神經網絡結構為7-9-2 型，可以對學生的學習狀況進行分類和預測，幫助教師和學生對學習狀況準確評估，對教育信息化發展具有現實意義。即學生總得分、選擇題得分、判斷題得分、函數題得分、編程題得分被賦予權重后，可以得到準確的評估結果，這些與學習狀況評估都有關系。該系統的評估結果可以為教師和學生提供有價值的參考信息。教師可以根據該評估系統準確了解學生的學習狀況和問題，從而有針對性地為學生提供建設性建議，真正起到幫助學生提高學習效果和成績的作用。當然學生也可以通過結果了解自己的編程能力，為下一步深入學習做好計劃。