基于遷移學習的軟件缺陷預測技術研究

蔣蘭華

(煙臺汽車工程職業學院 招生就業處，煙臺 265500)

0 引言

軟件復雜度隨著實際需求的不斷提高而隨之增大，進而增加了軟件中隱藏缺陷的概率，易對應用該軟件的生產、生活帶來不利的影響，因而對軟件質量的重視程度逐漸提高，將軟件缺陷問題前置，若軟件中存在的缺陷在軟件開發過程中能夠被發現并加以修復，就能夠對有限的測試資源進行合理有效的分配，通過對源代碼文件進行挖掘和文檔的開發是常用的軟件缺陷預測手段，對新軟件模塊的預測過程需通過缺陷預測模型的構建實現，對足夠多的歷史訓練數據缺乏合理有效的利用。

1 軟件缺陷預測技術分析

作為軟件工程領域最為活躍的一種技術，軟件缺陷預測技術(包括靜態的和動態的兩種缺陷預測技術)在軟件開發過程中通過對軟件進行自動的度量、統計及分析從而實現預測潛在軟件缺陷的功能，有助于對軟件質量進行分析，同時對軟件成本進行平衡，該領域的研究重點在于對軟件代碼進行靜態度量分析，近年來在軟件缺陷預測方法中逐漸融合了統計方法和機器學習技術，具有代表性的有線性判別分析、布爾判別函數、聚類分析等，這些方法過于重視靜態代碼缺少對動態代碼的關注。Kim等提出的故障預測技術以代碼歷史改變為依據，進行訓練時將其作為分類器的輸入，使有限的代碼資源得以充分利用從而顯著提升了預測性能[1]。

但是分類或回歸技術的缺陷在于：對于新的項目由于擁有的訓練樣本較少，在對其進行缺陷預測時，訓練準確模型的難度較大；另外一個項目的各子項目通常具有較大的相似性，訓練的缺陷預測模型難以在進行其他相似項目預測時直接使用，例如對于項目的缺陷分類器已完成了大量C#編寫的訓練，通常在面臨新的java項目時，需在當前項目下通過有限的樣本標記的利用完成對分類器的重新訓練，缺少對不同項目間的相關性的重視程度，由于項目內部具有相同的程序設計及算法機理(只有語言不同)，兩者間的相關性較強，若在此基礎上進行遷移訓練能夠使模型訓練所需的樣本數得以顯著降低，進而使預測精度進一步提高。

2 基于遷移學習的預測方法

開發軟件過程中為提高軟件質量及可靠性，軟件測試是不可或缺的階段，為發現和修復缺陷，對規模和復雜度不斷提高的軟件進行全面的測試時所需成本較高，通過使用軟件缺陷預測技術能夠對潛在的軟件缺陷模塊進行提前定位，協助相關人員對有限的測試資源進行合理分配，降低成本，從而提高軟件質量。

2.1 問題定義

假設源項目的邊緣特征分布由P(Xs)表示簡寫為P，目標項目的邊緣特征分布由Q(XT)表示簡寫為Q，P、Q在不同風格的項目中表現也不同，但在項目具有較高相似性的算法流程和程序設計方式時P、Q兩者間同樣會具有較大的相似性，本文用距離對其進行表述[2]，P和Q的距離表達式如式(1)。

(1)

全局的核希爾伯特空間由H表示，需找到一種映射(由φ表示)，以使數據分布差別在φ(Xs)和φ(XT)間最小，為達到更大的預測精度，分類模型(由f表示)可以在φ(Xs)和Ys上訓練，同時對φ(XT)進行預測[3]。表示如式(2)。

minDist(φ(Xs),φ(XT))+λR(φ)

s.t.constraintsonφ(Xs) andφ(XT)

(2)

2.2 方法原理

在對上述數據分布距離度量及優化問題定義進行分析的基礎上，能夠獲取一個優化問題的具體描述：在核希波爾特空間里，φ(x)：X→H，函數f的表達式如式(3)。

f(x)=<φ(x),f>

(3)

在此基礎上映射后的數據分布間的距離表達式如式(4)。

(4)

接下來為使映射后的數據分布間的距離最小化，需找到一個通用核函數的特征映射(由k表示)，源數據Xs經通用核函數k定義后由Ks表示得到的混合核矩陣，源數據XT經通用核函數k定義后由KT表示得到的混合核矩陣[4]，則(4)式可重新定義如式(5)—式(7)。

(5)

(6)

(7)

(8)

2.3 缺陷預測流程

將遷移學習方法應用到軟件工程數據中完成缺陷預測時，具體的軟件缺陷處理流程如圖1所示。

圖1 缺陷預測流程

在軟件代碼實例中預測對象表示一個待預測單元，預測對象通常可選取文件、方法或一個模塊表示，由于單個文件在多種語言編寫程序種獲取方便且利于統計，因此本文實際的預測對象選取了單個文件，接下來針對軟件代碼庫的數據需對其進行包括提取特征、維度約減、數據歸一化等在內的預處理，本文在進行實驗時采用標了準數據集，并采用最大最小值歸一化表示式(9)。

(9)

為使兩者距離最小，將源代碼和模板代碼按照上文方法完成在新的空間的統一映射，以歸一化后的數據為輸入完成半正定規劃問題的求解，進而獲取降維處理后的數據表示，此過程即為模型遷移；完成模型遷移后，進行模型訓練時利用所獲取的源代碼庫和目標代碼庫的數據，本文的分類器采用logistic回歸模型，該回歸模型在軟件工程領域應用廣泛易于獲取且簡單分類效果實現較好；完成訓練完模型后，用模型遷移的方法將新的實例數據完成到相同空間的映射，再通過分類器的使用完成預測結果的獲取[5]。缺陷預測算法歸納如下：

輸出：項目數據集的標記集合YT；

3 軟件缺陷預測技術檢測與分析

為了驗證基于遷移學習的軟件缺陷預測算法的有效性，選取兩種基準算法進行比較：單項目缺陷預測(singlepred)：行訓練和預測對象只針對新的項目，完成某個項目數據的選取，用于訓練的數據和用來測試的數據各一半，重復15次實驗后取平均值；多項目無遷移缺陷預測(MultiNonTransPred)：對已有的項目訓練分類器進行充分利用，將其用于新的項目的缺陷預測中[6]；本文多項目遷移缺陷預測方法(MultiTransPred)：在新的空間上完成源項目和目標項目的數據映射，目標項目數據的預測則在新空間上完成。本文的測試數據集為在AEEEM(共包括項目5個、度量值26種)數據集中選取了3個項目，進行遷移訓練時從中選取3個項目，具體項目及其描述如表1所示。

表1 選取的項目介紹

部分屬性度量如表2所示。

表2 部分屬性度量信息

檢測過程中缺陷預測的分類器選擇常用的Logistic回歸模型，對3種方法分別進行訓練，在3個不同項目下對3種方法的分類性能(F—1值)進行對比，預測性能對比結果如表3所示。

表3 不同算法的分類性能

檢測結果表明：采用原有的模型對新項目進行預測的多項目無遷移缺陷預測方法的訓練效果表現不佳，單項目缺陷預測方法受到有限的訓練樣本的限制，其訓練效果相對好些，本文方法的分類效果顯著提升，相比另外兩種方法分類效果始終保持在最佳狀態，證明基于遷移學習的軟件缺陷預測方法的實用性較高，尤其適用于對新項目進行預測，能夠使軟件缺陷預測效果得以有效提升。

4 總結

本文主要研究了軟件缺陷預測技術，為提高傳統預測方法對小規模訓練數據的利用效率，提出了一種預測技術以遷移學習為依據，利用降維遷移學習的思想，預測新項目時可對已有的項目進行充分利用，針對源項目和目標項目具體通過間二者間公共特征空間的搜索，使數據分布距離在兩個項目間最小，模型訓練在此公共空間完成從而實現遷移分類的效果，檢測結果表明該方法在實際軟件缺陷預測任務中，對軟件缺陷的預測性能更好，提高了原始訓練數據的利用效率，具備較高的實用性。