基于改進殘差網絡的多準則備件分類方法

劉夢飛, 周 偉, 李西興

(湖北工業大學機械工程學院, 湖北 武漢 430068)

隨著農業科學技術的不斷進步,大型生產機械越來越得到廣泛應用。要保證工廠中大型生產機械的正常運轉,備件的供應保障就顯得尤為重要。當大型機器出現故障以后,能否快速恢復生產,主要取決于庫存部門備件的種類和數量。分類已經成為了備件管理的一項重要技術,它可以為決策者的策略提供可靠的理論依據[1,2]。備件分類已經被學者們廣泛研究,在傳統的分類方法中,被廣泛運用的是Pareto提出的ABC分類法,使用年度總成本對備件進行分類,沒有考慮庫存周轉率的問題,不能滿足企業的生產要求[3]。類似的VED分析則是基于經驗豐富的專家來簡單定性的決策方法,過于主觀,不能完全反映備件的管理要求。良好的備件分類應該是一個評價體系[4]。Hadi-Vencheh[5]等基于Ng模型,采用非線性優化算法計算系統中各備件的權重,作為計算各備件總分的基礎。雖然基于多準則分類的方法在某些方面是有效的,但是由于其矩陣分配的主觀性和學習能力的有限性,在實際應用中無法實現有效的備件的分類[6]。

為了解決多準則模型在權重分配和學習能力方面的缺陷,學者們嘗試優化啟發式智能算法,如人工神經網絡[7]、遺傳算法、支持向量機[8]及其組合等。Partovi[9]等在神經網絡中使用反向傳播和遺傳算法來實現可靠、準確的庫存分類。Liu[10]等根據某鋼鐵企業的多屬性的實際需求,運用模糊神經網絡和決策樹相結合的方法對備件進行了分類。Yang[11]等采用深層的卷積神經網絡對船舶備件進行了多準則的備件分類,對關鍵部件的監控和庫存控制提供了決策支持。基于智能或啟發式算法的模型可以處理非線性的樣本數據,但是選取了過多的分類屬性一方面會導致算法的參數過多,另一方面,沒有考慮圖像提取時各屬性間的關聯性和差異性,造成機械堆疊從而使分類結果不理想[6],

以上模型在備品備件分類方面均取得了成果,但在當前備件領域仍面臨著如下問題:無論是多標準還是傳統的人工神經網絡都不能為決策者提供直觀的、視覺上的可視化數據;另外選取了過多的屬性很容易造成參數過多,程序繁瑣。此外沒有考慮各屬性間關聯性和相似屬性間的差異性也會造成分類結果不準確。因此,本文提出了一種基于改進的殘差網絡的多準則備件分類的方法來解決上述存在的問題。首先通過數據預處理將備件信息轉換為具有時間維度的彩色結構圖像,將圖片輸入網絡模型以后會自動得到分類結果。解決了多準則分類中主觀性和學習能力差的問題。此外殘差模塊中的SENet結構,加強了各個特征提取通道之間的聯系,提高了備件的分類準確率。

1 基于殘差網絡的備件分類方法

備件的需求量受多種因素的綜合影響,基于歷史需求數據和備件對設備的重要性,運用科學的方式對數據進行分析,對備件的每個屬性進行數據的預處理,將每一個備件的信息轉換為彩色結構的圖像,最后利用卷積神經網絡對備件進行分類。轉換成的圖上具有時間維度,可以很直觀地看到備件各個屬性在某個時間段的具體情況。

1.1 多準則的選取和數據的預處理

備件的分類準則影響著備件的分類結果,合理的備件分類準則必須能全面反映備件對生產流程的影響程度,備件的價值以及獲得該備件的難易程度,所以本文根據獲取難度、可替換性、關鍵性、脆弱性、經濟性五個方面[12-13]確定了備件分類的準則,其中主要考慮經濟性指標,詳細信息如圖1和表1所示。

圖1 備件分類影響因素

表1 備件分類的多準則選取

(1)

(2)

1.2 殘差網絡結構

He[14]等提出了殘差神經網絡(residual neural net work ,ResNet),隨著各種硬件性能的提升,傳統的卷積神經網絡模型結構越來越深,出現了梯度消失和爆炸的問題,從而導致網絡深度越大效果反而不好。殘差網絡成功地解決了這個問題。

神經網絡的深度很重要,網絡越深,它所提取的特征就越多,層次越豐富。殘差模塊(residual building block , RBB)是Resnet的核心,傳統的卷積神經網絡深度增加到一定值時,精度趨于飽和,深度一旦再增加會迅速出現網絡退化的現象。而Resnet在增加層數的方式是在淺層網絡上疊加恒等映射,構建的殘差模塊如圖2所示。當得到的結果不滿足要求時會被舍棄,滿足要求時則會被保留如式(3)(4)所示。當卷積層的輸入和輸出的維度相同時則會直接輸出,當維度不同時,則會使用1×1的卷積核來升維或降維來達到輸出的條件,并能夠減少大量參數的輸入。

y=F3(x)+x

(3)

y=F3(x)+H(x)

(4)

圖2 深度殘差學習模塊

2 改進的殘差網絡結構

2.1 激活函數

ReLU作為最常見的激活函數,當輸入的圖像不滿足要求時,這類值就會被舍棄,會影響模型對備件分類的準確率。利用LReLU作為激活函數來解決這個問題,其如公式(5)所示:

(5)

其中,x和y是LReLU激活函數的輸入和輸出;實驗證明α的取值范圍在0～0.5時效果最好。

2.2 擠壓和激勵的網絡結構

為了增強各個通道之間的聯系,提高模型的性能,He[15-16]等提出了擠壓和激勵的網絡結構(SENet)。擠壓的結構就是為了得到一個全局感受野的實數,將每一個特征圖進行壓縮,具體如公式(6)所示:

(6)

其中:xi為第i個特征圖,其輸入的尺寸為H×W。

為了幫助捕獲通道相關性,生成對應通道的權重,可以進行激勵操作。其如公式(7)所示:

y3i=F3ex(F3sq(xi),ω)=σ(ω2δ(w1F3sq(xi)))

(7)

其中:F3sq表示擠壓操作過后的輸出值,ω1表示第一個全連接層計算,ω2表示第二個全連接層計算。δ表示激活函數ReLU;σ表示Sigmoid激活函數,具體公式如(8)所示:

(8)

其中:x表示經過兩次全連接的輸出值。

2.3 交叉熵損失函數

Softmax一般作為最后輸出層的激活函數,具體公式如式(9)所示:

(9)

其中:n表示分類任務標簽的個數,xj表示上一層的第j個輸出,y3j表示第j個預測值。

2.4 改進的殘差模塊

原本的殘差網絡是在增加網絡層數的基礎上疊加恒等映射,符合條件的保留,不符合條件的舍去。改進的核心部分是在殘差模塊的第二個卷積層之后添加了SENet結構,它可以通過自動獲得每個通道的重要性,增強各個通道之間的聯系,與上一層的卷積層的輸出結果相乘,從而得到提升模型性能的目的(圖3)。

圖3 改進的殘差模塊

2.5 改進的殘差網絡模型

本文根據原有的Resnet-34模型的基礎上進行了改進,改進的備品備件分類的殘差網絡模型如圖4所示,將上文所述的備件屬性圖像作為輸入,備件的屬性圖像會依次經過卷積層(Conv)、最大池化層(Pooling)、改進的殘差模塊(RBB)、Dropout層(為了防止參數過多造成的過擬合問題)、全連接層(FC),最后通過softmax函數輸出備件的分類結果。

3 實例分析

3.1 實驗背景和數據來源

為了驗證該算法模型的可行性,實驗背景以某拖拉機集團的備件管理系統為基礎。拖拉機廠是典型的長期設備系統,在整個使用周期內,它們需要定期的修理和保養。一般生產拖拉機的設備備件高達上萬種,其維修備件也能達到上千種,繁多的備件種類使得庫存管理成本逐漸增加。在第二節中我們已經說明了備件的多準則的選取和數據預處理的過程,模型構建完后,在專家的建議下,最終的目標輸出分為A、B、C、D四類。A類備件的庫存成本很高,但很少需要。但是這些備件一旦缺少會造成很大的經濟損失。B類備件的庫存成本也很高,但是沒有A類高,并且B類備件更換頻繁。所以保證B類備件的庫存數量和保證供應是至關重要的。C類備件指那些定期訂購的,作為維護的正常消耗的一部分,庫存成本一般,供應難度也不大。D類備件是對運行影響不大的日常消耗品。

圖4 本文的網絡模型 圖5 8號備件的信息圖片

如表2所示,是某大型生產設備8號備件的原始數據,根據管理系統的信息得知該備件屬于C類備件,經過數據預處理以后,會得到如圖5所示的備件信息的圖像。根據圖像可以很直觀的看到備件每個屬性在某個時間段的趨勢變化。在本文實驗中,在備件管理信息系統中導出了標注備件1000個,A類100個,B類450個,C類250個,D類200個,將所有的備件數據轉換成圖像并保存,數據集按照3∶1∶1分為訓練集、驗證集和測試集。

表2 8號備件的原始數據

3.2 模型結構參數設置

表3 模型參數設置

3.3 實驗算法流程

基于改進的殘差網絡模型的備件分類方法的算法流程圖如圖6所示,從管理信息系統中導出1000個標記的備件作為原始樣本,并將其劃分為600個訓練樣本、200個驗證樣本和200個測試樣本。每一個備件的信息都會進行數據預處理,并轉換成全年的指標圖像。輸入的圖像經過本文的網絡模型的殘差模塊以后輸出一個7×7×512的一個特征向量,經過平均池化以后輸出一個1×1×512的一個特征向量,全連接層會將特征向量降維到1×4,利用softmax函數來獲得最終的分類結果。在模型訓練期間,比較實際輸出與預期輸出之間的誤差。當誤差不滿足要求時,反向追蹤模型的權重。當誤差滿足要求時,輸出訓練模型。在驗證過程中,模型會使用驗證子樣本,評判模型的改進效果。模型測試主要是將測試樣本作為模型的輸入,通過訓練模型實現備件的分類。

圖6 本文的算法模型

3.4 實驗結果與分析

經過改進殘差網絡模型的訓練會得到如圖7和圖8所示的訓練集和驗證集的準確率和損失率的曲線圖。從圖中可以很容易的看出,在訓練過程中,隨著epochs的不斷增加,訓練集的準確率曲線逐漸收斂,并趨近與1;驗證過程中隨著epochs的不斷增加,其準確率雖然有所波動,但是收斂趨勢表現良好,并最終接近于99.69%左右。損失曲線,驗證集的損失率收斂趨勢也表現良好,并最終收斂于0.008%左右。

構建的模型對額外的200張備件信息圖進行測試,并采用指標查全率r和查準率p來評價其性能如公式(10)和(11)所示:

(10)

(11)

其中TP為真陽性,被正確分類為陽性,FN為假陰性,被錯誤分類為假陰性,FP假陽性,被錯誤分類為陽性,每個類別的測試精度如公式(12)所示:

(12)

其中TN是一個真正的負數,被正確地歸類為負數。FP、TP、TN、FN的分類結果見表4,由表4可知,A類備件的識別準確率為95%,B類的準確率為97.78%,C類識別準確率為100%,D類識別準確率為97.5%。實驗的r、p結果見表5,由上述結果可以證明該模型可以得到理想的分類結果。并且,后續如果有新的備件引入,可以利用該網絡備件對其進行分類以后再入庫。

圖7 模型訓練和驗證的準確率曲線

圖8 模型訓練和驗證的損失率曲線

3.5 模型對比

為了驗證網絡模型改進部分對備件分類的準確率是否有提高作用,設置了三個變量。第一個變量是沒有加入Dropout;第二個變量是使用了ReLu激活函數;第三個變量是不使用改進的SENet的殘差模塊。實驗結果如表6所示,由圖中可以看出直接使用ResNet模型的效果最差,表明不做任何改進的遷移學習對備件的識別率誤差最大。可見每個改進部分都提升了模型對備件識別的準確率。相對于原有的ResNet的模型準確率提升了14.57%。證明改進效果還是比較理想的。驗證了本文的模型可以對大型生產設備備件實現精準分類,可以為企業的庫存策略提供良好的決策支持。

表4 FP、TP、TN、FN的分類結果

表5 r、p的分類結果 %

表6 不同模型的識別準確率

4 結論

本文針對傳統的備件分類方法過于依靠設計者的經驗知識,沒有一定的學習能力和泛化能力等缺點,提出了基于改進的殘差網絡的多準則的備件分類方法。通過對某拖拉機集團備件數據的實驗,證明了本文提出了分類方法的有效性和合理性。

1)本文采用的殘差網絡結構將傳統的分類問題轉換為了圖像識別問題,實現了備件可視、準確的分類。構建了考慮無限準則的分層分類結構,并根據實際情況進行調整。解決了傳統ABC只采用單一指標分類的局限性。加入了SENet結構,解決了因分類準則過度而造成的數據機械堆疊的問題。

2)經實驗驗證,本文的分類效果可以滿足企業的備件分類要求,可以提高庫存效率,更好地為決策者提供備件的管理依據,提高服務質量。

3)該分類方法,由于很好地加入了時間維度,可以為后續基于時間序列的預測模型對備件需求進行預測,精準補貨,使精準庫存管理成為可能。