考慮雙供應商的維護和備件訂購聯合決策優化

葉鴻慶， 蘇華德， 鄭美妹， 夏唐斌

(1. 上海交通大學 機械與動力工程學院, 上海 200240； 2. 上海江南長興造船有限責任公司，上海201913)

符號說明

a—決策動作

A—決策動作空間，a∈A

c1—常規供應商備件的單位購買價格

c2—緊急供應商備件的單位購買價格

cc—單個零件故障后替換成本

cd—單個零件失效的懲罰成本

cF—零件訂購的固定成本

ch—單個零件的持貨成本

cp—單個零件預防性替換成本

cs—替換的準備成本

C(s,a)—狀態s下執行動作a后的動作成本

f—策略的總成本

g—策略的計算時間

h0—在庫庫存量

hj—j個檢測間隔后到達的備件數量

hj|a—執行動作a后的備件數量

H—系統庫存水平限制

l1—常規供應商的提前期

l2—緊急供應商的提前期

L—失效閾值

mi—零件i的替換決策，1表示替換，0表示不替換

N—系統零件數量

p1,p2—向常規和緊急供應商訂購的備件數量

q—啟發式策略的成本增加率

r(xi)—單個零件的替換成本函數

s—馬爾科夫決策的系統狀態

sa—執行動作a后的系統狀態

S—系統狀態空間，s∈S

T—檢測周期

Vn(s)—系統狀態s在算法第n次迭代時的狀態值

xi—零件i退化值

xi|a—執行動作a后的零件退化狀態

α—零件退化率

ε—算法迭代的誤差收斂因子

制造企業中，設備維護成本是企業總成本的重要組成部分，與維護相關的支出(設備替換和停機成本等)最高可占據生產成本的70%[1].有效的設備維護策略可以減少設備故障時間，是降低維護成本，增強企業競爭力的重要舉措.維護策略中，基于設備狀態的維護(視情維護)策略根據設備退化的實時狀態動態地制定維護決策，從而具有精確性和實時性，逐漸成為維護策略的主流.在視情維護策略研究中，沈南燕等[2]根據關鍵設備的狀態監測數據預估故障概率，在此基礎上建立數學模型，優化了設備的維護時間.De Jonge等[3]針對單零件系統，通過數值實驗比較了視情維護策略和其余維護策略的有效性.侯文瑞等[4]基于相對劣化度建立了視情維護決策模型，并通過算例分析驗證了模型有效性.

大多數維護文獻都假設備件的庫存量始終得到滿足，忽略了備件庫存決策[5].然而實際中，設備維護策略的實施依賴于備件庫存.設備的維護頻率和維護零件數量會根據備件庫存量和訂購量進行相應的調整.備件存量過少會導致缺貨、設備維護頻率降低和設備故障概率增加，存量過多將造成空間和資金的浪費，甚至導致維護頻率增加.因此，企業應考慮設備維護和備件庫存管理的聯合優化.近年來，越來越多的文獻關注兩者的聯合優化.針對單零件系統，文獻[6-8]考慮基于閾值的預防性維護與備件訂購策略的聯合優化，以成本最小化為目標建立數學模型，求解了預防性維護周期、閾值等參數.在單零件系統之外，很多文獻也研究了多零件系統的聯合優化問題.肖羅椿[9]考慮了同類型多零件系統的視情維修和備件供應聯合決策優化，以最小化平均費用率為目標，通過仿真和遺傳算法求解了預防性失效閾值等參數.Zhang等[10]針對視情維護和備件訂購聯合策略，基于閾值進行建模，通過遺傳算法優化了檢測間隔、維護閾值和安全庫存.Olde Keizer等[5]將多臺設備的視情維護和備件訂購策略建模為馬爾科夫決策過程，通過值迭代方法求解了最優的聯合策略.

上述聯合優化的文獻均假設備件從單供應商處訂購，但實際上備件訂購往往面臨價格和提前期不同的多個供應商，決策者需根據設備和庫存狀態選擇有效的供應商進行補貨.文獻[11-12]分析了價格、提前期不同的雙供應商(雙源)訂購模型對庫存決策的影響，相比單源訂購，雙源訂購在成本、補貨速度等方面顯示出了較高的優越性.但上述文獻都忽略了維護對備件庫存的影響.在考慮雙供應商的設備維護策略中，決策者一方面需要平衡備件的訂購成本和設備的故障成本.訂購過多會增加總訂購成本和持貨成本，訂貨過少則易導致備件不足和設備故障.另一方面需要權衡供應商訂購的提前期和價格，例如設備健康狀態下可以向提前期長而訂購價格低的供應商訂購備件，而當設備的零件急需替換時則可以以更高的價格向提前期短的供應商補貨.少數設備維護和備件訂購聯合優化的文獻考慮了價格和提前期不同的雙源訂購模型[13-14]，但均采用閾值控制策略，即當零件退化值或備件庫存水平滿足閾值條件時執行維護或訂購決策.相比于閾值決策，馬爾科夫決策模型能根據設備和庫存狀態信息進行動態決策，在降低成本上往往有更高的優越性[5].

針對以上問題，本文基于價格和提前期不同的雙供應商(雙源)訂購模型研究設備維護與備件訂購聯合決策優化，以多臺設備組成的并行制造系統為對象，以平均總成本最小化為目標，基于離散時間的馬爾科夫決策過程進行建模，通過值迭代方法和啟發式方法進行模型求解.本文創新可主要體現在兩方面.一方面，本文的模型不僅考慮設備維護，還考慮備件的雙供應商訂購，實現了設備維護和備件訂購兩個系統的整體優化，有效降低總成本.而以往的文獻，大多數只考慮設備維護或者雙供應商訂購，未曾考慮兩者的結合.另一方面，本論文設計了啟發式方法求解模型，有效降低了模型的求解時間.以往文獻中針對于馬爾科夫決策過程建立的模型多采用值迭代方法求解.但是，在多設備系統中，考慮雙供應商和備件訂購將導致狀態和決策空間變大，使值迭代方法的求解時間變得很長.針對該問題，本文設計了啟發式策略，有效縮短了求解時間.

1 問題描述

本文以多臺設備組成的并行制造系統為研究對象，研究視情預防性維護和備件訂購聯合決策優化.系統結構參考文獻[15]設置，如圖1所示.

圖1 多設備并行制造系統Fig.1 Multi-unit parallel manufacturing system

每臺設備都包含一個關鍵零件，零件服從退化率為α的泊松退化過程，彼此之間退化過程相互獨立.零件的狀態由退化值xi∈{0, 1, …,L}描述，當零件的退化值到達閾值L時零件故障.關鍵零件的故障將導致設備關閉，造成高額的設備失效成本并應即刻替換，零件可由庫存中的備件替換.當庫存中的備件數量減少時，制造系統需從常規供應商和緊急供應商處補充備件.本文參考文獻[16]假設供應商的提前期為固定值，其中常規供應商的提前期l1較長，但是零件的單位購買價格c1較低.當系統在庫備件量不足以滿足替換需求時，將通過緊急供應商補充需要替換的備件.緊急供應商的提前期l2可忽略，但收取的單位價格c2較高(>c1).系統檢測策略參考文獻[13]采取周期性檢測，檢測間隔為T.決策者在檢測點tk=kT(k=1, 2, …)處獲得設備狀態信息和庫存狀態信息，并做出相應決策.系統的決策包括替換和訂購兩部分.替換分為預防性替換和故障后替換.當零件退化值xi低于故障閾值時為預防性替換，否則為故障后替換.替換后零件狀態恢復至起始狀態.

本文的研究目標為最小化系統的長期平均總成本.總成本由替換成本、故障成本、訂購成本和持貨成本4個部分組成.替換成本包括替換的準備成本cs和每個零件的單位替換成本cp(預防性替換)和cc(故障后替換)，其中替換的準備成本與替換的零件數量無關，當替換發生時發生[10].當設備因關鍵零件失效而故障時，會產生懲罰成本cd.訂購導致的成本包括固定成本cF和每個零件的單位訂購成本c1(常規供應商)或c2(緊急供應商).在決策后，倉庫中的每個備件在下一個檢測間隔間會產生持貨成本ch.

2 維護與訂購策略聯合建模

介紹視情維護和備件訂購聯合決策模型和求解方法.首先通過馬爾科夫決策過程對系統決策狀態、轉移概率等進行建模.之后采用值迭代算法求解最優策略.最后通過序列優化的啟發式方法求得啟發式策略，改進求解效率.

2.1 馬爾科夫決策模型

l=maxl1T, l2T ,

馬爾科夫決策模型是求解序列決策問題常用的方法之一[17].本文采用離散時間的馬爾科夫決策模型對上述系統進行決策建模.根據圖1的制造系統模型，馬爾科夫決策過程可以用狀態、決策、成本和轉移概率表示.系統狀態s由圖1中各臺設備關鍵零件的退化值、在庫庫存量和在途庫存量組成，表示為s(x1,x2, …,xN,h0,h1, …,hl-1)，縮寫為s.其中(x1,x2, …,xN)表示系統退化狀態，xi表示零件i(i=1, 2, …,N)的退化狀態.(h0,h1, …,hl-1)表示系統庫存狀態，hj表示j(j=0, 1, …,l-1)個檢測間隔后到達的備件數量，h0為在庫庫存量.代表備件到達所需的最長檢測間隔數量，其中l2根據模型假設可忽略，設置為0；

x

表示大于等于x的最小整數.

系統動作由替換和訂購組成，表示為a(m1,m2, …,mN,p1,p2)，縮寫為a.其中mi描述是否替換關鍵零件i，mi=1(替換)或0(不替換)，p1和p2依次表示向常規供應商和緊急供應商訂購的備件數量.

(1)

(2)

l=maxl1T, l2T ,

系統的總成本由值函數Vn(s)描述，表示經過算法n次迭代后的累計總成本，由各個階段的動作成本C(s,a)組成.根據Bellman方程[18]，最優值函數的迭代計算公式為

(3)

式中：E(Vn-1(s′))表示經過動作a后系統在下一個決策點的累計總成本期望，即

(4)

2.2 求解算法

上述模型可以通過值迭代算法來求得最優的維護和訂購聯合策略以及最優的平均總成本.在本文中假定當迭代的誤差|Mn-mn|≤εmn時，算法收斂，其中Mn和mn分別為

(5)

(6)

圖2 值迭代算法流程圖Fig.2 Process of value iteration algorithm

值迭代方法是求解馬爾科夫決策模型的最優化方法，可以獲得最優的維護和訂購聯合決策.然而，算法需要大量的計算時間.為提高計算效率，本文采用了一種序列優化的啟發式方法，在保證成本增加率低的同時減少計算時間.具體思想為：將維護決策和訂購決策分離，先優化維護決策，在此基礎上優化訂購決策.對于維護，由于零件相同且相互獨立，本文將系統狀態(多個零件和庫存狀態)分為單個零件和庫存狀態，通過值迭代算法快速求出單個零件的最優維護決策.之后按照零件退化值降序判斷單個零件是否維護.當決定完維護決策后通過枚舉的方法選擇最優的訂購量，得到最終的維護和訂購聯合決策.具體的算法流程如下：

(1) 初始化n=0,V0(s)=0, 輸入T,cp,cc, …,l1.

(2) 根據圖2的值迭代算法輸出單個零件維護決策函數m(xi,h0,h1, …,hl-1).

(4) 計算收斂誤差.若|Mn-mn|≤εmn，算法收斂，輸出最終策略和平均總成本；否則重復步驟3.

上述啟發式算法對于計算效率的改進主要在于減少了計算聯合決策時迭代的次數.值迭代算法中，最優聯合決策通過遍歷所有決策獲得.由于設備維護僅考慮替換決策，每個零件的決策數量為2，則N個零件的維護決策空間規模為2N.采購決策應滿足最大庫存限制，即p1+p2≤H.同時，緊急訂購量應不超過系統零件數量，即p2≤N.所以，采購決策空間規模為HN.綜合維護和訂購決策，值迭代算法每次遍歷的決策空間規模為2NHN.相比值迭代算法，啟發式算法在算法的步驟3中計算聯合決策時，只需遍歷零件個數和訂購決策p1.每輪迭代的次數由2NHN縮短至N+H，從而提高計算效率.

3 算例分析

為了驗證本文所采用的啟發式策略有效性，以2個零件和4個零件的系統進行算例分析.首先以2零件的系統分析最優策略和啟發式策略的決策異同.之后以4零件的系統分析參數(持貨成本、預防性替換成本、訂購成本)的變化對成本和計算時間的影響.

3.1 決策和成本分析

所采用的2零件系統算例參數參考文獻[19]和假設得到，具體參數如表1所示.

表1 算例參數Tab.1 Parameters of numerical experiments

圖3和圖4對比了值迭代算法和啟發式算法在不同庫存狀態下的決策策略.圖中決策表示為“m1m2-p1p2”.前兩位數表示是否替換零件，1表示替換，0表示不替換；后兩位數依次表示向常規供應商和緊急供應商訂購的零件數量.

由圖3(a)～3(c)和圖4(a)～4(c)可知，當在庫量為0時，最優策略和啟發式策略的決策差異小.這是因為啟發式策略主要改變了零件的替換策略.當系統無替換決策時，啟發式策略將采取和最優策略相同的訂購策略.當系統在庫庫存量不為0時，如圖3(d)和圖4(d)所示，隨著零件退化值的增加，當兩個零件的退化值都較高時，系統將會延遲零件的替換動作.零件1由替換變為不替換，而啟發式策略則無延遲替換決策.這是因為多個零件共享備件，零件間的替換決策會相互影響.當備件數量有限且零件的退化值相同時，由于退化的隨機性，難以確定下一決策點零件退化值的高低，此時將替換延遲到下一決策點可以減少設備失效的成本.隨著在庫備件數量的增加，延遲替換決策減少.如圖3(f)和圖4(f)所示，啟發式策略和最優策略的差異逐漸減小，啟發式策略優越性逐漸增加.因此在采用啟發式策略時可以適當增加備件存量，從而減少與最優策略的差異，降低總成本.

圖3 最優決策策略Fig.3 Optimal strategy of value iteration algorithm

圖4 啟發式決策策略Fig.4 Heuristic strategy of heuristic method

表2對比了最優策略、閾值策略和啟發式策略在2零件和4零件系統的平均總成本f和計算時間g.閾值策略采取(Y,y,Lp)策略[20-21]，即當零件狀態達到Lp時執行替換，不足的零件通過緊急訂購p2補充，常規供應商的訂購量p1為

表2 2零件和4零件系統平均總成本和計算時間Tab.2 Average total costs and computation times for two-unit and four-unit systems

其中：h0|a為執行完替換和緊急訂購后的在庫庫存，即h0|a=h0+p2-r.在本次實驗中，選擇Lp=L-1，并枚舉得到最優的庫存閾值(Y,y).由于最大庫存容量為N+2且Y≥y，針對2零件和4零件系統，(Y,y)共有15和28種組合.計算時間基于AMD Ryzen 9 3900X 12-Core@3.80 GHz處理器和Python語言得到.由表2可知，啟發式策略相比最優策略平均總成本有所上升，但成本增加率q小于5%.計算時間上，啟發式策略優于最優策略，尤其是當系統零件數量為4時，計算時間從 5 214 s 減少到了 255 s.對比閾值策略，啟發式策略所花時間更少.同時，由于啟發式策略的聯合決策基于單個零件的最優決策獲得，相比固定閾值策略啟發式策略平均總成本更低.由表2可知，對于4零件系統，閾值策略成本增加率為10.4%，而啟發式策略成本增加率只有1.4%.

3.2 敏感性分析

為進一步分析啟發式策略的有效性，以4零件的制造系統為對象，采用表1的算例參數，對模型中的備件持貨成本、預防性替換成本和常規供應商的訂購成本進行敏感性分析，研究參數對啟發式策略的成本增加率和計算時間的影響，結果如表3～5所示.

表3 ch對啟發式策略平均總成本和計算時間的影響

表3顯示了持貨成本ch對啟發式策略平均總成本和計算時間的影響.當ch較大時，為降低成本，系統會減少備件存量.多個零件共享備件，根據圖3和圖4的決策分析，備件庫存減少時維護策略的影響增加.啟發式策略的替換策略相比最優策略會帶來更多的成本.因此，隨著ch的增加，啟發式策略成本增加率增加，說明啟發式策略更適合于ch小的場景.計算時間上，啟發式策略的求解時間顯著優于最優策略，相似的結果如表4和 5所示.

表4顯示了預防性替換成本cp如何影響啟發式策略的優越性.設備替換存在準備成本，從而零件退化狀態間存在依賴，同時替換多個零件會傾向于降低總成本.當cp較小時準備成本影響較大，維護的依賴性更強.啟發式策略根據單臺設備的狀態判斷是否維護，忽略了設備之間的依賴性，導致成本增加率較大.同時，當cp增加時，系統會減少備件庫存，替換策略對總成本的影響增強，從而啟發式策略的成本增加率將增加，優越性減弱.

表4 cp對啟發式策略平均總成本和計算時間的影響

表5顯示了常規供應商的單位訂購成本c1對啟發式策略優越性的影響.備件的訂購存在固定成本.當c1較小時，固定成本的影響較大，系統訂購的頻率降低，從而替換策略的影響增大，啟發式策略有更大的成本增加率.當c1逐漸增加至靠近緊急供應商的訂購成本c2時，系統會減少向常規供應商的訂購頻率，替換策略影響增強，啟發式策略成本增加率會隨著c1的增加再次增加.

表5 c1對啟發式策略平均總成本和計算時間的影響

4 結語

針對雙供應商情形下的多零件設備維護和備件訂購聯合決策問題，建立了基于馬爾科夫決策過程的預防性維護模型，基于設備狀態和庫存狀態信息進行維護和訂購聯合決策優化，通過值迭代算法求取了最優的聯合決策策略.在此基礎上設計了啟發式的設備維護和備件訂購聯合策略，在平均總成本增加率在一定范圍(5%)內時減少了策略求解時間，通過算例分析驗證了啟發式策略的有效性.

針對拓展方向，將從以下兩個方向拓展：① 本文僅考慮替換，在替換之外，可以引入小修、大修等維護動作，包括機會維護等策略；② 本文考慮并行的制造系統，在此基礎上可以考慮串聯以及k-out-of-n架構的制造系統.