機器學(xué)習在網(wǎng)絡(luò)管理系統(tǒng)中動態(tài)資源分配的應(yīng)用研究

林逍

摘 要：通信網(wǎng)絡(luò)的發(fā)展將網(wǎng)絡(luò)的維護和操作變得復(fù)雜化，在網(wǎng)絡(luò)管理中減少人工操作有利于提高效率，規(guī)避錯誤。隨著人工智能技術(shù)的發(fā)展和網(wǎng)絡(luò)設(shè)備的智能化，網(wǎng)絡(luò)管理的智能化將逐漸成為可能。

本文首先提出網(wǎng)絡(luò)管理系統(tǒng)智能化需求點：動態(tài)資源分配。要實現(xiàn)的是對信道資源的合理分配，以降低全網(wǎng)小站申請、占用資源的平均時間。

本文對動態(tài)資源分配問題的模型進行抽象，據(jù)此仿真搭建了神經(jīng)網(wǎng)絡(luò)，并以強化學(xué)習算法進行訓(xùn)練，與傳統(tǒng)的先到先分配、短任務(wù)優(yōu)先分配、小任務(wù)優(yōu)先分配、隨機分配等算法共同進行測試，對所產(chǎn)生的結(jié)果進行對比分析。

關(guān)鍵詞：網(wǎng)絡(luò)管理系統(tǒng)，機器學(xué)習，動態(tài)資源分配

1 需求分析

對于網(wǎng)絡(luò)管理系統(tǒng)，智能化就是指那些具有能動地滿足網(wǎng)絡(luò)管理員的各種需求的屬性。

為保證通信系統(tǒng)長期可靠地服務(wù)，極為關(guān)鍵的一點功能需求有：對信道資源進行高效地分配管理。針對功能需求，本文希望網(wǎng)管能夠能在其中能動地實現(xiàn)一些智能化。

資源分配的本質(zhì)是資源的有限性，目標是使得整體價值最大。資源的目標有時候是互斥的，比如一項決定對A目標實現(xiàn)是有利的，而對B目標達成是有害的，所以需要對互斥的目標設(shè)定權(quán)重，從而決定是否要采取這項決定。

目前在網(wǎng)絡(luò)管理系統(tǒng)中，可能存在約上千個終端小站，當有需要時，這些小站將通過返向鏈路傳輸文件，這就需要向中心站申請信道資源。而中心站所能分配的信道資源是有限的，這就不可避免地會存在傳送任務(wù)需要排隊的問題。

為了使得在最短時間內(nèi)，完成所有終端小站的文件傳輸任務(wù)，分配算法的選擇至關(guān)重要。目前常見的資源分配算法有先到先分配算法（First Come First Served，F(xiàn)CFS）、最短任務(wù)優(yōu)先分配算法（Shortest Job First，SJF）、最小任務(wù)優(yōu)先分配算法（Minimum Job First，MJF）及隨機分配算法（Random）。

顯然，在何時給哪個任務(wù)分配資源，這是一個非常典型的智能決策問題，非常適合采用強化學(xué)習方法進行。

2 模型設(shè)計

在本實驗中，本文將動態(tài)資源分配問題抽象為以下模型：

已知網(wǎng)絡(luò)管理系統(tǒng)中的各個終端小站，在有需求會向中心站申請資源傳送文件，中心站所能分配的信道資源是有限的。將小站的文件傳送申請稱作一個任務(wù)，將中心站可分配的信道資源稱為資源池。當任務(wù)申請到達中心站時，若資源池已滿，則任務(wù)進入等待池。設(shè)定任務(wù)在每一個離散的時間步長t到達。智能體將在每一個時間步長選擇一個或多個等待的任務(wù)進行分配。

假設(shè)每個任務(wù)的信道資源需求在它到達時是已知的，更具體地，對每個任務(wù)j，其所需要的資源是rj，它的任務(wù)持續(xù)時間，也就是所需要占用信道的時間是Tj。模型所分配的各個任務(wù)是同一優(yōu)先級的，換句話說，同一優(yōu)先級的任務(wù)將進入同一等待池。以任務(wù)平均完成時間的最小化作為網(wǎng)絡(luò)訓(xùn)練的目標。

用當前資源池中的實時占用情況、等待資源分配的申請隊列及后臺日志來描述系統(tǒng)狀態(tài)。如圖1是資源池的初始狀態(tài)及等待池中任務(wù)的示意圖。不同顏色代表不同的任務(wù)。任務(wù)塊橫向格數(shù)代表資源需求，縱向格數(shù)代表時間需求。

行動空間用A = {? ? ?，1，...，M}表示，其中a = i表示“對等待池第i個任務(wù)分配資源”; a =? ? ? ?表示資源池已滿，即不可再分配任務(wù)。在每一個時間步，時間被凍結(jié)，直到智能體做完這些選擇。一旦智能體選擇了行動a =? ?，則行動結(jié)束，進入下一個時間步，資源池圖像上的任務(wù)下移一步，任何新到達的工作都會顯現(xiàn)出來。

對能夠降低所有任務(wù)平均完成時間的行動給予正的獎賞，反之給予負的懲罰。在每一個時間步設(shè)置獎勵為-J，在這里J是當前系統(tǒng)中的任務(wù)數(shù)量總和，包括資源池、等待隊列及后臺日志中的所有任務(wù)。

3.仿真訓(xùn)練

將智能體的策略表示為一個神經(jīng)網(wǎng)絡(luò)，它的輸入是環(huán)境當前狀態(tài)空間構(gòu)成的矩陣，輸出是可能采取行動的概率分布。訓(xùn)練過程中，在每一個episode中，都有固定數(shù)量的任務(wù)到達，根據(jù)策略進行安排。當所有作業(yè)均執(zhí)行完畢后，episode終止。本實驗設(shè)置了多組不同的任務(wù)到達序列，每組稱為一個任務(wù)序列。

在每次訓(xùn)練迭代中，模擬每個任務(wù)序列在每個episode里使用當前策略的可能操作，并使用結(jié)果數(shù)據(jù)來改善分配之后所有任務(wù)序列的策略。記錄每個episode的每個時間步長的所有環(huán)境狀態(tài)、行動及獎勵信息，并使用這些值計算在每個episode每個時間步t的累計獎勵vt。然后使用強化學(xué)習算法里的梯度下降策略來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

4.測試結(jié)果

當?shù)却刂械淖畲笕蝿?wù)數(shù)量M取5時，整個實驗過程，用各個算法進行分配，所有的任務(wù)平均完成時間與任務(wù)到達率關(guān)系如圖：

5.結(jié)論

以縮短全部任務(wù)平均完成時間為目標，本文所測試的幾種不同的分配算法中，先到先分配（FCFS）算法表現(xiàn)最差，平均任務(wù)完成時間最長;次差為隨機分配（Random）算法;當任務(wù)負載率較低時，強化學(xué)習所訓(xùn)練的RM算法、短任務(wù)優(yōu)先算法（SJF）及小任務(wù)優(yōu)先算法（MJF）的表現(xiàn)幾乎沒有區(qū)別;當任務(wù)負載率較高時，MJF算法的表現(xiàn)顯著不如RM算法及SJF算法，此時RM算法優(yōu)于SJF。而當任務(wù)負載率進一步提高之后，RM算法與SJF算法的表現(xiàn)趨于一致。

故而，本文所用的強化學(xué)習算法，在動態(tài)資源分配問題中，對于降低任務(wù)平均完成時間有著較好的表現(xiàn)，證明了強化學(xué)習算法的有效性。而強化學(xué)習算法在本實驗中的表現(xiàn)，完全可以遷移到網(wǎng)絡(luò)管理系統(tǒng)中的信道資源分配。

參考文獻：

[1] 聞新，周露，王丹力，熊曉英等 MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計.北京科學(xué)出版社，2001.5.

[2] 張文鴿，吳澤寧，途洪波神經(jīng)網(wǎng)絡(luò)的改進及應(yīng)用河南科學(xué)Vol.21，No2，2003.

[3] 戚涌，李千目，劉鳳玉基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)智能診斷系統(tǒng).微電子學(xué)與計算機，2004，21（10）：10-13，18.

[4] 焦李成，神經(jīng)網(wǎng)絡(luò)計算[M].西安：西安電子科技大學(xué)出版社，1993.9.

[5]陳樺，程云艷.BP神經(jīng)網(wǎng)絡(luò)算法的改進及在Matlab中的實現(xiàn).陜西科技大學(xué)學(xué)報.Vol.22，No.2，2004.4.