基于P O M D P的機載網絡信道接入策略研究

卓 琨，張衡陽，徐丁海，鄭 博，3，黃國策（.空軍工程大學信息與導航學院，陜西　西安70077；.人民解放軍93995部隊，陜西　西安70306；3.中國航空無線電電子65所，上海0033）

基于P O M D P的機載網絡信道接入策略研究

卓 琨1，張衡陽1，徐丁海2，鄭 博1，3，黃國策1
（1.空軍工程大學信息與導航學院，陜西西安710077；2.人民解放軍93995部隊，陜西西安710306；3.中國航空無線電電子615所，上海200233）

針對機載網絡隨機競爭類媒介接入控制（mediu m access control，M A C）協議在網絡負載較重時性能下降嚴重、接入門限值設置缺乏理論依據和多優先級業務服務質量無法有效支持等問題，提出一種基于部分可觀測馬爾可夫決策過程的信道接入策略。在以不同優先級分組占用信道代價作為目標函數的基礎上建立動態規劃方程，采用狀態空間壓縮方法對問題求解進行簡化，得到各優先級分組間理論近似最優接入門限值的數學表達式，可為不同優先級分組的接入決策過程提供理論依據并實現接入沖突的有效控制。仿真結果表明，該算法能夠有效提高數據傳輸的時延、成功概率等性能，滿足軍事航空通信中數據傳輸的實時性和可靠性需求。

機載網絡；自組織網絡；媒介接入控制協議；馬爾可夫決策過程；接入門限

網址：w w w.sys-ele.co m

0 引 言

機載網絡（airborne network，A N）［1］是美軍依據網絡中心戰需求而提出的新型作戰飛機無線網絡互聯技術，所采用的自組織（ad hoc）網絡結構具有無需基礎設施、動態組網形式靈活、自愈性和抗毀性強等優勢，可大幅提高各類飛行器之間的網絡化協同作戰能力，已成為未來航空戰術移動互聯網絡的重要發展方向之一［2 3］。但機載網絡不僅具有傳統ad hoc網絡帶寬受限、鏈路易受影響的特點，同時還具有自身的獨特性［4 5］，如網絡節點大尺度稀疏分布、節點高移動性帶來的網絡拓撲高動態變化等，從而使得地面ad hoc網絡的現有成熟協議難以直接應用；同時在軍事航空通信中還具有對作戰指令、武器控制、目標情報等時延敏感性信息的高可靠性、低時延傳輸需求。這都對影響網絡信息時效性關鍵因素——媒介接入控制（mediu m access control，M A C）協議的設計提出了更高的要求。

當前機載網絡應用的M A C協議主要可分為3類。

（1）基于調度類M A C協議，以T D M A［6］和令牌環［7 8］為代表。這類協議的主要思想是將無線資源以預規劃的形式分配給不同的節點來保證其傳輸需求，優勢在于網絡負載較重時可有效降低沖突概率，獲得較高信道利用率和吞吐量；但缺點也是明顯的，無法保障節點突發類業務的實時性傳輸需求，而預規劃機制會造成輕負載時的網絡資源浪費、平均傳輸時延較大、網絡成員數量限制、靈活性和可擴展性不足等問題。

（2）基于預約競爭類M A C協議，以802.11 D CF［9］為代表，也是絕大部分機載網絡路由協議研究中所采用的默認M A C協議。其本質是通過控制幀分組交互實現無線資源分配，但航空環境中不可忽視的傳播時延將會對協議性能產生嚴重影響，在高動態航空環境中無法直接應用。

（3）A L O H A和CS M A等隨機競爭類M A C協議未能有效解決隱藏終端問題，在網絡負載較重時會使得傳輸沖突概率急劇增長，從而造成信道接入困難和信道利用率下降。美軍戰術瞄準網絡技術（tactical targeting network technology，T T N T）所采用的SP M A［10-11］（statistical priority-based m ultiple access）協議實現了數據分組的高速低時延傳輸能力，該協議基于多信道認知和跳頻跳時機制，不需要為節點預先分配或預約時隙，只需通過統計信道占用情況實現不同優先級數據分組的接入控制。但由于技術保密的原因，對不同優先級網絡忙閑程度門限接入值的設置并沒有給出明確方法，而網絡忙閑程度閾值的設定會直接影響到此類協議的性能，決定了不同優先級分組服務質量（quality of serive，QoS）、網絡整體性能的優劣。

文獻［12］針對機載網絡業務負載和系統吞吐量之間的拋物線關系，通過業務負載門限值接入權限來最大化系統吞吐量，自適應機制可為網絡實時性業務提供低時延傳輸能力；文獻［13］中提出了一種帶有差分服務的航空ad hoc網絡M A C協議，通過為高、低兩種優先級分組提供不同的排隊策略和網絡接入權限（滿足高優先級業務的一次成功傳輸概率需求）來實現差分服務的能力。文獻［12-13］雖然從理論和仿真上證明了通過設置業務負載門限值可有效提升網絡性能，但是衡量不同優先級網絡接入權限的參數——網絡忙閑程度閾值的設置是由特定網絡參數仿真求出，不具有一般性；同時僅設置兩類優先級難以對多優先級業務的不同QoS傳輸需求進行有效支撐。

針對上述問題，提出一種基于部分可觀測馬爾可夫決策過程（partial observable Markov decission processes，P O M DP）的機載網絡信道接入策略。P O M D P在認知無線網絡頻譜接入中得到了廣泛應用［14-15］，主要用于解決次用戶如何確定最優接入策略來快速接入頻譜空洞。而本文的區別在于網絡節點利用已接收到的廣播信息和歷史決策信息，通過將不同優先級分組占用信道的代價作為目標函數，利用P O M D P理論建立了動態規劃方程，采用壓縮狀態空間的方法求解得到近似最優的不同優先級之間的理論接入門限值AT H。當網絡占用信道數超過該優先級分組由P O M D P所確定的門限值AT H時，選擇不接入信道的行動（延遲發送或丟棄）。從而將不同優先級分組對整個網絡信道的占用控制在一個合理程度，避免了不同優先級分組之間的碰撞，降低了分組發送的沖突概率和網絡的端到端時延性能，提高了數據傳輸的時效性和可靠性，能夠為多優先級業務的區分QoS提供良好支撐。可看出最關鍵性的問題在于如何合理確定不同優先級間的接入門限值ATH。

1 POMDP建模

一個典型的機載網絡多信道機制的信道狀態模型如圖1所示，其中包括了N條獨立可用子信道，稱之為子信道f1，f2，…，fN，豎線所分隔的子信道部分代表某一時刻的信道狀態。其中陰影表示當前時刻某子信道被突發分組所占用；而空白則表示未被突發分組所占用，即信道狀態空閑。

圖1 機載網絡多信道狀態模型圖

1.1 M D P建模

狀態空間S：系統所有狀態所組成的有限集，由N條子信道的可能取值狀態構成，其中每條子信道都由狀態0（空閑）和1（占用）所組成，故系統的狀態空間可表示為

由于任意子狀態的二元性，可將狀態空間簡化為決策時刻n處的信道占用數N′（n），其中N′≤N。

行動決策集A：對于在特定時刻上的某狀態i∈S，可將行動接入某信道定義為a（i）=1；不采取接入行動定義為a（i）=0。

轉移概率pij（a）：表示在決策時刻n時系統處于狀態i，當采取行動a（i）∈A后系統在下一時刻n+1處轉移到狀態j的概率。對于。

費用函數c（i，a）：表示在決策時刻n系統處于狀態i時，采取行動a（i）∈A時后系統在本階段所產生的費用記為c（i，a）。

收益函數V：采用策略π折扣期望函數。

1.2 動態規劃方程建立

由于網絡節點僅能獲得時刻n-k的全網絡信道狀態信息和自身決策歷史信息，無法確定決策時刻n的全網絡信道狀態信息，因此是一個不完全信息條件下的M D P，由此可利用P O M D P來進行求解，其目標是：節點采用什么樣的接入策略使得折扣期望函數達到最小。可定義節點在決策時刻n處所面臨的狀態S（n）為

可定義決策序列向量ak為

故狀態S（n）可表示為

對整個網絡而言，分組接入某子信道意味著獲得了該信道上突發分組接入所帶來的即時吞吐量。這里假定全網絡的多個獨立子信道上帶寬間隔相等，采用相同的發射功率、調制方式和糾錯方案，具有相同的信噪比，由此可看出分組接入某條子信道將會帶來定值吞吐量T的收益。

突發分組在接入信道獲得即時吞吐量的同時也占用了信道資源，造成了其他分組無法接入。因而可用服務花費的平均時間μ進行度量，相應地N′個子信道同時被占用所花費的代價為N′μ。

同時可定義優先級權重來對不同優先級分組的接入、占用過程進行度量：節點在n-k時刻通過廣播信息獲取網絡中當前時刻m個不同優先級分組的數量分別為pi（1≤為不同的優先級基準權重值，并按照大小依次排列。

為了確保高優先級業務的高可靠性、實時性傳輸，以門限接入權值θp（0＜…＜θp＜…＜θ1＜1）來對不同優先級分組間的接入過程進行度量，將優先級從高到低按照qi權值減小的順序依次對應，兩優先級之間的門限接入權值θp設為所對應的兩權值qi、qi+1的均值，則高優先級間θp取值將會越大。同時可定義代價權值τp（0＜τ1＜…＜τp＜…＜1）對不同優先級分組的信道占用過程進行度量，將優先級從高到低按照qi權值增大的順序依次對應，兩優先級之間的門限占用權值τp設為對應的兩權值qi、qi-1的均值，則高優先級間對應的權值τp值越小。

定義在N′（n）條件下，節點執行行動a（n）的代價C（S（n），a（n））為

表示在決策時刻n全網絡占用信道所花費的代價期望值和執行行動接入（a（n）=1）所帶來的收益。

則Pak（x）表示Pak的第x行，對應于全網絡在n-k時刻信道占用數N′經后續狀態不斷變化后，全網絡在決策時刻n處信道占用數的概率分布。由此代價C（S（n），a（n））可改寫為

式中，（PakD）（x）的含義是在決策序列向量ak=（ak，ak-1，…，a1）條件下，決策時刻n處信道占用花費代價的期望值。因此使用策略π折扣期望函數為

則信道接入狀態k步延時問題的最優策略滿足

由此可確定P O M D P動態規劃方程為

式中，min部分的0表示節點采取a（i）=0，后一個表達式表示節點采取a（i）=1。

對任意信道占用數N′（n-k）（0≤N′（n-k）≤N）和決策序列向量ak有

2 P O M D P求解

由于信道占用數的最大值為N，上述問題的全狀態P O M D P動態規劃方程組將會包含2k×（N+1）個方程需要求解。隨著k和N的增大，方程數將會呈指數增長，求解難度非常大，甚至不存在最優策略的精確解。因此必須要通過對問題進行轉化來實現求解方程維數的降低，在此利用狀態空間壓縮方法來簡化問題求解。

2.1 動態規劃方程降維

這里引入輔助行動決策集E，定義

其中某條信道上ei=1表示在時刻n-i末期退出了信道，而ei=0則表示繼續占用。當在觀測時刻n-k觀測到信道占用數N′（n-k）≥k時，則決策時刻n的信道占用數N′（n）可簡化寫為

用n（ak）表示ak中ai=1（0≤i≤k-1）的個數，由此式（16）可等價為

因此有

在N′（n-k）≥k條件下，令x=N′（n-k）+n（ak），則動態規劃方程可表示為

2.2 接入門限值ATH確定

可進一步得到

將式（22）代入可等價于證明

利用（P0kD）（x）的非減凸函數性質，可采用數學歸納法來證明式（24）。

（1）當x=0時有

（2）假定當x=n時式（24）成立，即

則當x=n+1時

證明

依據式（23）可得N B（x）為非減凸函數，則

由此動態規劃方程的min部分可改寫為

因為N B（x）的非減凸函數性質，所以式（29）的右側部分為x的遞增函數，如果式（30）成立

那么一定存在著一個臨界值xT H使得當x＞xT H時有式（31）成立

當x＞max（k，xT H）時節點的最佳行動a（i）=0，即表示不采取接入信道。

根據分組的不同優先級權重，可得到不同分組間的接入門限值AT H。當x＞AT H時節點的最佳行動就是不接入該優先級分組，可等價于限制節點在該時刻對此類優先級分組的接入；而在后續時刻中可依據不同優先級接入門限值的理論推導結果進行選擇，AT H即為不同優先級分組間的理論接入門限值。

3 仿真分析

將基于PO M DP接入門限的跳頻M A C協議稱為（accessthreshold frequency hopping M A C protocol，AT-F H_M A C），利用NS-2網絡仿真平臺對兩方面實驗內容進行對比驗證。

（1）不同參數設置條件下，AT-F H_M A C協議與T D M A協議、802.11 D CF協議在網絡性能上對比。

（2）相同參數設置條件下，AT-F H_M A C協議與F H-M A C協議在網絡性能上對比。

網絡參數：仿真場景大小設置為600 k m×600 k m；假設機載網絡中有n個對等節點且初始位置服從均勻分布，移動速度為500 k m/h，移動模型采用R W P移動模型；通過對發射功率、接收門限值進行設定使得節點通信距離達到250 k m。各節點的分組到達過程服從泊松分布，且分組長度固定、信道無誤碼；F H_M A C類協議依據優先級高低順序采用搶占式排隊規則，其他類M A C協議則使用先入先出規則排隊。不同協議類型的相同仿真參數如表1所示。

表1 仿真參數設置

3.1 不同類型協議網絡性能比較

A T-F H_M A C協議和T D M A協議、802.11 D CF協議等3類不同類型協議的不同設置如下。

AT-F H_M A C協議在分組發送前將分組先拆分為25個突發分組，并結合信道忙閑情況進行傳輸，傳輸過程中采用了效率為1/3的Turbo編碼，因此接收端只需正確接收13個突發分組就能夠恢復，雖然增加了發送冗余，但在非同步機制中獲得了較好的信息傳輸實時性、可靠性；且不同優先級之間的接入門限值依據理論推導的相關表達式進行設置。為了便于比較，T D M A和802.11 D CF也采用了相同的編碼傳輸機制。

為了確保信息傳輸的時效性，在802.11 DCF中選用2次握手的基本接入方式。其中，分組最大重傳次數設置為4，初始競爭窗口大小設置為15，最大競爭窗口大小設置為255。

T D M A協議采用基本類型，依據不同節點數均勻分配所有時隙。僅考慮最大傳播時延和分組傳輸時延的情況下，時隙大小設置為1.68 ms。

在網絡不同節點數量情況下，3類不同類型協議的網絡性能（分組傳輸成功概率、系統吞吐量、端到端時延均值）對比曲線如圖2～圖4所示。

圖2 分組傳輸成功概率對比圖

圖3 系統吞吐量對比圖

圖4 端到端時延均值對比圖

從網絡性能曲線對比可以看出，在節點大尺度分布的條件下，D CF協議在分組傳輸成功概率、系統吞吐量、端到端時延均值等網絡性能較差，這是因為不可忽視的傳播時延會對D CF控制幀交互機制產生較大影響，延遲退避過程較多會導致緩沖區分組大量溢出，因此802.11 D CF協議在航空環境中無法直接適應。

T D M A類協議因為采用了無沖突的時隙分配機制，從而有效避免了分組的碰撞重傳問題，獲得了相對最高的分組傳輸成功概率、系統吞吐量性能；但是隨節點數逐漸增大，分組傳輸時隙間隔會逐漸增多，端到端時延均值增幅較大。

A T-F H_M A C通過對不同優先級的接入門限進行劃分，確保了業務類型的低時延傳輸，其本質是在犧牲少許分組傳輸成功概率、系統吞吐量性能的代價下獲得了優良的時延性能，比較適合于軍事航空通信中對突發信息時效性需求較高的場合。

3.2 同類型協議網絡性能比較

同類型協議對比主要是在F H_M A C和A T-F H_M A C這兩類相同類型協議的不同優先級分組間進行網絡性能比對，以此來驗證A T-F H_M A C協議在加入P O M D P接入門限機制對網絡性能的影響。在其他仿真條件相同基礎上，根據機載網絡的業務流特點，假設各節點依據泊松分布過程接收上層的優先級分組，為了便于對比，設定共有高、中、低3種業務優先級分組。其中，高優先級分組的達到率固定為10 packets/s，中優先級分組的到達率從0～1 000 packets/s逐漸增加，低優先級分組的到達率從1 000～3 000 packets/s逐漸增加。定義業務負載為源端節點所產生的高、中、低優先級分組到達率之和，則不同業務負載條件下，同類型協議不同優先級分組的網絡性能對比情況如圖5～圖7所示。

圖5 不同優先級分組傳輸成功概率對比圖

圖6 不同優先級分組端到端時延均值對比圖

圖7 系統吞吐量對比圖

從以上仿真結果可以看出，高、中兩類優先級分組的理論理論接入門限值大約在1 600 packet/s（門限值1），中、低兩類分組的理論接入門限值大約在2 500 packet/s（門限值2）。相比于F H_M A C，在門限值1之前，A T-F H_M A C、F H_ M A C協議性能差別不大；當進入門限值1之后，A T-F H_ M A C的高優先級分組后續一直獲得了優良的分組傳輸成功概率、端到端時延均值性能；與此同時中、低優先級分組的傳輸成功概率、端到端時延均值性能和系統吞吐量均明顯下降，在進入門限值2之后，與F H_M A C協議各項網絡性能的差距進一步拉大。

因此A T-F H_M A C協議通過引入P O M D P接入門限機制，確保了高優先級分組的時效性和可靠性，獲得了較高的分組成功傳輸概率、端到端時延均值性能，但這是以犧牲中、低優先級分組的網絡性能和系統吞吐量為代價獲取的。

4 結 論

當前機載網絡中隨機競爭類M A C協議還存在著隨業務量增大帶來網絡性能下降嚴重、無法保證多優先級業務QoS需求、接入門限值設置簡單不具一般性的問題，為此提出了一種基于P O M D P的機載網絡信道接入策略。網絡節點依據廣播、歷史決策信息，通過P O M D P理論確定了不同優先級分組間的接入門限，當網絡內信道占用數量超過了該優先級的接入門限值AT H，便選擇不接入的行動。從而有效地控制了傳輸信道上不同優先級的接入過程，降低了低優先級業務在網絡負載較高的情況下與高優先級的碰撞概率、端到端時延性能，確保了高優先級分組數據傳輸的實時性和可靠性，下一步值得研究的問題將是在此基礎上進一步探尋合理的機制來提升中低優先級分組的網絡性能。

［1］K yung J K，Yalin S，Justin Y，et al.Airborne network evaluation：challenges and high fidelity emulation solution［J］.IE E E Communications Magazine，2014，52（17）：30-36.

［2］Ilker B，Ozgur K S，Sami l T.Flying ad hoc networks（F A N E Ts）：a survey［J］.Ad H oc Networks，2013，11（3）：1254-1270.

［3］Ozgur K S.Networking models in flying ad hoc networks：concepts and chal lenges［J］.Journalof Intelligent&Robotic Systems，2014，74（2）：513-527.

［4］Zheng B，Zhang H Y，H uang G C.Link dynamicsin M A N E T based on 3D SGM mobility model［J］.Journal of Jilin University（Engineering and Technology Edition），2012，42（5）：1315-1320.（鄭博，張衡陽，黃國策.基于3D SG M移動模型的M A NET鏈路動態性［J］.吉林大學學報（工學版），2012，42（5）：1315-1320.）

［5］Zheng B，Zhang H Y，H uang G C.Analysis oflink dyna micsinaeronautical ad hoc networks［J］.Systems Engineering and Electronics，2013，35（2）：420-424.（鄭博，張衡陽，黃國策.航空自組網鏈路動態性分析［J］.系統工程與電子技術，2013，35（2）：420-424.）

［6］Li J，Gong E L，Sun Z Q，et al.Design and implementation of ST D M A slot allocation algorith m for aeronautical ad hoc networks［J］.Acta Aeronautical et Astronautica Sinica，2014，35（12）：3371-3383.（李杰，宮二玲，孫志強，等.航空自組網ST D M A時隙分配算法的設計與實現［J］.航空學報，2014，35（12）：3371-3383.）

［7］Cai Y G，Y u F R，Li J，et al.Mediu m access control for unmanned aerial vehicle（U A V）ad hoc networks with full-duplex radios and m ultipacket reception capability［J］.IE E E Trans.on Vehicular Technology，2013，62（1）：390-394.

［8］LiJ，Zhou Y F，La mont L，et al.Packet delay in U A V wireless networks under non-saturated traffic and channel fading conditions［J］.Wireless Personal Communications，2013，72（2）：1105-1123.

［9］Li J，Zhou Y F，Lamont L，et al.A token circulation scheme for code assignment and cooperative transmission schedul ing in CD M A-based U A V ad hoc network［J］.Journal Wireless Networks，2013，19（6）：1469-1484.

［10］Stephen M C，Kelli AH，Scott J F Z.Statistical priority-based multiple access system and method［P］.U nited States’7680077 B1，2010.

［11］John CH.M ethod and apparatus for wireless data using doppler informtion［P］.U nited States’8614997 B1，2013.

［12］Wang Y Q，Ye X Y，Qi Y J，et al.A daptive mechanism for the frequency hopping M A C［J］.Journal of Xidian University，2013，40（5）：78-85.（王葉群，葉向陽，戚云軍，等.一種跳頻M A C協議的自適應機制［J］.西安電子科技大學學報，2013，40（5）：78-85.）

［13］W ang Y Q，Yang F，H uang G C，et al.M edia access control protocol with differential service in aeronautical frequencyhopping ad hoc networks［J］.Journal of Software，2013，24 （9）：2214-2225.（王葉群，楊鋒，黃國策，等.一種航空自組網中帶差分服務的跳頻M A C協議建模［J］.軟件學報，2013，24（9）：2214-2225.）

［14］H ou G T，H an H，H u J.Spectru m access method based on P O M D P［J］.Chinese Journal of Radio Science，2013，28（3）：553-558.（侯國濤，韓慧，胡俊.基于部分可觀察馬氏決策過程的頻譜接入方法［J］.電波科學學報，2013，28（3）：553-558.）

［15］Xu R C，Jiang T.Cognitive radio auto-adaptive sensing algorith m based on P O M D P［J］.Journal on Com m unications，2013，34（6）：49-56.（許瑞琛，蔣挺.基于P O M D P的認知無線電自適應頻譜感知算法［J］.通信學報，2013，34（6）：49-56.）

Research on channel access strategy in airborne network based on P O M D P

Z H U O K un1，Z H A N G H eng-yang1，X U Ding-hai2，Z H E N G Bo1，3，H U A N G G uo-ce1
（1.School of Information and Navigation，Air Force Engineering University，Xi’an 710077，China；
2.Unit 93995 of P L A，Xi’an 710306，China；3.615 Research Institute，China Aviation Industry Corporation，Shanghai200233，China）

A channel access strategy based on partial observable Markov decision processes（P O M D P）is presented in allusion to the problem of performance degrades seriously w hen load beco mes heavy，the access threshold value settings is lacked in the theoretical basis and unable to effectively support the quality of serive requirement of multi-priority service of the rando m co m petition mediu m access control protocolin airborne network.The dynamic program ming function is established by which based on channel occupation cost of different priority burst as the objective function，the co m pact state-space method is adopted to simplify the solution-finding，the expression for the theory approximately optimal access threshold value within the different priority burst is worked out.The value can provide theoreticalfoundation for access decision processes of different priority burst and can effectively control the access collision within different priority burst.The simulation results show that transmission performance of delay and success probability can be improved obviously，the real-time and reliability demands of data transmission in military aeronautical communications are satisfied.

airborne network；ad hoc network；mediu m access control（M A C）protocol；partial observable Markov decission processes（P O M D P）theory；access threshold

T P 393

A

10.3969/j.issn.1001-506 X.2016.03.28

1001-506 X（2016）03-0658-07

2015-06-09；

2015-10-08；網絡優先出版日期：2015-10-20。

網絡優先出版地址：http：//w w w.cnki.net/kcms/detail/11.2422.T N.20151020.1334.010.html

國家自然科學基金（60972042）；航空科學基金（2013ZC15008）資助課題

卓 琨（1987-），男，博士研究生，主要研究方向為軍事航空通信。

E-mail：zhuokun_TG@126.com

張衡陽（1978-），男，副教授，博士，主要研究方向為無線自組織網絡關鍵技術。

E-mail：hareed@163.com

徐丁海（1971-），男，研究員，博士，主要研究方向為航空電子技術。

E-mail：297963301@qq.com

鄭 博（1982-），男，工程師，博士，主要研究方向為無線自組織網絡關鍵技術。

E-mail：zbkgd@163..com

黃國策（1962-），男，教授，博士研究生導師，主要研究方向為軍事通信組網關鍵技術。

E-mail：huangguoce@163.co m