基于演化博弈研究Moran過程對合作的影響

周建新 劉明華 沈小偉* 吳金秀

1(華北理工大學電氣工程學院 河北 唐山 063210) 2(華北理工大學以升創新教育基地 河北 唐山 063210)

0 引 言

生命起源于合作，2005年Science雜志就已將“合作行為如何演化”這一問題列入25個21世紀最突出的科學問題之中[1]。如何達成和維持合作行為，則是當前經濟學、生態學、社會學及信息科學研究的重要問題。

然而，現實生活中的合作往往并不容易達成。當個人利益與集體利益沖突時，人們出于自私會選擇對自己有利的策略，而這種策略往往是對集體有害的，從而導致個人和集體的利益均受損，最終導致合作行為很難達成[2]。

2006年，Nowak等[3]總結了生物之間“合作”得以達成的五種機制：親緣選擇[2]、直接互惠[4-5]、間接互惠[5-6]、空間互惠[7]、群體選擇。空間互惠作為促進合作的一種重要機制，引起了諸多學者的廣泛關注。相關學者對空間互惠的研究不斷深入，提出了很多促進合作的機制，如模仿、懲罰、信譽和獎勵等機制。Helbing等[8-9]研究了噪聲環境中成功驅動型的遷移機制對合作演化的影響，結果表明合作水平隨著噪聲強度的增大而降低，但是適度的噪聲值可以加速個體向合作行為的轉變，合作水平有一定程度的提高。廖列法等[10]研究了移動個體中噪聲對合作行為的影響，結果表明噪聲和移動性同時存在時，適中的噪聲值能夠促進合作行為的涌現。Zhang等[11]研究了空間公共物品博弈中寬容的懲罰對合作演化的影響，結果表明寬容的懲罰通過加強空間互惠促進了合作。Guo等[12]研究了信譽與網絡連接權重的協同演化，連接權重隨著信譽的增強而增強，結果表明信譽與連接權重的協同演化能夠促進合作，并且連接權重越強，合作水平越高。

除上述機制外，不同的策略更新規則對個體行為的影響也各不相同。Vainstein等[13]研究了基于學習最優規則的移動個體合作行為的演化，結果表明移動性具有雙重作用：合作者可以通過移動逃避背叛者，向合作者團簇移動而提高合作水平；合作者種群可以被移動的背叛者入侵，導致合作的瓦解。Zhang等[14]提出了一種新的策略更新規則，即個體根據周圍環境選擇規則，研究表明這種新的規則在智能個體利用不同鄰居的信息時能夠促進合作，合作水平明顯提高。Danku等[15]研究了雪堆博弈和獵鹿博弈中創新與學習最優兩種更新規則的競爭，結果表明更新規則的競爭與傳播取決于收益參數，即博弈模型的差異。

上述很多文獻研究了策略更新規則對合作行為的影響[16]，包括學習最優規則、創新規則、Fermi函數[17]等，但是關于Moran過程的研究還比較少。因此本文針對Moran過程進行深入研究，建立合作行為演化模型并進行仿真，分析并討論空間囚徒博弈中Moran過程對合作行為的影響。

1 模型描述

1.1 博弈范式

本文采取囚徒博弈作為研究模型，其博弈過程中個體兩兩進行交互，個體在合作和背叛兩者中獨立選擇其一。如果雙方都選擇合作，則都獲得報酬R；如果雙方都選擇背叛，則都獲得懲罰P；如果一個個體選擇背叛，另一個個體選擇合作，則合作者獲得收益S，而背叛者獲得收益T。圖1為囚徒博弈收益矩陣，其中參數滿足：T>R>P>S且R>(T+S)/2。Nowak等[18]提出了一種簡化的囚徒博弈模型，即R=1、S=P=0、T=1.4，其分析方便，因此本文與其保持一致。

圖1 囚徒博弈收益矩陣

1.2 策略更新規則

1.2.1學習最優規則

當個體采取學習最優規則時，比較自己和所有鄰居的收益大小，選擇產生最高收益的鄰居，學習其博弈策略作為自己下一次的博弈策略[13]。如果不同鄰居的收益相等，則隨機選擇一個鄰居作為學習目標。

1.2.2Moran過程

Moran過程是一種根據適應度進行個體選擇的方法，描述了有限種群的演化[19-20]。Moran過程根據個體生和滅的先后順序分為生滅過程和滅生過程。生滅過程即先選擇個體進行繁殖，而后選擇個體滅亡；滅生過程則與上述順序相反[21]。采用生滅過程進行策略更新時，個體i被選擇出來繁殖后代的概率Pi正比于其適應度；而采用滅生過程進行策略更新時，個體i被選擇出來滅亡的概率Pi反比于其適應度。Pi計算公式如下：

(1)

式中：wi為個體i的收益；n為種群個體數目。

生滅過程中，以正比于個體適應度的概率選擇個體進行繁殖，子代放在其附近，而后隨機選擇個體滅亡；滅生過程中，以反比于個體適應度的概率選擇個體滅亡，而后隨機選擇個體進行繁殖，子代放在其附近[20]。

1.3 演化過程

(1) 初始化：在50×50的二維網格中隨機放置個體，密度為0.7，個體隨機選擇合作或背叛。

(2) 博弈：個體同其所有的von Neumann鄰居進行囚徒博弈并計算收益。

(3) 策略更新：根據策略更新規則進行策略更新。

(4) 移動：個體在其von Neumann鄰居中隨機選擇一個空位，以一定的移動概率移動到該空位上，若鄰居中沒有空位置，則不移動。

(5) 重復步驟(2)-步驟(4)，直至系統達到停止條件為止。

2 仿真結果及分析

本文利用Repast仿真軟件[22]對演化博弈過程進行建模并仿真，每組數據運行100次，每次運行10 000步。

2.1 學習最優規則對個體行為演化的影響

圖2為學習最優規則演化結果截圖，從左至右移動概率依次為0、0.01、0.1、0.2和0.5，圓形代表合作者，方形代表背叛者。圖3為學習最優規則下合作水平隨移動概率的變化。

圖2 學習最優規則演化結果截圖2仿真結果及分析

圖3 學習最優規則下合作水平隨移動概率的變化

當移動概率為0即個體靜止時，合作水平約為32.5%。由于個體靜止，合作者只能和周圍的鄰居形成較小的團簇，合作水平較低。當移動概率為0.01時，個體合作水平達到100%。合作者能夠通過移動來逃避背叛者，與其他合作者形成較大團簇來避免背叛者的入侵，直至背叛者全部消失。當移動概率大于0.01時，合作水平隨著移動概率的增大而降低。隨著移動概率的增大，背叛者對合作者種群的入侵作用增強，合作者團簇不斷被入侵瓦解，合作水平不斷降低。因此，學習最優規則下較低的移動概率促進了合作行為的發生。

2.2 Moran過程對個體行為演化的影響

2.2.1無噪聲

圖4為Moran過程下合作水平隨移動概率的變化，采用箱形圖表示。圖5為Moran過程演化結果截圖，其中：上圖為生滅過程演化結果，下圖為滅生過程演化結果；從左至右移動概率依次為0、0.01、0.1、0.2和0.5；圓形代表合作者，方形代表背叛者。

(a) 生滅過程

(b) 滅生過程圖4 合作水平隨移動概率的變化

圖5 無噪聲Moran過程演化結果截圖

個體采用Moran過程進行策略更新時，被選中的個體繁殖的子代以父代為中心由內向外尋找空位置，因此合作者和背叛者是混合的。從演化截圖上看，無論是生滅過程還是滅生過程，背叛者的數目都隨著移動概率的增大而增多。但是滅生過程下合作者更多，合作水平更高。

從箱形圖上看，不論是生滅過程還是滅生過程，隨著移動概率的增大，合作率平均值都在不斷降低。移動性使收益較高個體的子代不斷移動，可能會移動到對自己不利的位置上，因此隨著移動概率的增大，移動性對合作的形成及維持極為不利。

與學習最優規則相比，在移動概率為0即個體靜止時，滅生過程的合作水平高于學習最優規則。但是，移動概率0.01條件下Moran過程的合作水平低于學習最優規則。隨著移動概率的增大，即移動概率為0.1、0.2、0.5時，Moran過程的合作率均高于學習最優規則。因此，在移動概率較大的情況下，Moran過程表現出明顯的優越性，更能促進合作行為的發生，提高合作水平。

2.2.2有噪聲

圖6為噪聲強度k=0.01時Moran過程演化結果截圖，其中：上圖為生滅過程演化截圖，下圖為滅生過程演化截圖；從左至右移動概率依次為0、0.01、0.1、0.2和0.5；圓形代表合作者，方形代表背叛者。圖7為噪聲強度k=0.01時Moran過程下合作水平隨移動概率的變化。

圖6 噪聲強度k=0.01時Moran過程演化結果截圖

(a) 生滅過程

(b) 滅生過程圖7 噪聲強度k=0.01時合作水平隨移動概率的變化

從演化截圖上看，背叛者數目隨著移動概率的增大而增多，合作水平隨著移動概率的增大而明顯降低。從箱形圖上看，無論是生滅過程還是滅生過程，合作水平均隨著移動概率的增加而降低。

表1為不同更新規則和不同移動概率下的平均合作水平。與無噪聲Moran過程仿真結果相比，雖然演化截圖不一樣，但合作率相差不大，最大相差1.7%，說明噪聲對合作水平的影響很小。因此，基于Moran過程的個體行為演化模型對噪聲不敏感，抗干擾能力較強。

表1 平均合作水平 %

3 結 語

基于Moran過程的個體行為演化為合作行為的促進提供了新的思路。本文利用Repast博弈仿真環境構建了基于Moran過程的合作行為演化模型，并進行仿真分析，然后結合噪聲因素分析了該模型對噪聲的敏感程度。仿真結果表明，與學習最優規則相比，在移動概率較大時，個體采用Moran過程進行策略更新時合作水平明顯提高，Moran過程表現出明顯的優越性。同時，Moran過程對噪聲不敏感，抗干擾能力較強。

隨著演化博弈論的發展，未來研究可以將本文模型推廣到其他復雜網絡上，比如隨機網絡、小世界網絡、無標度網絡和自相似網絡等，相信其對個體行為的演化會有不同的影響。