基于強化學習的魚群自組織行為模擬*

楊慧慧，黃萬榮，敖富江

(1. 大連海洋大學 水產與生命學院， 遼寧 大連 116023； 2. 軍事科學院， 北京 海淀 100071)

自組織行為廣泛存在于自然界中，一個典型的案例就是魚群。魚群中的每個個體不僅會主動地相互靠近，還能協同一致地調整自己的行為，以達到群體效果。魚群的自組織特性有助于提升個體的游動效率、生存和繁衍概率。相對地，目前大部分人造群體系統還只能依靠機械的程控方式完成其功能。如果人造群體可以模仿魚群的組織方式，將獲得更為智能、可觀的效能。因此，研究魚群自組織行為有助于探索自組織行為的內在機理，對實現群體智能有重要的理論意義和應用價值。

Reynolds[1]首次通過計算機程序模擬了魚群、鳥群等生物群體的自組織行為，并提出了博德模型(Boids model)，即每個智能體基于局部的觀察信息，按照避碰、同向、聚集3條規則計算其運動速度，群體便能實現類似生物群體的自組織運動。在博德模型的基礎上，多個模型陸續被提出，或優化了原有規則的計算方式，或增加了新的規則。上述模型均能模擬群體的自組織行為，其特點是都假設群體中的個體能夠基于感知信息進行復雜計算。然而，這類假設并未觸及自組織行為的本質，魚、鳥等生物個體不一定能進行如此復雜的規則計算。因此，不同于之前基于規則設計模型的研究方式，本文從學習的角度切入，對自組織行為展開研究，通過魚群行為的模擬，試圖探索自組織行為的生成機理。……