索尼研發人工智能在模擬賽車游戲中擊敗頂級人類玩家，研究成果登上最新《自然》封面

當地時間2022年2月9日，索尼表示，其創建的名為Gran Turismo Sophy （GT Sophy）的人工智能代理，能夠在賽車模擬游戲《GT賽車》中擊敗世界冠軍級別的人類玩家。

相關論文以《使用深度強化學習超越Gran Turismo冠軍車手》為題發表在最新一期《自然》封面。

如今的人工智能技術通常借助計算機神經網絡來模仿人類大腦的工作方式。對人工智能進行實際應用時，比如與人類互動，通常都要求其能夠做出實時決策。

之前，人工智能在國際象棋、麻將和圍棋等方面成功擊敗人類，但索尼表示，賽車駕駛更具挑戰性，車手必須控制非線性動態的車輛和執行復雜的戰術來超過或阻攔對手，這需要做出許多實時決定。

該論文描述了索尼研發的人工智能，如何完成高難度挑戰，包括使用其他車輛引起的氣流來擾亂后續車輛并執行緊急制動。同時，該人工智能還利用空氣動力學來實時預測其他賽車的軌跡。

GT Sophy訓練方法

索尼使用無模型、非策略的深度強化學習和自主開發的混合場景訓練，反復試驗，來訓練人工智能在賽車駕駛的細微差別。之前，也有研究人員使用強化學習等方式來建模車輛動力學和訓練人工智能學習駕駛政策，并在單人駕駛方面取得了較好成績，但還沒有一個研究解決最高水平的汽車比賽問題。

在強化訓練中，GT Sophy根據不同的輸入，比如車速、車輪方向、軌道曲率等，獲得了正面或負面的反饋，其還通過自我復制適應了多種不同場景。

另外，要想在賽場獲得勝利，車手須在“賽車控制、賽車戰術、賽車禮儀和賽車策略”等方面有著高超的技巧和熟練度。……