基于機器視覺的真人射擊游戲智能仲裁系統

孟一飛, 毛 威, 孟 斌, 楊麗娟

(寧夏大學 物理與電子電氣工程學院，寧夏 銀川 750021)

0 引 言

真人射擊游戲又稱為生存游戲或野戰游戲，是一種半競技性團體對抗射擊運動，游戲中玩家通過游戲槍擊中對手出局模擬軍事戰斗。現有真人射擊游戲比賽用槍主要包括實體彈丸發射槍和電子槍兩類。彈丸類游戲槍能帶給玩家更真實的射擊體驗感，但這種方式缺乏精準公平的制裁方法，輸贏的評判僅依賴于玩家的誠實。電子槍利用光通信技術，通過向接收器發射紅外激光信號模擬射擊和人員中彈，然而其缺點是玩家只有在對準接收器射擊時，才會被判定有效擊中，接收器僅輸出有無擊中目標的邏輯量，無法獲知射擊距離、瞄準角等更精確的評分指標。針對以上問題，本文提出一種基于機器視覺的射擊游戲仲裁系統設計。

本文所提出的仲裁系統基于AprilTag標簽機器視覺檢測技術[1],粘貼在玩家身上的AprilTag靶標提供參與者的身份標識和位姿數據。游戲槍瞄準鏡前端裝有攝像頭，用于捕獲靶標圖案。攝像頭通過掃描玩家身上的靶標得到該玩家與游戲槍的相對距離和角度差，系統利用以上信息判定得分。基于機器視覺技術的優勢在于：系統能夠檢測瞄準射擊點和AprilTag標簽的相對誤差，細化評估對被擊目標的傷害程度。相比電子槍信號接收器，粘貼在玩家身上的標簽幾乎不會帶來負重。

基于靶標檢測方案面臨的最大挑戰是攝像機視野和可用分辨率的限制。游戲槍識別標簽的難易取決于射擊距離和目標玩家的移動速度[2]。當槍械與標簽距離較遠，標簽在攝像機中的尺寸會非常小，對識別帶來極大的障礙。當游戲槍與靶標距離較近時，即使玩家移動速度很慢，攝像機也可能只拍攝到標簽的一部分，無法報告一次有效檢測。這些限制決定了AprilTag標簽只能在很小的距離范圍內和較慢的移動速度下被檢測識別，標準的AprilTag標簽不適合在真人射擊游戲這種長距離、高速度的檢測環境中使用。

為提升標簽的可檢測范圍和定位精度，本文提出了一種雙層嵌套式標簽的設計方案，具體做法是在大標簽中嵌入一個小標簽，使攝像機在更大動態范圍內至少識別到一個標簽。此外，將貝葉斯數據融合方法[3]應用于雙層嵌套式標簽的位姿估計中，通過融合內外兩層標簽的位姿測量值作為整體靶標的位姿，有效減小了靶標的定位誤差。

1 相關工作

視覺基準標簽是一種印有特殊圖案的二維碼標志，通過攝像機拍攝包含標簽的圖片，經算法處理后即可得到標簽6個自由度的空間位姿信息[4]。相比GPS,MoCap(motion capture)等定位傳感器[5]，視覺基準標簽因其靈活性高，成本低廉，在應用于多目標集群定位方面擁有更大的優勢。使用時只需打印出標簽并粘貼在待測目標上，即可獲取目標的位姿信息。

AprilTag標簽由Sagitov A教授在2010年國際機器人與自動化會議上提出。由于該標簽在檢測率、碼間漢明距離、對扭曲和遮擋的魯棒性等各個方面均優于其他標簽[6]，近年來,在目標跟蹤、視覺定位、即時定位與地圖構建(simultaneous localization and mapping,SLAM)準確性評估測試和人機交互方面得到了廣泛的應用。自第一代AprilTag提出以來，標簽圖案和檢測算法在不斷被改進和優化。2016年,Wang J和Olson E提出了第2代AprilTag[7]，在探測器中應用新的邊界分割算法，在沒有犧牲定位精度的前提下降低了假陽性率和計算時間。2019年,Krogius M等人提出了第3代AprilTag標簽[8]，使用圓形和環形的標簽圖案設計，增加了二維碼的數據密度。

2 系統功能與設計

2.1 系統總體功能及系統框架

本文討論一種基于AprilTag標簽智能檢測技術的射擊游戲仲裁系統，系統中，游戲參與者身上貼有帶編碼信息的靶標標簽，通過安裝在游戲槍上的攝像頭采集靶標標簽，并通過單應性變換、外參評估等算法，計算游戲槍在被擊發時，靶標與游戲槍的相對距離和角度差，從而判定對手的損傷程度。游戲槍上的視頻處理系統通過無線通信模塊將靶標位姿發送到云服務器，服務器后端對數據二次處理轉換成射擊得分。游戲玩家通過登錄仲裁系統手機客戶端訪問服務器查看個人得分、總分排名、團隊戰局勝負等戰績信息。

基于以上功能需求，本文設計了如圖1所示的系統框架結構。真人射擊游戲智能仲裁系統由智能游戲槍、云服務器、手機客戶端三個子系統組成。每個子系統依靠自身主控器獨立運行，子系統間通過無線通信傳遞信息。

圖1 智能仲裁系統框架結構

2.2 圖像獲取模塊硬件設計

圖像獲取模塊主要實現仿真槍擊發監測、視頻流捕捉與圖像處理、串口通信及控制傳輸控制協議(transmission control protocol,TCP)通信功能。游戲槍采用OV7725CMOS圖像傳感器采集現場圖像，使用CortexM7內核的STM32H743VI ARM芯片作為主控器。ATWINC1500與處理器通過串口連接，在系統中執行游戲槍與服務器的通信任務。前后端使用套接字網絡接口發送和接收數據。

2.3 ECS云服務器端軟件設計

智能仲裁系統云服務器實現數據儲存、得分計算以及與游戲槍和手機客戶端的數據交互功能。本文系統選擇阿里云ECS(Elastic Compute Service)實例作為服務器方案。為實現服務器數據儲存和與前端設備無線通信的功能，需要在服務器端部署Mysql數據庫并配置TCP服務。數據庫主要包含用戶注冊信息表、裝備列表、靶標位姿監測表。使用PHP搭建手機客戶端后端MVC框架，用以響應前端發起的請求。

2.4 基于uni-App的跨平臺客戶端設計

手機客戶端主要用于服務器訪問及數據應用操作。本文設計使用Vue.js語言基于uni-App框架開發真人射擊游戲仲裁系統手機客戶端，該方案在客戶端跨端靈活性和開發成本方面擁有更強的優勢。玩家通過登錄客戶端將游戲槍編號及靶標編號提交至服務器，實現玩家—游戲槍—靶標的三重綁定。系統通過綁定關系分辨玩家，并以游戲槍編號作為主鍵更新得分。最后由計分頁面報告當前玩家最新一次射擊分數。

3 嵌套式二維碼檢測與定位算法設計

3.1 AprilTag標簽解碼與定位原理

圖2為AprilTag36h11家族0號標簽的解碼流程，具體步驟如下：

1)將原圖轉換為灰度圖，計算梯度的幅值和方向，使用基于圖的Felzenszwalb聚類算法，將梯度相同的像素聚類形成線段，如圖2(a)所示。

2)為每條線段添加方向語義，尋找線段終點附近的新線段，彌合線段間的斷點，并明確線段的圍繞關系，判斷其能否圍成滿足環繞規則的封閉四邊形，見圖2(b)。

3)如圖2(c)所示，將已檢測的四邊形內部分成10×10的網格，遍歷每個小方格內部的像素點，如果小方格所在區域二值化后的像素點超過區域內像素點總數的50 %為1，則認為整個小方格是白色，解碼為1，反之解碼為0。如圖2(d)所示，探測器已將二維碼的36個比特塊載荷解碼，得到該標簽的碼字為0xd5d628584。

圖2 AprilTag36h11_0標簽解碼流程

4)若解碼得到的碼字與字典庫成功匹配，接下來對標簽進行位姿解析。首先利用標簽4個頂點在空間和圖像中的4對坐標，以及相機的內參矩陣，構建P4P(perspective—4-point)[9]方程。通過DLT(direct linear transform)方法計算出單應性變換矩陣H，對3×3的單應性矩陣H進行奇異值分解(SVD)，得到如式(1)所示的投影矩陣P和外參矩陣E。外參矩陣包含了標簽的旋轉變換分量Rij和平移變換分量Tk，s為兩組齊次坐標映射的尺度參數

(1)

通過聯立式(2)方程組求解Rij和Tk元素

h00=sR00/fx,h01=sR01/fx,h02=sTx/fx,…

(2)

旋轉矩陣R的第3列[R02R12R22]T通過其他兩列叉乘計算[10]，恢復后的旋轉矩陣如式(3)所示

(3)

由式(4)將旋轉矩陣R轉換為標簽3個自由度旋轉角

(4)

標簽中心與攝像機相對距離d通過式(5)計算得出

(5)

3.2 嵌套式AprilTag靶標圖案設計

遠距離射擊時，標簽檢測率較低的主要原因是二維碼在圖像中占用的像素過少，一個簡單的解決辦法是使用長焦鏡頭，這樣在遠距離處仍然能夠拍攝到清晰的二維碼圖案，以提升靶標檢測率。然而長焦鏡頭視野范圍相對狹窄，如圖3所示，只有在游戲槍離目標較遠時，靶標才能完整出現在攝像機視野之內，當游戲槍接近目標時，靶標在圖像中的比例會不斷增大，最終二維碼的邊緣會超出畫面，無法被探測器識別。此外，遠距離瞄準會導致微小的標簽抖動被放大，當目標移動速度較快時，容易造成標簽剛一出現在畫面中就移出視野，攝像頭很難捕捉到連續運動的標簽。這些限制決定了游戲槍只能檢測到小范圍內低速運動的AprilTag標簽，檢測距離距離d必須滿足dmin

圖3 標簽超出攝像機視野

為解決以上問題，本文設計了如圖4所示的雙層嵌套式AprilTag標簽，通過將2個大小不同的AprilTag標簽疊加在一起，合成一個近似分形圖案的靶標。考慮到玩家射擊時將靶標中心作為瞄準點，因此本文設計將兩個標簽的中心重合。這樣設計的優點是，滿足實際應用的同時避免了內外層標簽坐標系的轉換。由于解碼過程中規定比特塊的顏色是區域內超過半數像素的顏色，所以小尺寸二維碼的面積要小于大尺寸二維碼中心4個比特塊面積和的50 %，確保不干擾外層標簽解碼。

圖4 嵌套式AprilTag設計方案

為內外層標簽分配不同的尺度因子能夠補償內外層標簽因尺寸不同造成的位姿測量偏差，然而這就要求探測器能夠區分內外層標簽。一個有效的方法是，在設計中將編號為奇數的二維碼作為大尺寸基底靶標，編號為偶數的二維碼作為小尺寸嵌入靶標。探測器解碼后，讀取編號的奇偶，有選擇性地將尺度因子代入式(1)中運算，這樣保證了在僅檢測到一個標簽的情況下，也能獲知整體靶標的定位信息。

3.3 基于貝葉斯數據融合的靶標定位算法設計

當攝像頭同時捕捉到內外層標簽時，來自兩個標簽的位姿測量數據總有一定程度的不一致性，這主要來源于噪聲的影響，使用貝葉斯數據融合算法能夠有效解決這一問題。貝葉斯數據融合算法是一種基于貝葉斯理論的統計算法，能夠通過已知Z向量估計未知的n維向量X。概率密度函數P(Z|X)描述了Z關于X的條件概率，當狀態變量X的信息與之前的觀測值偏差過大，可以通過似然函數提供更準確的測量結果。X的先驗信息可以封裝為先驗概率P(X=x)。嵌套式靶標內外層標簽測量數據的融合模型如式(6)所示

p(X=x|Z=z1,z2)=

(6)

式中P(Z=z1|X=x)為外層標簽觀測值的概率模型，P(Z=z2|X=x)為內層標簽觀測值的概率模型，P(Z=z1,z2)為所有可能的測量值。使用高斯分布作為標簽觀測值的概率模型，外層標簽和內層標簽的概率模型如式(7)和式(8)所示

(7)

(8)

根據貝葉斯理論，兩個標簽融合測量值的最大后驗估計由式(9)定義

(9)

解出嵌套式靶標位姿的最優估計量為

(10)

式中z1為外層標簽解碼預測出的位姿，z2為內層標簽解碼預測出的位姿，σ1和σ2分別為外層標簽和內層標簽位姿測量值的標準差。

4 系統實現與實驗結果分析

4.1 靶標檢測率與定位誤差分析

本文使用Unity引擎生成AprilTag靶標數據集以分析檢測率和定位精度。探測器以單線程模式運行在Intel?CoreTMi9—9900X CPU 3.50GHz內核的處理器上。實驗中，物理攝像機使用70 mmIMAX型傳感器，感光元件尺寸為70.41 mm×52.63 mm，標簽尺寸為0.1 m×0.1 m，圖像分辨率為640×480，攝像機內參矩陣[11]為

(11)

在檢測率測試中，攝像機開啟后位于原點，AprilTag標簽在鏡頭前以預先規定的路徑和速度通過，當標簽進入攝像機視野后觸發捕獲。靶標的移動速度為2 m/s，測試距離從0.5 m到10 m，增量為0.5 m。在每個標定距離點的測試中運行13次，最后收集標簽的檢測率。圖5是標準AprilTag標簽和嵌套式AprilTag標簽在不同距離下的檢測率。從圖中可以看出，嵌套式標簽的檢測率比標準標簽的檢測率高很多，可檢測距離范圍也明顯大于標準標簽。

圖5 標簽檢測率對比

圖6比較了在探測器同時檢測到大小兩個標簽的情況下，是否使用貝葉斯數據融合算法對標簽定位精度的影響。實驗中，設置攝像頭與標簽的距離在4～8.5 m之間，該距離范圍內探測器能夠同時檢測到內外層標簽。從圖中可以看出，當使用貝葉斯數據融合算法時，靶標與攝像機距離測量值的相對誤差大約12.7 %。當不使用貝葉斯數據融合算法時，相對誤差的增加到了23.3 %。

圖6 定位誤差對比

4.2 系統測試

為驗證智能仲裁系統在實際應用中的表現，本文設計了如圖7所示的實驗場景。測試過程中，佩戴AprilTag靶標的機器人在場地中沿設定好的軌跡向前移動，實驗人員使用游戲槍瞄準機器人射擊，仲裁系統手機客戶端實時報告當前得分及靶標位姿信息。

圖7 智能仲裁系統手機客戶端(左)與測試場景(右)

圖8為任意4次成功命中后從仲裁系統客戶端獲得的標簽位姿數據和得分信息。坐標原點為射擊點，空心圓圈是系統預測出的靶標中心坐標，圓圈附近的數值是各命中點的得分。從圖中可以看出，命中點距離射擊點越遠得分越高，靶標中心越接近瞄準點得分越高，本文系統實現了在無需人工參與下，利用機器視覺靶標檢測算法，對玩家的射擊表現給出客觀公正的評分。

圖8 靶標位姿預測結果及效果評估

5 結 論

本文設計了一種基于機器視覺靶標檢測技術的真人射擊游戲仲裁系統。該系統利用游戲槍瞄準鏡前端的攝像頭檢測玩家身上的雙層嵌套式AprilTag標簽，并通過標簽預測對手與游戲槍的相對距離和角度差，判斷命中情況。雙層標簽在可識別范圍方面表現出了更強的優勢，更滿足真人射擊游戲這種動態距離變化大的檢測需求。使用貝葉斯數據融合算法融合大小兩個標簽的定位信息，提高了嵌套式靶標整體的定位精度。本文系統已在室內完成了功能測試，下一步將在更復雜的室外環境中測試系統的有效性。