基于紅外瞄具的一鍵自動校槍方法與系統

李江輝，駱 兵

基于紅外瞄具的一鍵自動校槍方法與系統

李江輝，駱 兵

（上海熱芯視覺科技有限公司，上海 200331）

由于紅外圖像的夜視顯示功能，并且能遠距離觀測目標，所以常常應用在槍械的狙擊瞄具上。但是紅外瞄準具首次安裝在槍械上時，需要校準零位，把紅外瞄準具的十字分化準心與槍械狙擊時的目標靶心重合。經過零位校準的紅外瞄準具，在狙擊時才能準確擊中目標，如何進行自動高效的零位校準，是每一臺紅外瞄準具在初次使用時必須要解決的問題。本文調研了目前主流的零位校準方法，進行了分析對比，并且提出了一種基于單鍵觸發的高效自動校槍的方法和流程，簡化了校槍的流程，提升了校槍的效率，在工程應用中解決了紅外瞄具在初次使用難以校準，校準慢的問題，同時大大提升了用戶使用體驗感。

FPGA；單鍵觸發；自動校槍；零位計算；人機交互；紅外圖像；目標區域

0 引言

將紅外圖像應用在槍械瞄準具時，可以實現夜間觀察、輔助作戰、遠距離偵查等，這樣的紅外瞄準具安裝在槍械上，要求圖像質量好、體積小巧、重量輕、功耗低，可以長時間穩定工作，例如文獻[1-4]，基于FPGA（field programmable gate array）的紅外圖像處理平臺是目前首選的工程實現的硬件方案。

在FPGA的嵌入式系統中完成紅外圖像的采集，降噪濾波、非均勻性校正、銳化增強、AGC（automatic gain control）動態調光等等紅外圖像處理，最后將處理好的紅外圖像輸出顯示在小型OLED（organic light-emitting diode）顯示屏幕上。如果未經過零位校準的瞄具，直接從OLED顯示屏上觀測目標靶標，并進行射擊，是很難命中靶標的。因為我們的瞄具是通過支座卡槽連接、固定在槍械上的，所以相對于槍管的平行中心在垂直方向是有偏移的，在對準目標靶標進行瞄準時，瞄具上的OLED顯示屏顯示的靶標中心并不是槍管對準目標的真正中心，并且由于重力作用，打出去的子彈會經過拋物線落到目標靶面上，隨著目標距離越遠，拋物線運動越明顯。所以紅外瞄準具安裝在槍械上時，每經過一段距離就需要進行一次系統的零位標定和校準，以保證槍械瞄準的準確度。目前在紅外瞄具初次使用時，傳統的零位校準方法有激光定標測距方法和圖像凍結計算方法，這兩種方法要么需要借助其他設備輔助測量，要么校準過程復雜，繁瑣，準確度難以保證。而本文提出的零位校準方法，在校準過程中不需要額外的輔助設備，操作簡單，一鍵觸發、自動計算，校準準確度高。

1 傳統的校準算法

1.1 激光定標測距法

激光定標測距法需要專用的校準靶標，以及激光測距儀、標尺，協作測量才能完成紅外瞄準具的校準，比較費時費力。在空曠訓練靶場，用槍械紅外瞄具的十字分化線瞄準目標靶標中心進行實彈射擊后，子彈打出去在靶標附近留下彈孔，先用激光測距儀測出靶標與紅外瞄具之間的距離，然后利用標尺測出靶標中心與彈孔之間的實際距離，并根據紅外瞄具所用鏡頭的焦距，利用如圖1所示倒三角光路映射關系，文獻[5-8]中提出該種三角測距法，將彈孔偏移靶標中心的距離映射至紅外圖像上像素偏移數值。將該偏移數值作為紅外瞄準具進行校準調整十字分化線的依據。

圖1 倒三角光路映射關系圖

該種方法需要的測量工具較多，測量過程復雜，測量時間長導致校槍的效率低下。

1.2 圖像凍結計數法

圖像凍結計數法需要用槍瞄的十字分劃線瞄準靶標射擊后，再一次用十字分化線重新瞄準同一靶標，進行準心校準。文獻[9-15]中提出了該種零位偏移計數方法。由于在實彈射擊過程中，子彈打出的瞬間產生沖擊力，導致槍支晃動或者移動，所以在打出子彈后，需要再一次用十字分化線重新瞄準該靶標中心，進行校準。如圖2(a)所示為實彈射擊之前瞄具目標靶標中心的畫面，圖2(b)所示為實彈射擊之后瞄具目標靶標中心的凍結畫面。凍結畫面即將圖像畫面定住，不再因為目標場景的變化而變化。在子彈打出后，由于子彈穿透過靶標，子彈與靶標摩擦發熱，產生的彈孔在紅外圖像中顯示為一個高亮的點或者塊，紅外圖像中對應的目標越熱越亮。隨著時間的延長，彈孔處的熱量也會消失，凍結圖像的目的就是保持該彈孔處熱源高亮的狀態。

圖2 圖像瞄準凍結示意圖

由圖2(b)可知，彈孔在目標靶標中心的右上方（也有可能在左上方、左下方、右下方等情況），表明實際的準心位于瞄準具的十字分化線的中心偏右上的位置。圖2(b)相對于圖2(a)目標靶標相同，距離相同，只是多了一個子彈彈孔高亮的痕跡。并在該凍結畫面中，彈孔處高亮的熱度不會消失，在該畫面下，進行十字分化線偏移數值的調整，即往右上方偏移，讓十字分劃線的交叉點與彈孔熱源的中心重合，并保存該狀態，即完成了熱瞄準心的校正過程。在該校準過程中，需要兩次瞄準目標靶標中心，而且需要手動一個像素一個像素地調整十字分化線的中心，過程相對繁瑣，并且在前后兩次瞄準該靶標中心的位置是需要完全一樣，不能偏移一個像素，否則調整完的十字分化線的中心即準心也是有偏差。這個由于人眼觀察誤差、瞄準誤差，所以較難做到前后兩次瞄準的目標中心是完全一致的。

2 一鍵自匹配校準算法

為了實現操作簡單、校準精度高、校準效率高的要求，本文在傳統校準算法的基礎上進行了改進和提升。如圖3所示為視頻處理基本流程框圖。

在FPGA嵌入式系統中，用邏輯部分來進行ISP（image signal processing）圖像處理，用軟核構建CPU（central processing unit）來做OSD（on-screen display），比如十字分劃線的畫線、調整、按鍵處理都可以在OSD中做。在本文中，ISP部分將圖像傳感器輸出的視頻圖像按視頻流形式一幀一幀地進行ISP處理，同時針對各算法模塊的需求進行視頻圖像數據的緩存，存儲器為外掛的DDR（double data rate SDRAM）。同時對OSD部分要顯示的字符、圖片等信息寫入外部DDR的特定地址空間，ISP模塊將該信息讀出并與圖像信息進行疊加輸出在OLED屏幕上顯示。在一鍵自匹配校準算法中，用到自匹配算法和熱點追蹤算法以及偏移量自動校正算法。

圖3 視頻處理基本流程

2.1 自匹配算法

用來解決上述傳統的圖像凍結計數法過程中，前后兩次較難瞄準靶標中心的一致性問題。本文采用SSD（sum of squared differences）誤差平方和算法進行模板匹配，考慮模板匹配消耗的硬件資源巨大，并結合一般槍支瞄準具的準心偏移不是特別大的情況，可適當縮小模板的大小，并可在軟核構建的CPU中完成模板的采集和匹配過程，為了減少存儲容量和計算帶寬，在ISP處理完成后的Y8灰度圖像上實現計算過程。如圖4所示為模板采集與匹配過程，即用十字分劃線完成目標靶標中心的瞄準后，初始的十字分劃線的坐標位置通常處于圖像區域的中心位置(1,1)，啟動自匹配算法時，以十字分劃線中心的周圍區域采集一幀模板，模板的大小為×，可在CPU的軟核開辟一個×大小的二維數組用來存儲該模板圖像。

圖4 模板采集與匹配過程

并在射擊完成后，再一次用十字分劃線來瞄準目標靶標中心，這里其實不用完全瞄準靶標中心，只需要將目標靶標的中心移入圖4(b)外框中即可，圖4的外框尺寸大小為2×2，在該區域內進行模板匹配計算，其中匹配的相似度計算公式如(1)式：

式中：(,)是圖4(a)模板中的Y8灰度值，(,)是其坐標。(,)為圖4(b)待側區域的Y8灰度值，并且將模板從該區域內逐次移動，從上到下，從左到右，移動遍歷求解對應的相似度。并對相似度進行排序，得到最小的相似度對應坐標所在區域即為匹配成功，并將該坐標位置(2,2)記錄下來。

2.2 熱點追蹤算法

熱點追蹤算法，對于圖像凍結后，在凍結圖像畫面中尋找彈孔熱點，在子彈剛剛射擊出去那一瞬間，子彈穿透靶標，留下的彈孔溫度高，相對于靶標上其他區域，在灰度圖像上顯示為更亮的點或者斑塊，如圖5所示。

圖5 彈孔斑塊示意圖

在該凍結畫面中找出最熱的點或者最熱的斑塊的中心，可以先將該塊最熱的區域定位出來，然后進行二值化處理，在二值化后的圖像上求質心即可得到最熱的斑塊的中心坐標。具體步驟為：

第一步：先對整幅圖像進行初步搜索，找最大灰度值，從左至右，從上至下，依次遍歷每個像素點，如果是最大值，將該最大灰度值GRAY1以及對應坐標(,)記錄下來。

第二步：再對整幅圖像進行搜索，并排除第一步得到的坐標的搜索，同理得到最大灰度值GRAY2以及對應坐標(,)，并對第一步與第二步得到的最大灰度值以及對應坐標判別，如下公式(2)、(3)、(4)所示：

Abs(GRAY1－GRAY2)＜TH1(2)

Abs(－)＜TH2(3)

Abs(－)＜TH3(4)

式中：TH1、TH2、TH3為設定閾值，依據多場景測試經驗所得，本文中設計為20、10、10。如果同時滿足上述公式，將坐標(,)記錄下來。該坐標位置只是初步定位出了彈孔斑塊處的大概位置，并不是中心位置，為了精準地得到彈孔斑塊處的中心位置。

第三步，以坐標(,)處為中心，設定一塊矩形區域大小為×，本文中設計為64×64，在該塊矩形區域內，對區域內的像素點進行二值化處理，二值化的閾值為GRAY1×0.7，判斷區域內的像素灰度值若大于閾值GRAY1×0.7，則置為0xff，否則置為0x00。

第四步，對二值化后的圖像區域進行質心的求解，如式(5)、(6)所示。

得到區域內的質心坐標后，將該質心坐標轉換映射至全局圖像上的坐標(3,3)。

2.3 偏移量自動校正算法

上述方法在實彈射擊之前，用瞄具十字分化線的中心坐標(1,2)瞄準目標靶標中心，射擊后，在凍結圖像上特定區域進行模板匹配得到匹配坐標(2,2)，最后經過熱點追蹤算法，得到熱源彈孔高亮斑塊的中心坐標為(3,3)，所以匹配的坐標相對于原十字分化線中心坐標的第一級偏移如下式(7)所示：

offset1＝2－1offset1＝2－1(7)

熱源彈孔處高亮的斑塊的中心坐標相對于匹配之后圖像的中心坐標的第二級偏移為下式(8)所示：

Offset2＝3－2offset2＝3－2(8)

所以最后求得彈孔處中心坐標相對原十字分化線中心的偏移量為下式(9)、(10)所示：

Doffset＝offset1＋offset2(9)

Doffset＝offset1＋offset2(10)

在該算法中經過兩級偏移量修正計算后，得到最終的修正偏移量，按最終偏移量去調整十字分劃線的位置，可以將瞄具的準心自動地糾正過來。

2.4 一鍵自匹配校準算法執行流程

紅外瞄具安裝在槍支上，進行實彈射擊校槍，按下觸發按鍵啟動一鍵自匹配校槍流程。因為是一鍵執行操作，所以在OLED顯示屏上會進行人機交互，按照顯示屏上出現提示信息進行操作。如圖6所示為執行流程圖。

圖6 算法執行流程

按下按鍵啟動一鍵開始，OLED顯示屏出現檢測框和提示信息如圖7所示。第一步：倒計時15s用十字分化線瞄準目標靶標中心，瞄準完成后保持槍支不動，在15s結束后，開始凍結圖像，并以十字分劃線交叉點為中心區域采集模板，模板大小為×，可根據實際情況設定，采集模板完成后，解凍圖像。第二步：進入下一個倒計時8s，在該倒計時內，完成單發子彈射擊。第三步：進入另一個8s倒計時，將靶標中心移入檢測框內進行檢測。第四步：凍結圖像，并啟動模板匹配算法，找出靶標中心相對射擊之前的靶標中心的偏移量。第五步：啟動熱點追蹤算法，在凍結圖像上找出彈孔熱源處的中心，得到彈孔位置相對于十字分劃線中心的偏移量。第六步：啟動偏移量自動修正算法，將兩級偏移量相加得到最終的偏移量，并以最終偏移量去調整原始的十字分化線的位置，完成準心的校正。

圖7 十字分化線和檢測框圖

3 分析討論

本文針對紅外圖像應用在槍械的瞄具上，對紅外瞄具的零位準心的校準操作進行了說明，針對傳統的校準算法、流程和工具進行了介紹，傳統的激光定標測距法，需要激光測距儀、校準靶標、標尺、協作測量才能完成，費時費量、成本高、效率低下。而圖像凍結計算法，需要前后兩次瞄準目標靶標中心，并且在前后兩次瞄準該靶標中心的位置是需要完全一致，不能偏移一個像素，否則調整完的十字分化線的中心即準心也是有偏差，在實際操作過程中難以保證，而且十字分劃線位置的調整，需要手動一個像素一個像素地調節，操作過程繁瑣、效率低。最后基于單鍵觸發的自匹配校準算法，是一鍵觸發，按提示操作，自動計算，計算完成后，自動修正準心偏移量的過程，非常方便、快捷、高效，非常適合于工程應用。并且在模板尺寸大小、檢測框尺寸大小以及彈孔斑塊矩形區域尺寸大小都可以根據子彈大小、射程距離、以及靶標上留下彈孔的大小來適配修改的。可適應于不同的槍支、不同距離、不同靶標的零位準心校準。

4 算法驗證

基于紅外瞄具的一鍵自動校槍方法與系統算法的驗證過程是將紅外瞄具固定安裝在光軸一致性校準平臺底座上如圖8所示，瞄準前方圓形支架上的十字靶標，該圓形支架在平臺上可前后移動，模擬距離的變化。

圖8 紅外瞄具安裝固定示意圖

固定安裝好紅外瞄具后，開機觀測目標，發現紅外瞄具的十字分化中心與前方圓形支架上的十字靶標中心其實不重合的，如圖9所示，單鍵按下啟動一鍵校槍匹配算法，經過上述2.4節算法計算后，紅外瞄具的十字分化中心自動進行修正了，修正后的十字分化中心幾乎與十字靶標中心重合，如圖10所示，經過放大后觀測、并測量修正后的十字分化中心與實際十字靶標中心誤差在1個像素以內。其次我們移動圓形支架距離紅外瞄具安裝點位距離3m、10m、20m、50m等位置，同時將紅外瞄具的十字分化中心調整為與十字靶標中心不重合。再啟動算法，觀測進行算法修正后的十字分化中心與十字靶標中心的重合度，經過多次調整與測量，發現修正后的十字分化中心與實際十字靶標中心誤差都在1個像素以內。所以整體來看，該算法校正精度是很高的，完全滿足國軍標GJB5815-2006射效矯正的精度要求。

圖9 紅外瞄具十字分化與十字靶標不重合示意圖

圖10 紅外瞄具十字分化與十字靶標重合度示意圖

5 結論

本文對紅外瞄具安裝在槍支上的準心校準方法進行了介紹，對傳統的零位校準方法以及本文提出的新的校準方法的原理、算法、計算過程進行了詳細的介紹和對比，本文提出的一鍵自匹配校準算法解決了傳統激光測距定標法的校準過程復雜、校準成本高、效率低的問題，同時也解決了傳統圖像凍結計數法的前后兩次瞄準一致性難的問題。在FPGA的紅外圖像處理平臺上添加了自匹配校準算法，既能完成紅外圖像的夜視、遠距離觀測目標，同時又能安裝在槍支、槍械等精確瞄準的應用場景，一鍵自動零位校準，輔助精確打擊，具有一定的工程實際應用價值。

[1] 李冰, 李范鳴. 基于PCI Express總線的紅外圖像實時采集與顯示系統及其界面設計[J].紅外, 2016, 37(9): 8-12. LI Bing, LI Fanming. Real-time infrared image acquisition and display system based on PCI Express bus and its interface design[J]., 2016, 37(9): 8-12

[2] 李大華, 王宇, 高強, 等. 基于細胞免疫的紅外圖像分割算法及FPGA實現[J]. 紅外, 2020, 41(4): 27-35. LI Dahua, WANG Yu, GAO Qiang, et al. Infrared image segmentation algorithm and FPGA implementation based on cellular immunity[J]., 2020, 41(4): 27-35.

[3] 李強. 基于FPGA的實時紅外圖像采集與預處理系統[J]. 紅外, 2012, 33(10): 21-24. LI Qiang. Real-time infrared image acquisition and preprocessing system based on FPGA[J]., 2012, 33(10): 21-24.

[4] 趙立初, 周煦潼. 模板圖像匹配中的亞像元定位新方法[J]. 紅外與毫米波學報, 1999, 18(5): 407-411. ZHAO Lichu, ZHOU Xutong. A new algorithm with sub-pixel accuracy in image/model matching[J]., 1999, 18(5): 407-411.

[5] 呂明義. 紅外輻射源的校準方法[J/OL]. 紅外與毫米波學報, 1984, 3(4): http://journal.sitp.ac.cn/hwyhmb/hwyhmbcn/article/abstract/ 198404110. LU Mingyi. Calibration method of Infrared radiation source[J/OL]., 1984, 3(4): http://journal.sitp.ac.cn/ hwyhmb/hwyhmbcn/article/abstract/198404110.

[6] 韓義波, 楊新鋒, 滕書華, 等. 激光與紅外融合目標檢測[J]. 紅外與激光工程, 2018, 47(8): 804005-0804005(7). DOI: 10.3788/IRLA201847.0804005. HAN Yibo, YANG Xinfeng, TENG Shuhua, et al. Detection of laser and infrared fusion target[J]., 2018, 47(8): 804005-0804005(7). DOI: 10.3788/IRLA201847.0804005.

[7] 宋宏, 張云菲, 吳超鵬, 等. 水下相位式激光測距定標方法[J]. 紅外與激光工程, 2019, 48(4): 406008-0406008(7).

SONG Hong, ZHANG Yunfei, WU Chaopeng, et al. Calibration method of underwater phase laser ranging[J]., 2019, 48(4): 406008-0406008(7).

[8] 胡波, 張云菲, 吳超鵬, 等. 基于圖像的水下三點激光測距方法研究[J]. 紅外與激光工程, 2019, 48(10): 1005011-1005011(10).

HU Bo, ZHANG Yunfei, WU Chaopeng, et al. Image-based three-beam underwater laser ranging method[J]., 2019, 48(10): 1005011-1005011(10).

[9] 崔成君, 勞達寶, 董登峰, 等. 飛秒激光跟蹤儀跟蹤脫靶量零位標定方法[J]. 紅外與激光工程, 2017, 46(1): 117001-0117001(8). DOI: 10.3788/IRLA201746.0117001. CUI Chengjun, LAO Dabao, DONG Dengfeng, et al. Calibration method for initial position of miss distance in femtosecond laser tracker[J]., 2017, 46(1): 117001-0117001(8). DOI: 10.3788/IRLA201746.0117001.

[10] 李延風, 安志勇, 王勁松, 等. 紅外零位走動量測量中的相機姿態自適應補償[J]. 紅外與激光工程, 2015, 44(5) : 1500-1505. LI Yanfeng, AN Zhiyong, WANG Jinsong, et al. Camera position adaptive compensation in infrared zero momentum measuring[J]., 2015, 44(5): 1500-1505.

[11] 門濤, 楊悅, 徐蓉, 等. 增量式光電軸角編碼器零點漂移問題解決[J]. 紅外與激光工程, 2014, 43(2) : 497-501. MEN Tao, YANG Yue, XU Rong, et al. Resolution of incremental photoelectric angular encoder with reference mark excursion[J]., 2014, 43(2): 497-501.

[12] 王輝, 呂瑛潔, 林德福, 等. 擴展彈道成型制導系統脫靶量特性分析[J].紅外與激光工程, 2013, 42(5): 1322-1329. WANG Hui, LV Yingjie, LIN Defu, et al. Miss distance analysis of the extended trajectory shaping guided systems[J]., 2013, 42(5): 1322-1329.

[13] 鐘昆, 蘇偉, 彭波, 等. 基于脫靶量的水下目標激光掃描探測模型[J]. 紅外與激光工程, 2020, 49(2): 0203004-0203004. DOI: 10.3788/IRLA202049.0203004. ZHONG Kun, SU Wei, PENG Bo, et al. Model of underwater target laser scanning detection based on undershoot distance[J]., 2020, 49(2): 0203004-0203004. DOI: 10.3788/IRLA202049.0203004.

[14] 肖瑞兵, 李林, 李彥生, 等. 一種測試零位走動量的新方法[J]. 紅外技術, 2017, 39(2): 178-183. XIAO Ruibing, LI Lin, LI Yansheng, WANG Guiquan, et al. A new method to measure the zero position offset[J]., 2017, 39(2): 178-183.

[15] 王東, 周清明, 張鵬, 等. 紅外告警系統被動測距方法分析[J]. 紅外技術, 2010, 32(8): 440-442. DOI: 10.3969/j.issn.1001-8891. 2010.08.002. WANG Dong, ZHOU Qingming, ZHANG Peng, et al. An analysis on passive ranging measurement of IRST systems[J]., 2010, 32(8): 440-442. DOI: 10.3969/j.issn.1001-8891.2010.08.002.

Method and System of One-key Automatic Gun Calibration Based on Infrared Sight

LI Jianghui，LUO Bing

(Shanghai Hot Core Vision Technology Co. LTD., Shanghai 200331, China)

Due to the night-vision display function of infrared images and their ability to observe targets over long distances, they are often used in sniper sights for firearms. However, when an infrared sight is first installed on a firearm, it is necessary to calibrate the zero position such that the cross-division center of the infrared sight coincides with the target center of the firearm during sniping. A target can only be accurately hit during sniping if the infrared sight has undergone zero calibration. Performing automatic and efficient zero calibration is a problem in that every infrared sight differs when it is first used. This article investigates the current mainstream zero calibration methods, analyzes and compares them, and proposes an efficient automatic calibration method and process based on single-key triggering, which simplifies the calibration process and improves its efficiency. In engineering applications, it solves the problem of difficult and slow calibration of infrared sights during initial use and greatly improves the user experience.

FPGA, single key trigger, automatic gun calibration, zero calculation, human-computer interaction, infrared image, the target area

TJ203+.9

A

1001-8891(2023)08-0822-06

2022-07-12；

2022-09-21.

李江輝（1985-），男，漢族，碩士。主要研究方向：紅外圖像處理及相關技術。E-mail：273231079@qq.com。