自適應閾值Harris算法遙感圖像配準的FPGA實現

汪強 郭來功

摘要：針對Harris角點檢測器響應值R的閾值選擇而導致角點失真問題，文章提出了一種基于現場可編程門陣列（FPGA）的自適應Harris角點檢測器實現遙感圖像的配準方式。該方式依據非最大值抑制（NMS）處理后的響應值對閾值進行實時變化。實驗結果顯示，優化架構在硬件資源僅增加2.76%的情況下，準確率相應提升了8.31%。因此，文章提出的遙感圖像配準架構適用于硬件資源有限的平臺。

關鍵詞：Harris角點檢測器；FPGA；非最大值抑制（NMS）；遙感圖像配準

中圖分類號：TP391? 文獻標志碼：A

0 引言

在眾多的計算機視覺應用中，Harris角點檢測被視為關鍵的預處理技術，例如特征識別、動態追蹤、圖像配準、3D模型構建等。在眾多常用的計算方法中，選擇合適的閾值通常會對最終結果產生長遠和深刻的影響。但是，在Harris算法的應用中，閾值的選擇只能依賴于個體的經驗判斷［1］。過高的閾值不僅可能導致角點信息的丟失，還可能引發偽角點的出現；較低的閾值不僅導致角點質量的下降，還會提高其對噪聲的敏感性［2］。潘聰等［3］通過消除偽角點的方法，成功地實施了基于FPGA的Harris角點自適應閾值檢測。本研究在其基礎上，對自適應閾值算法進行了優化，并利用FPGA將其成功應用于遙感圖像配準技術中。

2 硬件實現架構

遙感圖像配準的硬件實現架構如圖1所示，依次通過導數生成模塊、高斯濾波模塊、角點獲得模塊（角點提取和非最大值抑制）和優化后的自適應閾值模??? 塊，以實現遙感圖像角點的提取。至于圖像配準部分，本次實驗選擇了特征法和區域法。

2.1 導數生成模塊

導數生成器分別計算每一個像素水平方向和垂直方向的導數及其乘積［3］。先讀取SDRAM存儲器中圖像灰度數據，再用IP核的加法器、減法器和乘法器來實現I2x、I2y和IxIy值的計算。其中，設置這3個數值的輸出位寬為32。

2.2 高斯濾波模塊

對上一步計算得到的3幅梯度圖像進行高斯平滑處理，得到3個高斯值。高斯濾波模塊窗口大小設置為3×3，主要由X方向和Y方向進行。其中，圖像在FPGA中是逐行輸出的，因此需要通過延遲的方式來獲得3×3窗口內的9個圖像像素值。其中實驗輸入的遙感圖像大小為128×128，對圖像的第一二行分別進行128延遲和256延遲［5］。

2.3 角點獲得模塊

將高斯濾波得到的3個高斯值代入公式（7），得到遙感圖像中每一個像素的Harris角點響應函數值R，其中R為該局部區域的最大值［6］。其計算需要完成3個乘法計算，并保存至寄存器中，其中乘以參數k（設k = 0.06）的計算，使用算數右移來完成。同時避免造成角點團簇現象，R需要非最大值抑制（NMS），即去除一些較小值，將其中一些大于閾值的R輸出進行后一級的角點配準功能［5］。

2.4 自適應閾值模塊

閾值的選擇對圖像候選角點的質量也有很大影響。尋找理想閾值需要在未檢測到的真角和檢測到的假角之間進行權衡比較，這個閾值因圖像而異［7］。本文設計的自適應模塊結構如圖2所示，依據NMS后角點數量值N，分3個區間對閾值進行調節，同時利用簡單地左右移1個單位以實現P值的乘除法，其中P取2.2×10-7。

2.5 遙感圖像配準模塊

特征法是通過圖像中的特征點來進行圖像的配準操作。核心的步驟包括：首先從2張圖片中抽取特征點或描述特征的子項。再對2張圖片中的特征點或描述子項進行匹配，以確定它們之間的匹配關系。依據所識別的相應關聯，進行圖像變換矩陣的計算。最后，對其中一張圖像執行變換操作，確保2張圖像在空間維度上達到配準狀態。至于后2步通常采用最小二乘法來進行問題的解決，這樣就可以達到圖像的精確配準。

3 仿真驗證與分析

該部分采用FPGA和MATLAB對比的方式進行。其中，FPGA采用Intel（Altera）公司Cyclone Ⅳ E系列的EP4CE15F23C6型開發平臺，開發環境為Quartus II 18.0，使用Verilog HDL完成數據流的描述。遙感圖像配準仿真對比結果如圖3—5所示。

4 結語

本文提出的基于FPGA的自適應閾值Harris特征提取和遙感圖像配準架構，以NMS為載體，改進自適應閾值模塊，在FPGA占用資源增加2.76%的情況下，適度提高了遙感圖像角點檢測速度和配準精度。

參考文獻

［1］孫萬春.基于視頻的公共場所人數統計研究［D］.重慶：重慶理工大學，2018.

［2］孫萬春，張建勛，朱佳寶，等.S-Harris：一種改進的角點檢測算法［J］.重慶理工大學學報（自然科學），2018（10）：156-161.

［3］潘聰，黃魯.基于FPGA的自適應閾值Harris角點檢測硬件實現［J］.微型機與應用，2016（19）：44-46，49.

［4］SIKKA P，ASATI A R，SHEKHAR C.Real time FPGA implementation of a high speed and area optimized Harris corner detection algorithm［J］.Microprocessors and Microsystems，2021（2）：1-6.

［5］王躍霖.基于FPGA的動態目標檢測與跟蹤系統的研究［D］.蘭州：蘭州交通大學，2018.

［6］閆小盼，敖磊，楊新.Harris角點檢測的FPGA快速實現方法［J］.計算機應用研究，2017（12）：3848-3851.

［7］MAURYA S，CHOUDHURY Z，PURINI S.Accuracy configurable FPGA implementation of Harris corner detection［C］.2022 IEEE Computer Society Annual Symposium on VLSI （ISVLSI）.Nicosia，2022：422-427.

（編輯 沈 強編輯）

FPGA implementation of adaptive threshold Harris algorithm for remote sensing image registrationWang? Qiang， Guo? Laigong

（School of Electrical and Information Engineering， Anhui University of Technology， Huainan 232001， China）

Abstract：? Aiming at the problem of corner distortion caused by the threshold selection of the response value R of Harris corner detector， an adaptive Harris corner detector based on FPGA is proposed to achieve remote sensing image registration. This method changes the threshold in real-time based on the response value after Non Maximum Suppression （NMS） processing. The experimental results show that the optimized architecture achieved an accuracy improvement of 8.31% with only a 2.76% increase in hardware resources. Therefore， the remote sensing image registration architecture proposed in this article is suitable for computing on platforms with limited hardware resources.

Key words： Harris corner detector; FPGA; Non Maximum Suppression （NMS）; remote sensing image registration