基于FPGA硬件架構的實時高速圖像特征檢測系統

中北大學計算機與控制工程學院 溫建飛 岳鳳英

中北大學儀器與電子學院 李永紅

基于FPGA硬件架構的實時高速圖像特征檢測系統

中北大學計算機與控制工程學院 溫建飛 岳鳳英

中北大學儀器與電子學院 李永紅

高速、高精度的圖像特征檢測的實現是計算機視覺的重大難題，它是高水平圖像處理分析的基礎。然而圖像特征檢測使用傳統的軟件方法或者普通的硬件架構很難實現，因為它們在高速處理和功耗優化上有諸多弊端。構建了一個基于Sobel算法邊緣檢測的從視頻圖像提取圖像特征高速實時的圖像特征檢測系統，利用FPGA高速并行機制和流水線的處理方式，提高了圖像特征提取的效率，該系統的實現對機器人視覺有很大的應用價值。

計算機視覺；Sobel；并行流水線；FPGA

1　 引言

圖像特征點檢測有著廣泛的應用如紋理檢測、物體檢測和圖像分割等，甚至圖像特征檢測是圖像還原、圖像加密的基礎[1]。面對高性能圖像特征檢測的需求，提出一種具有特定硬件架構并行實現的實時特征檢測加速器。相對于嵌入式處理器在性能、功耗、體積上諸多限制，FPGA(field programmable gate array)的并行流水線運算方式和片上分布式存儲器為圖像特征檢測提供較多便利[2]。圖像特征檢測在圖像處理中的應用如圖1所示：

圖1　 圖像特征檢測的應用

2　 研究背景

2.1 FPGA簡介

FPGA（Field Programmable Gate Array）是作為專用集成電路（ASIC）領域中的一種半定制電路出現的，既解決了訂制電路的不足，又克服了原有可編程器件中邏輯門數有限的缺點FPGA基于LUT（查找表），片上資源豐富，有CLB（可配置邏輯單元）、IOB（輸入輸出單元）、Multipliers（硬線乘法器）、BRAM（片上RAM）、DSP（數字信號處理器）、PLL（鎖相環）等，為設計中靈活的硬件架構提供必要的條件[3]。

2.2 基于硬件架構數據流處理技術

圖像是人類認知客觀世界的重要途徑，而圖像特征檢測通過濾掉圖像中的次要信息來提取圖像特征（不變信息），圖像特征檢測技術成為了計算機視覺的一個重要的基礎[4]?；谟布軜嫷膱D像處理算法通過增加運算的并行性達到加速的目的，常用硬件復制和流水線設計方法。如圖2所示，無須等到整個流水線處理結束后才開始下一幀數據的處理，從而保證數據充滿所有的功能單元，提高了數據處理的速度[5]。

圖2　 數據流并行處理方式

3　 系統概述

3.1 系統總體架構圖

如圖3所示為基于FPGA的靈活硬件架構的實時圖像特征檢測系統架構圖，該系統主要包含圖像采集、圖像數據的轉換和處理、圖像特征提取后實時顯示部分。

FPGA收到攝像頭采集到的數據后進行數據格式轉換，并實時寫入DDR2中進行緩存，并進行圖像特征檢測處理，此時得到的數據為圖像特征提取后的邊緣數據，寫入fifo進行緩存后，輸入到VGA驅動模塊，對所提取的圖像特征信息進行實時的顯示。

圖3　 圖像特征檢測系統架構圖

3.2 系統軟件流程

系統上電經電源穩定后（置位），在對攝像頭、DDR2、顯示器等外設和FPGA內部各個模塊進行初始化，然后系統進入準備工作狀態等待，上位機通過串口發送開始采集指令Sample_en、DDR2初始化完成、DDR2完成一幀圖像數據的寫入和讀取完畢都會觸發一次本地復位信號lreset_n對FPGA各個模塊進行初始化，使得下次DDR2和各個緩沖器能夠寫入或者讀取出有效的數據。

3.3 圖像特征檢測部分

圖像特征檢測的實質是采用某種算法來提取出圖像中對象與背景間的交界線，圖像特征即為圖像匯總灰度發生急劇變化的區域邊界，圖像灰度變化可以用圖像灰度分布的梯度來反映，因此我們可以用局部圖像微分技術來獲得邊緣檢測算子[6]。

（1）本設計中使用基于窗口的實現方式，從輸入的圖像中提取出k x k像素矩陣，經過窗口管理中心點提取和算法產生一個新的輸出，通常一個像素點的輸出由每一個窗口像素矩陣經過特征檢測算法實現并且存儲在這個窗口的中心點位置，如圖4所示：

圖4　 基于窗口的操作

（2）基于FPGA硬件架構的窗口處理[7]。基于窗口的圖像幀操作可以用公式（1）來表示，I為M x N的輸入圖像窗，Y為輸出圖像，K為像素k x k核心，kij代表像素核心K的系數，Ir+i,c+j代表輸入圖像（r, c）像素點周圍k x k臨近像素，fin代表一個標量函數。

輸出值通過和一個門限閾值相比較，由一個標量函數產生最終的響應，得到我們想要的特征點，如公式（2）：

（3）基于Sobel算子的并行計算[8]。圖像特征檢測模塊從DDR2中讀取出要進行邊緣檢測的像素數據，通過并行流水線結構，實時處理并送到緩沖區以便VGA驅動模塊進行顯示。Sobel邊緣檢測算子在3X3鄰域內做亮度加權運算，與預先設定閾值比較，來確定該圖像矩陣為黑色像素還是白色像素，Sobel梯度算子的卷積模板如公式（3）所示：

4　 采取的關鍵技術及創新點

整個系統中實現控制流和數據流分割，控制部分由FPGA中Verilog編寫邏輯，與數據流協作，保證數據幀按照時間順序形成從輸入、緩存、處理、輸出的并行結構，使得系統時鐘處于一個高速并行狀態，增加了系統的穩定性，在對圖像實時性較高的應用中（如計算機視覺）更有優勢。

5　 結語

基于FPGA硬件架構的高速實時圖像特征檢測系統集視頻圖像采集、數據流緩沖器、算法處理以及實時顯示單元于一體，在FPGA的控制下實現整個系統的協調工作，實現了真正的高速實時處理攝像頭采集到的原始圖像到上位機顯示的特征圖像。

[1]Chris H,Mike S．A combined corner and edge detector[J]．In proceedings of the 4th Alvey Vision Conference,pages,1988:147-151．

[2]Stphen B, Zvonko V Fundamentals of Digital Logic with Verilog Design[J]．2th Edition McBraw-Hill 2008:10-12

[3]官鑫,王黎,高曉蓉,等．圖像邊緣檢測Sobel算法的FPGA仿真與實現[J]．現代電子技術2009,32(8) :56-58．

[4]李明,趙勛杰,毛偉民．Sobel邊緣檢測的FPGA實現[J]．現代電子技術2009,35(4):13-14．

[5]李正明,劉春國,安明建．基于FPGA的Sobel圖像邊緣檢測的設計[J]．現代科學儀器2012(4):56-57．

[6]夏宇聞．復雜數字電路與系統的Verilog HDL設計技術[M]．北京:北京航天航空大學出版社,1998．

[7]薛明星．基于FPGA器件的Sobel算法的實現[J]．電子元器件應用,2008,10(11) :27-30．

[8]袁春蘭,熊宗龍,周雪花,等．基于Sobel算子的圖像邊緣檢測研究[J]．激光與紅外2009,39(1):18-20．

溫建飛（1991—），男，中共黨員，山西忻州人，中北大學碩士研究生，研究方向為動態測試與智能儀器。

岳鳳英（1977—），女，副教授，研究生導師，研究方向為導航與制導。

李永紅（1967—），男，教授，研究生導師，研究方向為儀器科學與技術。