基于FPGA的實時彩色圖像邊緣檢測算法的實現(xiàn)

陳 虎，凌朝東＊，張 浩，楊 驍，湯 煒

（1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門361021；2.廈門市專用集成電路系統(tǒng)重點實驗室，福建 廈門361008）

1 引 言

邊緣是圖像的最基本特征，是圖像局部亮度變化最顯著的部分，是物體的輪廓或物體不同表面之間的交界在圖像中的反映，它是圖像分割、紋理特征提取和形狀提取等圖像分析的重要基礎(chǔ)。邊緣檢測是利用物體和背景在某種圖像特性上的差異來實現(xiàn)，這些差異包括灰度、顏色或者紋理特征。在實時圖像處理中，由于實現(xiàn)邊緣檢測算法涉及的運算數(shù)據(jù)量很大，一般運算器的順序執(zhí)行或用傳統(tǒng)的軟件方法都很難達(dá)到實時性要求［1］。而采用FPGA 的并行結(jié)構(gòu)和流水線技術(shù)，可提高圖像邊緣檢測的處理速度，滿足系統(tǒng)實時性要求。

Sobel算法是一種基于梯度的邊緣檢測算法，相比其他邊緣檢測算法，如Marr－Hildreth、Canny基于梯度信息的自適應(yīng)平滑濾波和基于小波的邊緣檢測算子等［2－4］，其計算簡單，只涉及到乘加運算，同時具有非線性和一定的平滑效果。所以對于灰度圖像Sobel算子能夠取得很好的邊緣檢測效果，而對于彩色圖像，由于不能充分利用彩色圖像的顏色信息，因此會丟失原始圖像的一些細(xì)節(jié)信息，出現(xiàn)邊緣模糊現(xiàn)象，影響圖像后續(xù)的分析和處理［5］。有研究表明，彩色圖像中大約有90%與灰度圖像邊緣相同，但余下10%的邊緣單靠灰度圖像是檢測不出來的。

本文針對上述存在的不足，對Sobel算子進(jìn)行改進(jìn)，通過增加邊緣檢測的方向模板，改善其對紋理復(fù)雜圖像的適應(yīng)能力，同時，引進(jìn)一種快速中值濾波方法對輸入圖像數(shù)據(jù)進(jìn)行去噪預(yù)處理，濾除由于圖像獲取、傳輸、存儲、處理和隨機(jī)干擾等產(chǎn)生的噪聲。實驗結(jié)果表明，本文涉及的系統(tǒng)能夠滿足實時性的要求，具有良好的檢測精度和抗噪能力。

2 中值濾波原理

在實時圖像采集中，不可避免的會引入噪聲，尤其是干擾脈沖和椒鹽類噪聲，噪聲的存在嚴(yán)重影響邊緣檢測的效果，中值濾波是一種基于排序統(tǒng)計理論的非線性平滑技術(shù)，能有效平滑噪聲，且能有效保護(hù)圖像的邊緣信息，所以被廣泛用于數(shù)字圖像的邊緣提取，其基本原理是把數(shù)字圖像或數(shù)字序列中一點的值用該點一個鄰域內(nèi)各點的中值來代替。對二維中值濾波，其公式表示如下［6］：

其中：f （x ，y） ，g （x ，y） 分 別為原 始 圖 像 和 輸 出 圖像，W 為二維窗口，大小為n×n（n 一般為奇數(shù)），可以是3×3或5×5等，常用的形狀有方形、圓形和十字形等。

3 Sobel邊緣檢測算法

3.1 Sobel邊緣檢測算法原理

Sobel算子是一階導(dǎo)數(shù)的邊緣檢測算子，它在圖像空間利用兩個3×3的方向模板與圖像中的每個點進(jìn)行鄰域卷積來完成，其中，這兩個方向模板分別檢測水平和垂直邊緣，如圖1所示。

圖1 （a）一副圖像的3×3區(qū)域；（b）垂直Sobel算子；（c）水平Sobel算子 Fig.1 （a）3×3image area；（b）Vertical Sobel operator；（c）Horizontal Sobel operator

梯度值由式（2）確定［7］：

式中：I（x，y）為灰度圖像，＊為卷積運算，Si（i＝1，2）分別代表2個方向模板，最后把梯度H 與設(shè)定的閾值Th 進(jìn)行比較，若大于Th，則判定該點為邊緣部分，把中央像素灰度值P5設(shè)為255，否則判為非邊緣部分，灰度值P5設(shè)為0。

3.2 改進(jìn)的Sobel邊緣檢測算法

由于彩色圖像的每一個像素包含R、G、B 三個通道，且三者分布不一樣，導(dǎo)致各個通道得到的邊緣特征位置也不相同，因此直接利用傳統(tǒng)灰度圖像的處理方法來確定彩色圖像邊緣，就不能充分利用彩色圖像的顏色信息。為了能夠提取出清晰的邊緣圖像，并充分利用彩色圖像的特點，本文把傳統(tǒng)Sobel算子方向模板由2 個增加到了8個，如圖2 所示，就可以從多個方向檢測圖像邊緣，因此能在一定程度上解決了傳統(tǒng)算子梯度計算中的方位局限問題。

圖2 改進(jìn)的Sobel算子8方向邊緣檢測模板Fig.2 Improved Sobel operator edge detection templates of 8directions

實際上，圖像的灰度梯度方向的取值范圍應(yīng)為0°～360°，而這里只定義了8個方向的模板［8］，當(dāng)然，繼續(xù)增加方向模板的數(shù)量可進(jìn)一步提高定位精度，但出于計算效率的考慮和邊緣寬度的限制，不宜再增加算子模板的數(shù)量［9］。

根據(jù)傳統(tǒng)Sobel算子邊緣檢測理論和提出的8方向模板Si（i＝1，2，…8），對圖像中每個點進(jìn)行鄰域卷積運算，提取圖像8個方向上的邊緣成分，即：

圖像中每個像素的梯度值可表示為：

4 基于Sobel邊緣檢測算法的系統(tǒng)總體設(shè)計

4.1 基于FPGA 的邊緣檢測算法的系統(tǒng)總體架構(gòu)設(shè)計

根據(jù)系統(tǒng)要求，系統(tǒng)主要包括以下4 個模塊［10］，即：實時圖像采集、圖像數(shù)據(jù)存儲、邊緣檢測、檢測結(jié)果顯示4 個模塊，基于FPGA 的實時圖像邊緣檢測硬件架構(gòu)如圖3。

圖3 基于FPGA 的實時圖像邊緣檢測系統(tǒng)框圖Fig.3 System block diagram of real－time image detection based on FPGA

各模塊的功能如下：CMOS攝像頭實時采集數(shù)字圖像數(shù)據(jù)，將采集到的原始圖像數(shù)據(jù)送入色彩轉(zhuǎn)換模塊將其轉(zhuǎn)換成RGB 格式圖像數(shù)據(jù)；SDRAM 控制器將圖像數(shù)據(jù)存儲在片外存儲芯片SDRAM 中；經(jīng)快速中值濾波模塊進(jìn)行圖像去噪處理后，在Sobel邊緣檢測模塊進(jìn)行梯度運算處理［11］；LCD 液晶屏控制模塊連續(xù)刷新屏幕將邊緣檢測的結(jié)果在液晶屏上顯示［12］。

4.2 中值濾波算法的設(shè)計與實現(xiàn)

采用FPGA 實現(xiàn)中值濾波算法電路設(shè)計主要包括3×3 模板生成模塊和排序模塊，如圖4所示［13］。

4.2.1 3×3模板生成模塊

為了得到3×3模板生成模塊，常使用FIFO模塊作為圖像數(shù)據(jù)的緩沖器，本設(shè)計通過調(diào)用Quartus II軟件中基于RAM 的移位寄存器宏模塊altshift＿taps 實 現(xiàn) 行 延 遲 以 生 成3×3 模板［14－15］，其中行緩存的深度等于輸入圖像的行像素總數(shù)，然后，每行通過3個移位寄存器（3行共9個）進(jìn)行列延遲將數(shù)據(jù)并行輸出，如圖5所示。

圖4 中值濾波圖像處理流程圖Fig.4 Image processing flow chart of median filtering

圖5 3×3窗口輸出數(shù)據(jù)硬件實現(xiàn)架構(gòu)Fig.5 Hardware implementation architecture of 3×3 output data window

4.2.2 排序模塊

圖6 快速中值濾波算法流程圖Fig.6 Fast median filtering algorithm flow chart

相比于傳統(tǒng)中值濾波算法采用冒泡方法進(jìn)行排序，快速中值濾波只需要19次比較運算即可得出中值，由于其設(shè)計簡明扼要，易于用Verilog HDL語言編寫，且在一定程度上節(jié)省了硬件資源，以滿足圖像實時性要求，圖6為快速中值濾波算法流程圖，其中，Pi（i＝1，2，…9）為上述3×3窗生成模塊的輸出數(shù)據(jù)，也是算法模塊的輸入數(shù)據(jù)。A1，A2，A3，B1，B2，B3，C均為3點比較器，該比較器對輸入的3個像素值進(jìn)行排序輸出，自左向右依次為最大值、中值、最小值（圖中分別以max、med、min表示）。

由圖6可知，共需要3級比較實現(xiàn)中值輸出：第一級，通過比較器A1，A2，A3分別對輸入的數(shù)據(jù)進(jìn)行排序，將各自的最大值送入B1，中值送入B2，最小值送入B3。第二級，將B1的最小值送入C，B2的中值送入C，B3的最大值送入C［16］。第三級，將C 的中值作為輸入9 個像素值的中值輸出。

4.2.3 行列計數(shù)器模塊

在對圖像進(jìn)行處理過程中，隨著3×3方形框不斷向右滑動，達(dá)到第n－1，n 和n＋1行的最右端，此時，第n行處理完畢需轉(zhuǎn)去處理n＋1行數(shù)據(jù)，同時方形框開始移至第n，n＋1和n＋2行的最左端，開始對窗口內(nèi)數(shù)據(jù)進(jìn)行處理。因此，需要一個模塊來判斷數(shù)據(jù)是否已經(jīng)到達(dá)圖形邊緣，本文圖像數(shù)據(jù)為二維陣列，需要設(shè)計兩個計數(shù)器：行、列計數(shù)器，其模塊圖如圖7所示。

圖7 行列計數(shù)器模塊Fig.7 Rows and columns counter module

4.3 Sobel邊緣檢測算法的硬件實現(xiàn)

傳統(tǒng)Sobel邊緣檢測算法框圖如圖8所示。

圖8 傳統(tǒng)Sobel算子邊緣檢測算法框圖Fig.8 Block diagram of traditional Sobel operator edge detection algorithm

而本文在此基礎(chǔ)上，對彩色圖像每個顏色通道進(jìn)行8個方向的實時邊緣檢測輸出，則本文提出的基于改進(jìn)的Sobel算子邊緣檢測算法框圖如圖9所示［17］。

圖9 基于改進(jìn)的Sobel算子的彩色圖像邊緣檢測流程圖Fig.9 Color image edge detection based on the improved Sobel operator flow chart

具體處理步驟如下：

（1）將彩色圖像的每個像素點的顏色分解為R、G、B 3個分量。

（2）對（1）中3分量中的數(shù)據(jù)分別中值濾波圖像去噪預(yù)處理。

（3）用公式（3）分別計算R、G、B 3個分量在0°，45°，…，315°8個方向的梯度值。

（4）用公式（4）分別對彩色圖像的每個顏色分量計算每個像素的梯度值。

（5）綜合（4）中三通道邊緣信息，并與閾值比較，最終邊緣圖像輸出。

（6）對彩色圖像中的每一個像素進(jìn)行上述5步驟處理。

由上分析知道，Sobel邊緣檢測算法實現(xiàn)的硬件實現(xiàn)系統(tǒng)應(yīng)包括圖像數(shù)據(jù)緩沖存儲模塊、梯度計算模塊和閾值比較模塊。各個模塊功能的實現(xiàn)可通過調(diào)用Quartus II軟件提供的各種宏功能模塊（Megafunctions）實現(xiàn)［18］，如圖10所示。

圖10 Sobel邊緣檢測算法硬件實現(xiàn)的系統(tǒng)框圖Fig.10 System diagram of the hardware implementation of Sobel edge detection algorithm

由于梯度計算模塊主要是為了完成各個算子分別與3×3圖像像素矩陣的卷積運算，此處也通過調(diào)用altshift＿taps實現(xiàn)3×3的圖像數(shù)據(jù)緩沖存儲［19］。下面主要介紹梯度計算模塊和閾值比較模塊。

4.3.1 梯度計算模塊

圖11是各方向3×3算子模板與圖1（a）所示的3×3圖像區(qū)域卷積運算的原理圖。從圖中可以看出，要實現(xiàn)卷積運算需做乘加運算，較之以往分立的D 觸發(fā)器和加法器以及乘法器來完成，本文采用可編程乘加器altmult＿add模塊和可編程多路并行加法器parallel＿add模塊實現(xiàn)，大大簡化了設(shè)計的同時提高了算法的性能。

圖11 具有3條Line Buffer的卷積運算結(jié)構(gòu)圖Fig.11 Structure of 3line buffer convolution operation

由圖2和公式（4），要處理圖像中的每個像素點都用8個模板做卷積，每個模板分別對相應(yīng)方向的邊緣影響最大。邊緣檢測算子的中心與要檢測的像素點相對應(yīng)，進(jìn)行8次卷積運算，8次卷積運算結(jié)果分別自乘平方相加送到浮點平方根altfp＿sqrt模塊，計算出的平方根作為該點的輸出位，運算的結(jié)果是一副邊緣幅度圖像，在邊緣檢測中，Sobel算子對像素的位置的影響做了加權(quán)，加權(quán)平均邊寬≥2像素，因此效果更好。

由圖9框圖可知，由于彩色圖像的每一個像素包含R、G、B 3個通道，分別對其3個通道進(jìn)行上述運算，最終得到3個中心像素點的梯度值。

4.3.2 閾值比較模塊

此時，把上一步得到的彩色圖像3 顏色（R、G、B）通道的中心像素點的梯度值分別與一個設(shè)定的閾值Th 進(jìn)行比較，如果大于Th，則該顏色通道的輸出為1，否則為0。最后將3個比較器的輸出融合得到彩色圖像的邊緣圖像，其中，最終邊緣圖像的獲得通過一個3 輸入的或門實現(xiàn)［20］。如果最終的邊緣圖像輸出為一個，則每個顏色通道的值設(shè)定為255，否則設(shè)置為0，這些數(shù)據(jù)最終通過LCD 液晶顯示模塊控制器傳送到LCD 液晶屏上進(jìn)行結(jié)果顯示。

5 實驗結(jié)果與分析

為了驗證本文所提出系統(tǒng)的邊緣檢測效果，以Altera DE2－70開發(fā)板為平臺，將改進(jìn)算法與傳統(tǒng)的Sobel算法的邊緣檢測效果進(jìn)行比較，如圖12 所示。其中圖12（a）為原彩色圖像，圖12（b）是傳統(tǒng)Sobel算法處理后的邊緣圖像，圖12（c）是經(jīng)快速中值濾波預(yù)處理后，運用改進(jìn)的Sobel算法處理后的結(jié)果。通過對比可知，與傳統(tǒng)Sobel算法邊緣檢測效果相比，改進(jìn)的Sobel算法獲得了較多的邊緣信息，視覺效果高于前者，且有效濾除部分噪聲。實驗結(jié)果表明，本文所設(shè)計的實時彩色圖像邊緣檢測系統(tǒng)，具有良好環(huán)境適應(yīng)能力，抗噪能力強(qiáng)，且圖像邊緣定位準(zhǔn)確，能夠?qū)崟r有效地對圖像進(jìn)行邊緣提取。

圖12 （a）原彩色圖像；（b）傳統(tǒng)Sobel算法；（c）改進(jìn)的Sobel算法（某幀視頻邊緣檢測結(jié)果截圖）Fig.12 （a）Original color image（b）Result of traditional Sobel algorithm；（c）Result of improved Sobel algorithm

本文所設(shè)計的系統(tǒng)，選用Altera 公司的EP2C70為目標(biāo)芯片，經(jīng)Quartus II 綜合器綜合后，得出改進(jìn)的Sobel邊緣檢測模塊硬件資源使用情況綜合報告如表1所示，從表中可以看出，在算子模板由2個增加到8個，且對彩色圖像進(jìn)行算法實現(xiàn)的情況下，本文所用的改進(jìn)的Sobel邊緣檢測模塊僅占用了2%的邏輯單元，在算法復(fù)雜度提高的情況下，效果已相對改觀，同時結(jié)合FPGA 流水線任務(wù)處理技術(shù)以及并行信息處理的特點，滿足系統(tǒng)實時性要求。

表1 改進(jìn)Sobel邊緣檢測模塊片上資源占用情況Tab.1 On－chip resources occupancy of the improved Sobel edge detection module

6 結(jié) 論

借助Altera DE2－70FPGA 硬 件 開 發(fā) 平 臺，提出了一種基于改進(jìn)的實時彩色圖像邊緣檢測系統(tǒng)。首先將彩色圖像分離出R、G、B三個通道，再用快速中值濾波對每個通道輸入圖像數(shù)據(jù)進(jìn)行去噪預(yù)處理，然后，在傳統(tǒng)Sobel算子基礎(chǔ)上增加方向算子模板，提高對復(fù)雜環(huán)境的適應(yīng)能力。實驗結(jié)果表明，本文系統(tǒng)將改進(jìn)的Sobel邊緣檢測算法從灰度圖像移植到彩色圖像，有效地抑制了噪聲，邊緣定位更準(zhǔn)確，并且能夠獲得比傳統(tǒng)的邊緣檢測算子更多的邊緣輪廓信息。可用于對實時性要求較高的智能監(jiān)控、安防、工業(yè)控制等領(lǐng)域。

［1］ 曹楊，蘇麗娜，沈琪，等.一種改進(jìn)的Sobel邊緣檢測算法的設(shè)計及其FPGA 實現(xiàn)［J］.微電子學(xué)與計算機(jī)，2012，29（10）：124－127.Cao Y，Su L N，Shen Q，et al.Design and realization of improved sobel edge detection algorithm based on FPGA［J］.Microelectronics ＆Computer，2012，29（10）：124－127.（in Chinese）

［2］ Xin G，Ke C，Xiaoguang H.An improved Canny edge detection algorithm for color image［C］／／2012 10th IEEE International Conference on Industrial Informatics（INDIN），IEEE，2012：113－117.

［3］ 劉博超，趙建，孫強(qiáng).基于邊緣改進(jìn)的Harris角點檢測方法［J］.液晶與顯示，2013，28（6）：939－942.Liu B C，Zhao J，Sun Q.Improved Harris corner detection method based on edge［J］.Chinese journal of Liquid Crystals and Displays，2013，28（6）：939－942.（in Chinese）

［4］ 陳娟，陳乾輝，師路歡，等.圖像跟蹤中的邊緣檢測技術(shù)［J］.中國光學(xué)與應(yīng)用光學(xué)，2009，2（1）：46－53.Chen J，Chen Q K，Shi L H，et al.Edge detection technology in imaging tracking［J］.Chinese Journal of Optics and Applied Optics，2009，2（1）：46－53.（in Chinese）

［5］ 張鳳晶，白新偉，于光，等.一種基于Sobel的彩色圖像邊緣檢測新算法［J］.長春理工大學(xué)學(xué)報（自然科學(xué)版），2012，35（1）：122－124.Zhang F J，Bai X W，Yu G，et al.A new arithmetic of color image edge detection based on sobel operator［J］.Journal of Changchun University of Science and Technology（Natural Science Edition），2012，35（1）：122－124.（in Chinese）

［6］ ZhouY L，Huang C，Zhai L F.A median image filtering algorithm based on statistical histogram［C］／／2013 Fifth International Conference on Measuring Technology and Mechatronics Automation （ICMTMA），IEEE，2013：17－20.

［7］ 陶李，王玨，鄒永寧，等.改進(jìn)的Zernike矩工業(yè)CT 圖像邊緣檢測［J］.中國光學(xué)，2012，5（1）：48－56.Tao L，Wang Y，Zou Y N，et al.Improved Zernike moment of method for industrial CT image edge detection［J］.Chinese Optics，2012，5（1）：48－56.（in Chinese）

［8］ 王田，劉偉寧，孫海江，等.基于復(fù)雜度和方向梯度的紅外弱小目標(biāo)檢測方法［J］.液晶與顯示，2012，27（5）：692－696.Wang T，Liu W N，et al.Detecting algorithm of infrared small dim targets based on complexity and orientation gradient［J］.Chinese journal of Liquid Crystals and Displays，2012，27（5）：692－696.（in Chinese）

［9］ 馬宇飛.基于梯度算子的圖像邊緣檢測算法研究［D］.西安電子科技大學(xué)，2012.Ma Y F.Research on image edge detection based on gradient operators［D］.Xidian University，2012.（in Chinese）

［10］ 楊新華，寇為剛.基于FPGA 的Sobel算子圖像邊緣檢測算法［J］.儀表技術(shù)與傳感器，2013（1）：34.Yang X H，Dou W G.Sobel operation image edge detection algorithm based on FPGA［J］.Instrument Technique and Sensor，2013（1）：34.（in Chinese）

［11］ 馮輝宗，陳葉，徐洋.基于FPGA 的實時圖像采集與Sobel邊緣檢測［J］.傳感器與微系統(tǒng)，2011，30（6）：116－118.Feng H Z，Chen Y，Xu Y.Real－time image acquisition and Sobel edge detection based on FPGA［J］.Transducer and Microsystem Technologies，2011，30（6）：116－118.（in Chinese）

［12］ 劉紫燕.實時圖像邊緣檢測的設(shè)計及FPGA 實現(xiàn)［J］.電子科技，2011，24（12）：1－3.Liu Z Y.Edge detection of real－time image based on FPGA［J］.Electronic Science ＆Technology，2011，24（12）：1－3.（in Chinese）

［13］ 王瑞，劉廣斌.基于FPGA 的圖像快速中值濾波算法實現(xiàn)［J］.計算機(jī)工程與應(yīng)用，2010，46（9S）：32－34.Wang R，Liu G B.Hardware implementation of median filter based on FPGA for image processing［J］.Computer Engineering and Application，2010，46（9S）：32－34.（in Chinese）

［14］ 王軍輝，李瑞克，劉小洋.基于改進(jìn)Sobel算法的實時邊緣檢測系統(tǒng)［J］.計算機(jī)與數(shù)字工程，2012，40（6）：130－132.Wang J H，Li R K，Liu X Y.Real－time edge detection system based improved Sobel algorithm ［J］.Computer＆Digital Engineering，2012，40（6）：130－132.（in Chinese）

［15］ Alghurair D，Al－Rawi S S.Design of Sobel operator usingfield programmable gate arrays［C］／／2013 International Conference on Technological Advances in Electrical，Electronics and Computer Engineering（TAEECE），IEEE，2013：589－594.

［16］ 溫建平.人臉檢測算法及其FPGA 實現(xiàn)［D］.上海：華南理工大學(xué)，2012.Wen J P.Face Detection algorithm and its FPGA implementation［D］.Shanghai：South China University of Technology.2012.（in Chinese）

［17］ 熊琰，龔華軍，沈曄青.一種快速有效的彩色圖像邊緣檢測方法［J］.計算機(jī)技術(shù)與發(fā)展，2007，17（4）：128－130.Xiong Y，Gong H J，Shen Y Q.Feature point detection based on color image［J］.Computer Technology and Development，2007，17（4）：128－130.（in Chinese）

［18］ 張麗紅，凌朝東.基于FPGA 的Sobel邊緣檢測應(yīng)用［J］.電子技術(shù)與應(yīng)用，2011，37（8）：26－29.Zhang L H，Ling C D.Application of Sobel edge detection based on FPGA ［J］.The application of electronic technology，2011，37（8）：26－29.（in Chinese）

［19］ 李明，趙勛杰，毛偉民.Sobel邊緣檢測的FPGA 實現(xiàn)［J］.現(xiàn)代電子技術(shù)，2009，16：44－46.Li M，Zhao X J，Mao W M.Implementation of Sobel edge detection based on FPGA［J］.Modern Electronic Technology，2009，16：44－46.（in Chinese）

［20］ Singh S，Saini A K，Saini R.Real－time FPGA based implementation of color image edge detection［J］.International Journal of Image，Graphics and Signal Processing （IJIGSP），2012，4（12）：19－25.