自適應中值濾波器優化及其FPGA實現

王麗紅 胡長宏 范鮮紅 高春歌 張曉峻 孫晶華

摘要：針對現有自適應中值濾波器運行耗時長以及在高椒鹽噪聲密度下去噪性能低的問題，提出一種基于FPGA的自適應中值濾波器優化方法，對鐵軌圖像進行濾波研究。加入像素噪聲閾值判斷和二次求中值的方法，提高圖像在大椒鹽噪聲密度下的處理能力，在大窗口中只對外圍像素求中值減少迭代處理，降低算法的復雜度和運算量，利用FPGA的流水線結構和并行處理能力，加速算法的運行。與現有仿真濾波效果最優的中值濾波器相比，優化方法圖像細節保持更加完整，運算量降低15%，峰值信噪比值平均提高0.9dB，采用FPGA運行優化算法將耗時降低到了毫秒級，為鐵軌圖像實時處理應用提供了基礎。

關鍵詞：自適應中值濾波;噪聲閑值FPGA;流水線結構;實時處理

DOI：10.15938/j.jhust.2021.05.009

中圖分類號：TP391.41 文獻標志碼：A 文章編號：1007-2683（2021）05-0068-08

0 引言

圖像濾波去噪是圖像預處理過程的關鍵技術之一，其性能好壞直接影響后續圖像的效果。圖像濾波去噪最常用的方式是將某一點像素與其鄰域內的幾個像素放在二維像素窗口內進行處理，這是由于某一點的像素值與其鄰域像素相關度最大，噪聲信號和邊緣像素與其鄰域其他像素灰度值差異較大。基于此，可采用剔除鄰域內噪聲信號的方式來達到去噪的目的[1]。中值濾波是基于鄰域處理的一類非線性濾波方法，可有效去除椒鹽噪聲[2]。椒鹽噪聲最明顯的特點是會形成灰度值極大或極小的噪聲點，這在圖像顯示上是一些突兀的黑白點，且這些點一般是孤立存在的，互相之間沒有聯系[3]。但是中值濾波存在局限性，當濾波窗口較小時去噪能力較差，當濾波窗口較大時，雖然有較好的去噪能力，但不能較好的保持圖像細節。為此學者們提出自適應中值濾波器（Adaptive Median Filter，AMF）以及優化方法來應對這種問題。標準的自適應中值濾波器利用窗口迭代的方法求出窗口中值再判斷輸出，在大濾波窗口下存在細節顯示模糊，且在大窗口內對小窗口像素的重復排序使得排序效率較低[4-6]。文[4]提出盡可能使用小窗口濾波，并引入判斷閾值對疑似噪聲的中心像素進行二次判斷進而輸出。文[5]提出在自適應中值濾波器判斷到最大窗口時，利用非極值像素灰度值的均值來替代輸出，在高椒鹽噪聲密度下濾波具有良好效果。現有的算法研究都基于計算機運行，實時性不能滿足實際應用需求。針對鐵軌健康狀態視覺檢測應用需求，提出在求中值時加入對噪聲判斷的步驟，提高鐵軌圖像噪聲處理能力，降低窗口迭代引起的運算量，同時結合FPGA流水線并行處理結構加速算法的運算速度，提高自適應中值濾波算法的實時性[7]。

1 自適應中值濾波器優化

自適應中值濾波器加入了窗口自適應增大功能，在濾波窗口內判斷中心像素是否為噪聲，進而選擇輸出原中心像素值還是窗口像素的中值[8]。假設在大小為N×N的正方形像素鄰域內，尸。是窗口中心像素的灰度值，W1為當前窗口邊長，Wmax為規定的最大窗口邊長。Pmin、Pmed和Pmax分別為某一窗口中的灰度最小值、灰度中間值和灰度最大值，則自適應中值濾波的輸出流程為：

1）若Pmin

2）若Pmin

從以上濾波方法可發現，算法對噪聲點的判斷是以Pmin和Pmax為基準的，如果Pxy=Pmin或者Pxy=Pmax，則認為Pxy為噪聲點，這樣的判斷很容易把邊緣或細節這些高頻區域誤認為噪聲點[9]。在一個奇數邊長的窗口中，若椒鹽噪聲密度大于50%，會導致窗口內的中值仍然是噪聲點，則自適應中值濾波算法不能取到誤差較小的結果[10]。另外，隨著濾波窗口的增大，椒鹽噪聲濾除效果得以提高，但圖像細節丟失變嚴重[11]。

為此，本文對現有自適應中值濾波進行優化，采用最大為5×5的窗口，通過遍歷3×3窗口內的所有像素，篩選出非噪聲信號，求出非噪聲數組中值并判斷輸出，只有當小窗口中所有像素都被噪聲污染時才增大窗口。具體流程如圖1所示。

圖1 改進的自適應中值濾波流程圖

第1步：在3×3窗口中采用標準的3×3中值濾波方法，若滿足Pmin

第2步：對3×3窗口內所有像素進行非噪聲點判斷和統計，并將統計結果放在一個數組，若數組非空，則將這個數組的中值Pmed1作為輸出結果。這是由于3×3窗口內有效像素灰度值的變化不會很大，若在該窗內存在非噪聲點的像素，統計這些像素值并用其中值Pmed1替代中心像素Pxy輸出，這樣就可排除噪聲且對圖像質量影響不大，這與標準中值濾波的思想一致。本文為了簡化計算，設灰度值在1和254之間的像素為非噪聲信號;若數組為空，則說明3×3窗口內經判斷都是椒鹽噪聲，則將窗口擴大到5×5窗口。

第3步：在5×5窗口中，僅對中心像素Psr和3×3窗口以外的16個像素進行判斷，判斷條件與前兩步一致。采用這種方法可減小計算量提高運算效率。若5×5窗口內非噪聲數組為空，即5×5窗口內數據均為椒鹽噪聲，則進入第4步。

第4步：求出3×3窗內中心像素四鄰域的灰度值的平均值Pavg，將該值作為輸出結果。這是一種折中的做法，可避免直接輸出椒鹽噪聲。

以上過程的優勢在于小窗口細節保持良好且能有效濾除噪聲，在大窗口濾波時由于剔除了小窗口的所有噪聲點，降低了大窗口排序帶來的運算壓力，提高了算法的運算效率。

2 仿真實驗

以一幅360×134像素的斷裂鐵軌圖作算法研究，采用處理器為Intel Core i7-8700的計算機進行仿真，處理器的正常運行頻率可達3.19GHz，仿真過程中像素點的灰度值采用64位浮點數。圖2給出了標準的3×3，5×5中值濾波器，最大窗為5×5的AMF，文[4]和[5]提出的方法以及本文方法去除椒鹽噪聲密度為70%的圖像的效果。后三種方法最大濾波窗口為5×5。由圖2可以看出，標準的中值濾波和自適應中值濾波器的去噪效果有限，文[4]和[5]與本文方法效果接近，但通過裂縫邊緣和鐵軌平面的細節可看出文[5]對細節處理不佳。

椒鹽噪聲密度為70%的情況下，以上算法運行時間如表1所示，本文算法的效率要優于文[4]和文[5]，消耗的時間是文[4]的94%，是文[5]的75%。

采用峰值信噪比（PSNR）和平均均方誤差（NMSE）評價濾波的效果[12]。PSNR表示信號的最大功率與噪聲功率的比值，NMSE表示圖像灰度函數的穩定性，PSNR越大，NMSE越小，說明濾波效果越好，圖像還原度越高。

不同椒鹽噪聲密度下幾種方法的PSNR和NMSE參數曲線如圖3和圖4所示。可以看出，標準的3×3和5×5中值濾波性器能明顯低于5×5自適應中值濾波器及其優化后的濾波器。椒鹽噪聲密度大于50%的情況下，標準的中值濾波器及5×5自適應中值濾波器的PSNR與NMSE參數都驟降，而文[4]和[5]以及本文優化的濾波器的兩種參數曲線變化緩慢，這說明優化方法可有效提高濾波器在較高噪聲密度下的去噪效果。由圖3可見，椒鹽噪聲占比從10%到90%范圍內，本文方法的PSNR值略高于文[4]和[5]且整體趨勢平滑，經計算本文方法在噪聲密度小于80%時，PSNR的平均值比文[4]高1.23dB，比文[5]高3.64dB，大于80%后文[4]的PSNR值快速降低，文[5]的PSNR值降低緩慢，大于87%后文[5]的PSNR值具有優勢。

綜上所述，本文方法降低了中值濾波器算法的復雜度，能夠保持圖像的細節，去椒鹽噪聲的效果更好。此外，本文方法對窗口內像素的判斷是全覆蓋式的，不會漏掉有效像素，這對于還原圖像有重要意義。

3 基于FPGA的濾波器實現

根據表1的結果，不同中值濾波器在Intel Corei7-8700處理器上的運行時間都超過了2s，不能滿足鐵軌圖像實時處理的要求。為此，采用Altera公司的Cyclone IV系列FPGA產品EP4CElOF17C8N，加速算法的運行速度。該芯片具有10320個邏輯單元，可滿足算法硬件實現的資源需求。

數字圖像的傳輸是以數據流的形式將像素灰度串行傳輸[13]，像素輸出流向是單向的，若圖像處理算法沒有反饋或迭代運算，則可采用流水線設計的方式來提高系統的工作頻率[14]。流水線設計只需在開始時刻需要額外的處理時間，其余時間都是在不斷輸出數據[15]。若采用串行CPU處理像素，則每個像素都會花費多個時鐘周期完成處理，所有像素處理時間累加就是一幅圖像處理完畢到顯示所需的時間，像素越多則耗費的時間成倍增加，因而無法得到實時的處理效果[16]。而采用FPGA流水線處理結構，所有像素處理所耗費時間只需幾個時鐘周期，這就使得FPGA很適合于實時處理圖像[17]。

3.1 濾波器實現的總體架構

本文優化濾波器在FPGA上實現的結構如圖5所示。它包括了行場同步控制模塊、5×5窗口生成模塊、數據排序模塊、噪聲判斷及中值輸出模塊和數據判斷及輸出模塊。這些模塊采用流水線的方式對圖像信號流并行處理，運算過程中像素點的灰度值采用8位的定點數。

實現流程為：數據輸入端串行輸入一幅360 x134像素的8位灰度圖像數據，以行場信號為數據有效標示位。通過5×5窗口生成模塊可產生以Pxy為中心像素的像素窗口。Pxy和其外圍第一層數據構成3×3窗口進行排序，同時Pxy和其外圍第二層數據構成5×5窗口進行排序，在排序模塊中分別加入一個噪聲判斷和像素輸出模塊，用以計算該窗口內的有效像素個數以及寄存灰度值，進而求出窗口內的中值。最后將所有可能的結果同步后交給數據判斷及輸出模塊，進行最終的輸出判斷。經仿真驗證，在像素時鐘頻率為24MHz下，從窗口讀出一個數據到該數據處理結束后輸出，僅延遲6個時鐘周期，實現了圖像的實時處理和輸出。

3.2 基于IP核的像素窗口生成模塊

濾波器首先需要先生成5×5窗口，也就是將一幀畫面中5×5窗口內的25個數據對齊。本文利用Altera FPGA中自帶的IP核Shift Regester可快速實現。對360×134像素的圖像，需要先緩存前5行的像素[18]。通過IP核設置界面選擇RAM的位寬為8，抽頭距離TAP_DISTANCE為256，抽頭數目NUMBER_OF_TAPS為5。圖6為該IP核的工作原理，假設輸入9個8位的數據流，這與圖像傳輸的數據方式一樣，通過控制抽頭數目和抽頭距離可將其變為一個3行3列的數據窗口。

在設置好IP核之后，生成5行同步的數據，另外還需選取5列數據，才能生成窗口。具體做法為：將這5行數據的第1列分別放入寄存器中，待下一個時鐘周期，再將第二列放入新的寄存器中，第一列則用打拍同步的方式使兩列數據對齊，重復這種操作，在第五個時鐘沿就有5行5列數據同步。

3.3 排序模塊設計

5×5窗口內的數據對齊后，再將其同時分別放人兩個排序模塊中，其一是對3×3窗口9個數據進行排序，其二是對5×5窗口外圍16個像素及中心值共17個數據進行排序。圖7表示取5×5窗口中的3×3窗進行排序，圖8表示對外圍數據和中值的排序。

對3×3窗口的排序采用快速求中值的方法，直接輸出9個數中的最大值、最小值和中間值[18]。圖9為該方法的原理圖，設3×3窗口內的各個像素分別為P11、P12、P13、P21、P22、P23、P31、P32、P33。在第一個時鐘周期內，將窗口內的每一行的數分別放入3個三輸入排序模塊中，可求出每一行的最大值Pmax1、Pmax2、Pmax3，最小值Pmin1、Pmin2、Pmin3和中間值Pmed1、Pmed2、Pmed3;在第二個周期內將這些最大值組，中間值組和最小值組分別放入3個三輸入排序模塊，求得整個窗口的最大值，最小值;在第三個周期內，將最大值組的最小值Pmin_of_max、最小值組的最大值Pmax_of_min以及中值組的中間值Pmed_of_med放入三輸入比較器中確定整個窗口的中間值Pmed_of_9。

為實現對5×5窗口中外圍數據的快速排序，采用17值并行全比較排序方法，該方法需要的比較器數目為256個，只需要4個時鐘周期可完成比較輸出[19]。該模塊分為四部分，首先將所有元素兩兩比較，若比較數比被比較數大，則為真，輸出1，否則輸出0，這樣每個數據累計獲得1的次數最多為16，最少為1;通過比較次數的大小就可判斷出數據大小[20]。特別的，若出現數據相同的情況，這時可根據數據出現的先后順序來選擇比較器，設兩個相等的數分別為Pm和Pn，Pm為比較數，m和n分別為數據的原始排序位置。若m>n，這時的比較器采用“≥”號，相當于給比較數的次數加1，而若m”號，這樣排序結束后兩個相同數的累計次數不相等，便可分辨出所有數據的順序。

3.4 噪聲判斷和像素輸出模塊設計

在3.3節排序模塊進行的同時，需要對該窗口內像素數據進行噪聲判斷，并求出非噪聲像素數組的中值。在噪聲判斷模塊中，設灰度值0為閾值1，灰度值255為閾值20該模塊從數據輸入到統計出有效像素個數需要兩個周期，圖10所示為3×3窗口中該模塊噪聲判斷及非噪聲像素個數統計部分的結構圖，5×5窗口中外圍像素的噪聲判斷和統計原理同理。

圖11 所示為3×3窗口非噪聲像素數組的中值輸出模塊的原理圖，若非噪聲數目為奇數，則輸出該數組的中值;若數目為偶數，則輸出中間兩值的均值。該模塊應在噪聲判斷和統計模塊后加入，需要先將非噪聲像素放入寄存器中組成新的數組，由于不同元素數目會導致數組的中值位置不同，這里利用替代的方法。若判斷某一灰度值為0或255即噪聲信號，則將該值替換為255。再將替換后的數組放入新構造的9值并行全比較排序模塊，這樣有效像素經過由小到大的排序會在數列的前列，噪聲會被放在最后，這時只要根據有效像素的數目，即可確定取數組的哪一個元素，或哪兩個元素的均值。如計算得到有效像素數目為5，則經過排序的9值數組前5個值是有效的，后面的都是255，取第3個元素輸出即可。5×5窗口中外圍非噪聲數組采用同樣的求中值方法。

噪聲判斷和像素輸出模塊耗費時鐘周期為5，但由于加入3個并行全比較模塊，需要大量比較器資源，故邏輯資源消耗較多。

3.5 數據判斷及輸出模塊設計

完成3.3和3.4節模塊的運算后，需要將運算結果對齊處理，然后交由數據判斷及輸出模塊，圖12為數據判斷及輸出模塊結構圖。

設Pmed3和Pmedian分別為3×3和5×5窗口非噪聲像素的中值。整個判斷的流程為：若有效像素mux9≥1，說明小窗口有非噪聲點，在3×3窗口內進一步判斷，若Y1為真，則直接輸出Pxy，若Y1為假且Y2為真，則輸出Pmed，否則輸出均值Pmed3;若mux9=0并且mux16≥1，說明3×3窗口內全是噪聲，換至5×5窗口判斷，若Y3為真，則輸出Pmed5，否則輸出Pmedian最后，若Mux9和mux16都為0，則直接輸出Pxy四鄰域的灰度均值Pavrg。經過判斷模塊的輸出值即為優化后的自適應中值濾波器的輸出結果。

3.6 FPGA資源使用情況分析

以上模塊實現的濾波器，基于EP4CElOF17C8N采用Modelsim工具進行RTL和門級仿真驗證成功后，對硬件代碼進行綜合生成硬件燒寫文件。

FPGA硬件資源消耗情況如表2所示，可看到該模塊的邏輯資源占用為3565個，占總資源的35%，需要的RAM資源為25536比特，占總RAM的9%，內部乘法器資源未使用。濾波器算法主要對數據進行移位處理和大小比較，所以邏輯單元資源使用較多，未使用到乘法器。

4 實驗測試

EP4CE10F17C8N芯片運行優化后的中值濾波器程序，對圖2（b）中的8位噪聲圖像數據進行處理，運行結果傳送至計算機中運算PSNR和NMSE參數。采用計算機的仿真結果和FPGA運行的結果對比如圖13和圖14所示，圖中文[4]方法、文[5]方法和軟件實現方法都是采用計算機仿真運行相應的算法，硬件實現方法是采用FPGA實現，其原理與軟件實現方法一致。在不同的噪聲密度下，軟件實現方法的結果均優于FPGA運行的結果，但趨勢基本一致。這是因為計算機采用的是64位浮點，而FPGA處理器采用的是8位定點，運算過程中數據截取導致誤差，因此計算機運行效果要比FPGA好。

由圖13對比可見，FPGA運行結果的PSNR平均值比仿真實現小2.35dB，80%噪聲密度以下，稍好于文[5]結果，比文[4]的效果略差，但在噪聲密度大于80%后，FPGA運行結果的PSNR值僅比軟件實現方法的平均PSNR值低0.96dB，優于文[4]的仿真結果，比文[5]的結果略差。此外，椒鹽噪聲

圖14 不同方法的NMSE參數對比密度為70%時，在24MHz時鐘下FPGA運行濾波器算法耗時約2.56ms，遠低于仿真耗時3.72s，表明FPGA的流水線并行處理結構處理圖像具有獨特的優勢。圖14中4種情況得到的NMSE參數相差很小，80%噪聲密度以下最大相差不到0.O1dB，FPGA硬件和文[5]仿真基本相當，比其他兩種情況略差。

5 結論

對自適應中值濾波器進行了優化，通過加入噪聲像素判斷步驟，減少對像素的重復排序，提高濾波效率和效果，利用FPGA流水線并行處理結構力大大提高了濾波器執行的速度。仿真結果表明，優化后的中值濾波器綜合了文[4]和文[5]的優勢，與此相比，能夠保持圖像的細節，迭代運算效率更高，去椒鹽噪聲的效果更好。實驗測試采用FPGA將濾波器執行的時間由秒級降低到毫秒級，為鐵軌健康狀態的圖像實時處理應用提供了基礎。后續研究將會提高FPGA的數據寬度，降低運算結果誤差，以進一步提高濾波效果。

參考文獻：

[1]DRAPER B A，BEVERIDGE J R，et al.Implementingimage Ap-plications on FPGAs[C]//16th International Conference on Pat-tern Recognition（ICPR 2002），2002（3）：265.

[2]LI ZY，LIU GH，XU Y，et al.Modified Directional Weighted Fil-ter for Removal of Salt&Pepper Noise[J].Patten RecognitionLetters，2014，40：113.

[3]陳明軒.數字圖像中隨機值脈沖噪聲的濾除算法研究[D].北京：北京信息科技大學，2013：4.

[4]胡瑢華，余傳桂，胡環星，等.用于磁瓦圖像的改進的自適應中值濾波算法[J].機械設計與制造，2015（2）：119.

[5]黃文筆，戰蔭偉，陳家益，等.改進的自適應中值濾波算法[J].計算機系統應用，2018，27（10）：187.

[6]劉鵬宇，哈睿，賈克斌.改進的自適應中值濾波算法及其應用[J].北京工業大學學報，2017（4）：581.

[7]TANG J，WANG Y，CAO W，et al.Improved Adaptive MedianFiltering for Structured Light Image Denoising[C]//2019 7th In-ternational Conference on Information，Communication and Net-works（ICICN），Macao，Macao，2019：146.

[8]張旭明，徐濱士，董世運.用于圖像處理的自適應中值濾波[J].計算機輔助設計與圖形學學報，2005，17（2）：295.

[9]錢偉新，劉瑞根，王婉麗.一種改進的自適應中值濾波算法[J].光學與光電技術，2011（4）：55.

[10]韓劍輝，葛威.改進型位級中值濾波硬件算法的實現[J].哈爾濱理工大學學報，2015，20（3）：35.

[11]石婷，張紅雨，黃自立.基于Stratix Ⅱ EP2S60的改進中值濾波器的設計及實現[J].國外電子元器件，2007（1）：12.

[12]師廷偉，金長江.基于FPGA的并行全比較排序算法[J].數字技術與應用，2013（10）：126.

[13]海敏娟.基于時間序列分析算法的船舶磁場估計[J].艦船科學技術，2021，43（8）：124.

[14]萬豐豐，周國民，周曉.一種去除椒鹽噪聲的自適應模糊中值濾波算法[J].浙江大學學報（理學版），2019，46（4）：445.

[15]屈正庚，牛少清.一種改進的自適應加權中值濾波算法研究[J].計算機技術與發展，2018，28（12）：86.

[16]王志軍，于之靖，諸葛晶昌.一種自適應中值梯度倒數加權的圖像濾波算法[J].激光與光電子學進展，2017，54（12）：148.

[17]袁素真，毛峽，陳立江，等.基于雙量子比特態測量的量子自適應中值濾波[J].北京航空航天大學學報，2013，39（11）：1443.

[18]陳健，鄭紹華，余輪，等.基于方向的多閾值自適應中值濾波改進算法[J].電子測量與儀器學報，2013，27（2）：156.

[19]孫海英，李鋒，商慧亮.改進的變分自適應中值濾波算法[J].電子與信息學報，2011，33（7）：1743.

[20]燕紅文，鄧雪峰，中值濾波在數字圖像去噪中的應用[J].計算機時代，2020（2）：47.

（編輯：溫澤宇）

收稿日期：2020-07-01

基金項目：國家自然科學基金（61775044）;中央高校基本科研專項資金項目（3072019CF2515）.

作者簡介：王麗紅（1964-），女，學士，高級工程師;胡長宏（1973-），男，博士，副教授.

通信作者：孫晶華（1963-），男，博士，教授，碩士研究生導師，E-mail：sjh1111@sina.com.