遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端的硬件加速方案研究

蔣誠恒，唐立軍

（1.長沙理工大學(xué)物理與電子科學(xué)學(xué)院，湖南長沙 410114；2.近地空間電磁環(huán)境監(jiān)測與建模湖南省普通高校重點(diǎn)實(shí)驗(yàn)室，湖南長沙 410114）

遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端視頻圖像處理主要有小型ARM 系統(tǒng)[1-3]、大型計(jì)算機(jī)[4]和FPGA+ARM[5-7]三種實(shí)現(xiàn)方案。小型ARM 系統(tǒng)大多調(diào)用封裝好的圖像處理庫進(jìn)行處理，但其本身算力和資源限制，導(dǎo)致在對實(shí)驗(yàn)數(shù)據(jù)的處理提取有很大延遲；使用大型計(jì)算機(jī)可以對圖像數(shù)據(jù)高速處理，但占地空間大、成本高；FPGA+ARM 具有體積小、成本低、速度快的優(yōu)勢。目前ARM+FPGA 的視頻圖像處理方案利用FPGA 硬件運(yùn)算優(yōu)勢進(jìn)行預(yù)處理，把實(shí)驗(yàn)圖像識別放到搭載linux 系統(tǒng)的ARM 上。FPGA 通過相應(yīng)的圖像處理IP核來實(shí)現(xiàn)圖像的模塊化處理，使用的圖像處理IP 核是封裝好的現(xiàn)成IP 核，處理過程數(shù)據(jù)存在重復(fù)處理、運(yùn)算周期長的問題，處理好的實(shí)驗(yàn)圖像被移植到Linux 系統(tǒng)上的OPENCV 庫進(jìn)行識別，最終實(shí)驗(yàn)圖像結(jié)果并不能保證系統(tǒng)整體的實(shí)時(shí)性[8]。因此，文中以減少遠(yuǎn)程實(shí)驗(yàn)平臺延遲為目標(biāo)，探索ARM+FPGA 的遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端視頻圖像處理方法，為提高遠(yuǎn)程實(shí)驗(yàn)操作平臺的性能提供一定的支撐條件。

1 遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端架構(gòu)設(shè)計(jì)

實(shí)驗(yàn)設(shè)備終端負(fù)責(zé)整個(gè)系統(tǒng)對實(shí)驗(yàn)現(xiàn)象的采集、處理傳輸?shù)热蝿?wù)。該實(shí)驗(yàn)采用ARM+FPGA 架構(gòu)，該架構(gòu)包含PS 端和PL 兩部分，PS 端集成雙核ARM 處理器芯片，PL 端由FPGA 芯片組成，架構(gòu)設(shè)計(jì)如圖1 所示，包括圖像數(shù)據(jù)采集、緩存、圖像處理、網(wǎng)絡(luò)傳輸四個(gè)部分。

圖1 遠(yuǎn)程實(shí)驗(yàn)平臺設(shè)備終端架構(gòu)設(shè)計(jì)

實(shí)驗(yàn)終端視頻圖像通過視頻接口傳輸進(jìn)入PL端。圖像數(shù)據(jù)流經(jīng)過濾波、邊緣檢測、幀間差分IP 核進(jìn)行視頻圖像處理以及實(shí)驗(yàn)現(xiàn)象信息提取，得到的圖像數(shù)據(jù)通過AXI-stream IP 核進(jìn)行格式轉(zhuǎn)換，并送入VDMA IP 核，VDMA 利用其特有的幀緩存和緩沖機(jī)制，實(shí)現(xiàn)高效視頻數(shù)據(jù)存取。PL 和PS 通過AXI 片內(nèi)協(xié)議進(jìn)行通信，PS 端控制PL 端寄存器的配置以及DDR3、以太網(wǎng)模塊等外設(shè)的控制，處理好的圖像數(shù)據(jù)存入DDR3 進(jìn)行存儲，待準(zhǔn)備好送入PS 端進(jìn)行進(jìn)一步的處理，最終將處理所得的實(shí)驗(yàn)現(xiàn)象信息通過以太網(wǎng)口進(jìn)行發(fā)送，并與遠(yuǎn)程實(shí)驗(yàn)平臺進(jìn)行通信。

2 遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端視頻圖像加速方案

2.1 濾噪加速方案

考慮到遠(yuǎn)程實(shí)驗(yàn)平臺實(shí)際使用場景，選取在實(shí)驗(yàn)室場景下濾噪效果好的中值濾波。文中選擇3×3的濾波窗，通過三個(gè)步驟來求得最終的中值[9]。

中值濾波算法劃分為兩級流水線任務(wù)，其實(shí)現(xiàn)步驟如圖2 所示，第一級流水線的行列計(jì)數(shù)模塊對濾波窗滑過的圖像行列進(jìn)行計(jì)數(shù)，此步的目的是判斷濾波窗滑動(dòng)是否到達(dá)圖像邊界，到達(dá)邊界像素值因?yàn)闆]有鄰域像素則需要獨(dú)立進(jìn)行處理[10-11]。

圖2 中值濾波兩級流水線設(shè)計(jì)

第一級流水線的濾波窗口生成模塊將圖像數(shù)據(jù)分成三通道并行陣列方便后續(xù)進(jìn)行并行處理，中值濾波算法將輸入的三通道圖形數(shù)據(jù)分別進(jìn)行運(yùn)算，文中采用的3×3 濾波窗口模塊結(jié)構(gòu)如圖3 所示。可以采用同步FIFO 或者shift_ram 來完成對圖像的遍歷，在圖中為硬件實(shí)現(xiàn)濾波窗口框圖，該濾波窗口由兩個(gè)FIFO（或是帶抽頭的shift_ram）和六個(gè)寄存器構(gòu)成，圖像數(shù)據(jù)在同步時(shí)鐘驅(qū)動(dòng)下，從FIFO 輸入端口串行輸入，圖像數(shù)據(jù)通過FIFO 一次向下和向右通過，將圖像數(shù)據(jù)分割成九個(gè)獨(dú)立像素，從而轉(zhuǎn)變?yōu)椴⑿袛?shù)據(jù)，以便通過中值濾波進(jìn)行處理。

圖3 濾波窗口生成模塊

第二級流水線是中值濾波部分，如圖4 所示。根據(jù)中值濾波原理，可以將處理過程分成三級子流水線。

圖4 中值濾波模塊結(jié)構(gòu)

第一級子流水線將濾波窗對應(yīng)的3×3 圖像9 個(gè)數(shù)據(jù)按行進(jìn)行分組(L1,L2,L3)，對它們進(jìn)行大小排序。

第二級子流水線進(jìn)行重新分組，將每組中最大值、中值、最小值分別篩選出來。

第三級子流水線在三組數(shù)據(jù)中挑選最大值組中的最小值、中值組的中值、最小值組的最大值，將三個(gè)數(shù)據(jù)再做比較，最終將這三個(gè)值的中值作為9 個(gè)數(shù)據(jù)的中值。

將快速中值濾波算法進(jìn)行原理分析，將算法計(jì)算任務(wù)劃分為兩級流水線，其中濾波窗體生成模塊和中值濾波模塊又細(xì)分為多級子流水線，同時(shí)有多個(gè)圖像數(shù)據(jù)在重疊執(zhí)行，子流水線將三通道數(shù)據(jù)進(jìn)行并行處理，從而大大提高了圖像數(shù)據(jù)處理速度。

2.2 邊緣檢測加速方案

文中采用Sobel 邊緣檢測算法進(jìn)行邊緣檢測，為避免像素點(diǎn)其他方向幅值較高，但水平和垂直方向梯度幅值較低的情況出現(xiàn)，采用x、y、45°、135°方向算子進(jìn)行梯度計(jì)算，如式（1）所示：

梯度幅值采用向量[Gx,Gy,G45°,G135°]T的一范數(shù)進(jìn)行表示。

根據(jù)Sobel 邊緣檢測算法的原理[12]，其硬件實(shí)現(xiàn)包括三個(gè)部分，如圖5 所示。

圖5 邊緣檢測流水線設(shè)計(jì)

根據(jù)邊緣檢測原理將處理任務(wù)分成三級流水線，將梯度計(jì)算的四個(gè)方向梯度分成四路并行陣列。圖像輸入與前文一樣不做贅述。第一級流水線卷積運(yùn)算通常使用觸發(fā)器、加法器和乘法器方式或可編程乘法器的altmult_add 模塊方式進(jìn)行實(shí)現(xiàn)，但這些方法基于乘法器的結(jié)構(gòu)，存在圖像處理過程復(fù)雜速度較慢和缺乏輸入的連續(xù)性的問題。針對這些不足，該模板設(shè)計(jì)采用移位加法運(yùn)算，第二級流水線將四個(gè)方向的梯度值進(jìn)行合成，第三級流水線與閾值T進(jìn)行比較篩選出邊緣。

圖6 所示為垂直方向的梯度計(jì)算子電路，該子電路將三行數(shù)據(jù)分成并行陣列垂直方向Sobel 算子模板和對應(yīng)的像素灰度值做移位乘法，算子模板儲存在寄存器中，與相對應(yīng)的圖像模板數(shù)據(jù)進(jìn)行移位乘法運(yùn)算，將每一行結(jié)果送入并行相加模塊進(jìn)行相加。

圖6 卷積計(jì)算流水線設(shè)計(jì)

第二級流水線將第一級流水線四路有符號梯度結(jié)果求一范數(shù)并進(jìn)行相加，得出該像素點(diǎn)的梯度值。

第三級流水線采用自適應(yīng)的閾值方法[13]，以像素窗口中的中值作為該局部圖像的閾值，實(shí)現(xiàn)閾值的自適應(yīng)。將每個(gè)像素梯度值與其自適應(yīng)閾值進(jìn)行比較來判斷是否為邊緣。這種方式調(diào)用模塊較少，可以簡化設(shè)計(jì)，因?yàn)闆]有乘法器的使用，增加了運(yùn)算效率和減少資源使用率，流水線設(shè)計(jì)和并行處理三通道可以讓任務(wù)重疊執(zhí)行，提高了邊緣檢測效率。

2.3 實(shí)驗(yàn)特征信息提取加速方案

該設(shè)計(jì)以邁克爾遜干涉儀為場景，根據(jù)實(shí)驗(yàn)步驟，實(shí)驗(yàn)現(xiàn)象信息為干涉條紋“冒出”和“湮滅”數(shù)量和微動(dòng)鼓輪讀數(shù)。

文中使用邏輯復(fù)雜度低、易于實(shí)現(xiàn)的幀間差分法對條紋狀態(tài)信息進(jìn)行提取[14-15]。

當(dāng)條紋發(fā)生位移時(shí)，每幀圖像運(yùn)動(dòng)區(qū)域的像素點(diǎn)與上一幀相比，灰度值會(huì)發(fā)生變化，此時(shí)對兩幀做差分，可以將運(yùn)動(dòng)部分像素分割出來，根據(jù)兩幀圖像差分的正負(fù)值便可以得出條紋位移方向。兩幀圖像差分得到的像素由攝像頭與觀察屏進(jìn)行標(biāo)定可得出每一幀相比上一幀的微位移dx1，將每幀的dx進(jìn)行累加，那么一段時(shí)間內(nèi)的條紋運(yùn)動(dòng)距離為當(dāng)變化的像素對應(yīng)的位移距離大于閾值T時(shí)，則判定“冒出”或“湮滅”條紋，記作一次標(biāo)志位，如圖7所示。

圖7 條紋邊緣幀間差分過程

實(shí)現(xiàn)過程如圖8 所示，將圖像數(shù)據(jù)分為兩路，前一幀做一次緩存處理，在當(dāng)前幀到來時(shí)，將兩幀圖像進(jìn)行差分，將所得的差分結(jié)果放入累加器，累加器累加得位移結(jié)果，將位移結(jié)果通過AXI 總線與PS端進(jìn)行通信，存入DDR 中，PS 端訪問DDR 對結(jié)果進(jìn)行最終的閾值判斷，最終發(fā)送到以太網(wǎng)模塊與服務(wù)器通信。

圖8 實(shí)驗(yàn)數(shù)據(jù)提取

3 測試與分析

文中對加速方案的測試分為兩種，一種是實(shí)驗(yàn)結(jié)果準(zhǔn)確性測試，將線下實(shí)驗(yàn)數(shù)據(jù)與遠(yuǎn)程實(shí)驗(yàn)操作實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比；另一種是對加速環(huán)節(jié)延遲性進(jìn)行測試，將原有遠(yuǎn)程終端視頻處理方案和傳統(tǒng)方案的延遲進(jìn)行對比。原有平臺為樹莓派3b+，擁有1.4 GHz 處理器，雙頻2.4 GHz；傳統(tǒng)FPGA 硬件實(shí)現(xiàn)采用zynq-7000，100 MHz 工作頻率；實(shí)驗(yàn)均使用邁克爾遜干涉儀實(shí)驗(yàn)進(jìn)行測試。

該實(shí)驗(yàn)為測量He-Ne 激光的波長，需要轉(zhuǎn)動(dòng)微調(diào)鼓輪并記錄刻度讀數(shù)，在觀察屏上觀察干涉條紋的“冒出”和“湮滅”，記錄干涉條紋“冒出”和“湮滅”的次數(shù)，最終使用逐差法計(jì)算波長的平均值[16]。每當(dāng)“冒出”或“湮滅”條紋時(shí)，新條紋會(huì)取代舊條紋的位置，因此“冒出“或“湮滅”條紋的標(biāo)志是位移距離等于條紋間距。邁克爾遜干涉條紋半徑可表示為：

根據(jù)條紋半徑公式可以求出指定條紋的間距，經(jīng)過標(biāo)定，可以根據(jù)條紋間距設(shè)定閾值T，當(dāng)位移距離大于閾值T時(shí)，可以判斷條紋狀態(tài)變化，進(jìn)行一次標(biāo)記。根據(jù)收到的條紋“冒出”和“湮滅”信息Δk和M1 鏡移動(dòng)Δd，可以求出He-Ne 激光波長為：

準(zhǔn)確率結(jié)果通過對比線下實(shí)驗(yàn)操作和遠(yuǎn)程實(shí)驗(yàn)操作得到，遠(yuǎn)程實(shí)驗(yàn)平臺實(shí)驗(yàn)可得條紋數(shù)Δk（X1-X10 表示每變化50 個(gè)條紋進(jìn)行一次計(jì)數(shù)）與對應(yīng)的M1 鏡位置Δd如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)表

經(jīng)過逐差法得出M1 鏡平均位置變化：

延遲性測試針對硬件加速模塊進(jìn)行測試，結(jié)果如圖9 所示。

圖9 測試結(jié)果

加速后的延遲與原平臺、傳統(tǒng)硬件實(shí)現(xiàn)方案延遲如表2 所示。

表2 三種實(shí)現(xiàn)方案對比

根據(jù)三種方案對比中值濾波和邊緣檢測兩項(xiàng)延遲表現(xiàn)，可以發(fā)現(xiàn)，原有平臺和傳統(tǒng)硬件實(shí)現(xiàn)方案在中值濾波環(huán)節(jié)延遲分別是文中方案的180 倍和2.4倍；原有平臺和傳統(tǒng)方案在邊緣檢測環(huán)節(jié)延遲分別是文中方案的114 倍和3 倍；最終遠(yuǎn)程視頻圖像處理總延遲相較于原有平臺方案縮短了97.17%。

4 結(jié)論

采用ARM+FPGA 作為遠(yuǎn)程實(shí)驗(yàn)設(shè)備終端視頻圖像處理架構(gòu)，設(shè)計(jì)流水線、并行陣列以及幀間差分的方法實(shí)現(xiàn)了圖像處理以及實(shí)驗(yàn)特征信息提取的加速，有效解決了遠(yuǎn)程實(shí)驗(yàn)過程中圖像處理效率低、實(shí)驗(yàn)特征信息提取速度慢的問題，有效縮短了遠(yuǎn)程實(shí)驗(yàn)平臺的延遲。在該實(shí)驗(yàn)室的遠(yuǎn)程實(shí)驗(yàn)操作平臺應(yīng)用結(jié)果表明，應(yīng)用文中方法使原有平臺的總延遲縮短了97.17%，提升了遠(yuǎn)程實(shí)驗(yàn)平臺的性能。