基于ZYNQ的多傳感器實時圖像拼接技術研究

馮 鑫，汪陳躍，孫愛平，趙 強，雷旭峰，董海翔，康麗珠，楊增鵬

?

基于ZYNQ的多傳感器實時圖像拼接技術研究

馮 鑫，汪陳躍，孫愛平，趙 強，雷旭峰，董海翔，康麗珠，楊增鵬

(昆明物理研究所，云南 昆明 650223)

為滿足高速多傳感器大視場圖像處理系統結構緊湊、高實時性的迫切要求，進行了以全可編程平臺ZYNQ為基礎的多傳感器實時圖像拼接技術研究。重點介紹了該設計的基本架構、工作原理及ZYNQ的功能模塊設計等，通過對圖像處理的結果表明，該技術滿足高速實時圖像處理的要求，同時可以擴展到更為復雜的多傳感器大視場實時圖像處理任務。

ZYNQ；圖像拼接；實時圖像；多傳感器

0 引言

隨著軍事分離口徑成像系統的發展，在多傳感器實時圖像處理系統中，如何在規定時間內完成大量圖像數據的處理，滿足系統的實時性要求一直是人們重點關注的問題。隨著大規模集成電路的發展，各種處理器及專用集成電路的性能不斷得到提高，人們對圖像處理系統的功能、性能、功耗、體積等都提出了更高的要求。常見的多傳感器大視場圖像處理系統大多采用多DSP＋FPGA架構[1-2]或者CPU＋GPU架構[3]，這樣的架構造成了該系統成本高、體積大、功耗高、設計相對不靈活、設計復雜，增加系統開發周期等缺點。本系統鑒于滿足多傳感器圖像處理系統中數據運算量大、實時性強，數據傳輸率高，尤其是對體積、功耗要求嚴苛的情況下，開展了以全可編程SOPC為基礎的多傳感器實時圖像拼接技術研究，不僅可以通過軟件增加系統的靈活性和可擴展性，同時還能通過可編程硬件實現執行更多的數據處理和決策功能[4]。

1 系統框架

本系統采用美國Xilinx公司推出的業界第一款全可編程平臺ZYNQ作為圖像拼接技術研究的主要硬件平臺。主要包括圖像采集、圖像預處理、圖像傳輸、圖像配準及圖像拼接顯示幾個模塊。系統設計框圖如圖1所示。

系統通過2個圖像傳感器采集圖像，經過ZYNQ內部的圖像采集及預處理，圖像傳輸，圖像存儲，圖像配準后，最終圖像顯示。ZYNQ片內的PL（可編程邏輯）和PS（處理器系統）之間的數據是通過基于AXI4.0協議的片內總線傳輸的，AXI4.0是由ARM和Xilinx公司基于ARM公司的AMBA3.0總線協議共同提出的，是一種高性能、高帶寬、低延遲的片內總線[5]，通過AXI總線將Zynq-7000內PS和PL緊密地耦合在一起。通過采集外部攝像頭1和攝像頭2的圖像數據，經過圖像預處理模塊，將數據打包成AXI4-Stream總線格式數據，然后經過Video DMA控制器，將數據從AXI_HP接口寫入DDR3控制器后，寫入外部DDR3存儲器，再將數據從DDR3中讀出，完成數據的高速率吞吐。數據以較高速率流入圖像配準模塊，最后至圖像顯示模塊，完成跨時鐘域圖像處理，將數據解調成符合顯示時序的數據格式。

圖1 系統框圖

2 功能模塊設計

2.1 圖像捕獲及預處理模塊

本文采用CMOS傳感器，傳感器陣列為640×480。CMOS傳感器具有高幀頻、可配置、功耗低、成本低等優點，在眾多領域都有應用。本系統通過I2C總線對CMOS進行配置，輸出RAW RGB格式的圖像數據，每個像素為8bit。其配置電路，捕獲及預處理模塊如圖2、圖3所示。

圖像傳感器通過I2C接口配置后，給出配置結束信號i2c_cfg_done，接收此信號后才開始進行完整幀圖像采集。在像素時鐘cmos_pclk的節拍下，圖像數據cmos_data[7:0]在圖像傳感器的行有效信號cmos_href及場有效信號cmos_vsync的作用下，將數據輸入至ZYNQ。在ZYNQ內部，對2路視頻流同時捕獲，將數據送至圖像預處理模塊。圖像預處理模塊接收到圖像采集模塊的數據，通過插值算法將RAW RGB格式的數據轉換為RGB888格式的數據，進而得到了每秒60幀24位640×480像素。

2.2 圖像傳輸模塊

圖像數據是基于AXI4-Stream總線協議進行傳輸的，通過調用Xilinx公司提供的AXI Video DMA IP軟核實現數據傳輸。CPU通過接受來自圖像捕獲和預處理模塊的完成標志信號，通過AXI4-Lite總線配置AXI Video DMA模塊，初始化結束后開始傳輸數據。圖像預處理模塊的輸出數據要轉化為基于AXI4-Stream總線協議格式，數據經過AXI-HP接口，以DMA（Direct Memory Access）的方式將數據存儲至外部數據存儲器DDR3，在適當的時候再以DMA的方式從DDR3中讀出，再進行后續的圖像配準處理。DMA搬移數據的方式是PL與外部數據存儲器數據交互的時間最快、吞吐率最高的一種方式，可以極大的滿足系統的實時性，數據傳輸的過程中并不占用CPU，進而提高了系統性能。

圖2 圖像傳感器配置電路連接框圖

圖3 圖像捕獲及預處理框圖

2.3 圖像配準模塊

圖像拼接算法的性能主要取決于圖像配準的精度，配準算法既要保證配準精度算法的運算時間又要滿足實時性的要求[6]。系統通過機械結構固定好圖像傳感器，保證所成的圖像之間只存在水平方向的位移，所以這里采用可以有效提取出圖像位移的圖像配準算法——相位相關法進行圖像配準點的提取。圖像的相位相關配準算法，主要是將圖像進行傅里葉變換，計算2幅圖像的互功率譜，再對互功率譜求傅里葉反變換得到沖激函數，找出使該沖激函數取得最大值的位置，即為圖像的平移量。具體原理描述如下：

其中1(,)和2(,)分別代表2幅圖像，那么2幅圖像的變換關系可以表示為：

2(,)＝1(－0,－0) (1)

根據傅里葉變換性質可得：

式中：2(,)和1(,)是2(,)和1(,)的傅里葉變換。它們的互功率譜為：

式中：1*(,)是1(,)的復共軛，對互功率譜求傅里葉反變換，找到峰值的位置，即可以確定平移參數0與0。

計算一個點基2的快速傅里葉變換，需要有(/2)×log2次蝶形運算和2×log2次數數據訪問。圖像數據的傅里葉變換是對行列數據分別做傅里葉變換。一次復數的乘法運算包括包含4次乘法運算及3次加法運算。一幅×的圖像經過傅里葉變換后產生2個復數，經過開方及除法運算后，算法的復雜度大大提高。考慮到硬件實現的局限性及硬件算法的精度問題，這里將采用Matlab對圖像進行相位相關運算[7]。固定好圖像傳感器之后，采集圖像，提取平移量，利用此平移量參與ZYNQ配準控制邏輯。

2.4 圖像拼接顯示模塊

圖像拼接顯示模塊的主要功能是完成基于AXI4-Stream總線數據的跨時鐘域處理。本文設計了圖像拼接顯示模塊用于完成AXI4-Stream總線的控制，發出DMA占用總線請求，訪問DDR3存儲器，同時將基于AXI4-Stream總線數據解調為符合終端顯示的時序的數據。圖像拼接顯示模塊如圖5所示。

總線請求及數據解耦模塊通過發動總線占用請求，發起讀取內存請求，接收來自DMA控制器的數據，并將總線數據解碼，將數據進行行緩存。圖像顯示控制模塊根據接收到的coordinate[10:0]配準點信息，發出控制地址pixel_addr_0[9:0]和pixel_addr_1[9:0]，讀取相應的像素數據frame_pixel_0[23:0]和frame_pixel_1[23:0]。最終經過圖像顯示模塊，可以輸出2路視頻圖像的所有信息。

圖4 圖像配準模塊功能圖

圖5 圖像拼接顯示模塊框圖

3 硬件資源消耗分析

表1表明在處理2路分辨率為640×480，幀率每秒60幀的數據所消耗的硬件資源數量。利用片內PS的硬核處理器（ARM CortexA9處理器）完成相應的硬件控制，極大地節省了相應的邏輯資源。同時借助于外部存儲器及片內總線數據傳輸結構，最大限度地節省PL的存儲資源。

表1 硬件資源消耗分析

4 實驗測試結果

設計要求2幅圖像的重疊區不大于7%。重疊區相對大，監控的目標視場角相對變小，信息損失，拼接起來相對容易。重疊區相對小，監控的目標視場角相對變大，信息豐富，拼接起來相對困難。圖6給出了2個具有重疊區的攝像頭所采集的圖像。圖7給出了拼接后的圖像。拼接后的圖像信息量大，沒有冗余信息，經過實時處理之后，圖像的大小為1180×480，幀率為每秒60幀，圖像成像清晰。

表2給出了2路圖像的拼接前后的參數，通過拼接前后的參數對比，可以看出每個圖像傳感器的水平視場角度為30°，拼接后的水平視場角為58.5°，有效地增大了目標觀測的視場范圍，且重疊區保持在5%左右，滿足重疊區小于7%的設計要求。具備較好的成像效果，保證了系統的實時性，達到了預期的效果。

圖6 兩路采集圖像

圖7 ZYNQ拼接結果圖

表2 拼接前后參數對比

5 結論

基于ZYNQ全可編程平進行圖像拼接技術研究，進行了實時圖像處理系統的采集、預處理、傳輸、拼接顯示的模塊設計，完成了每秒60幀640×480p的圖像處理，與傳統設計方案相比，可以使多傳感器圖像處理系統體積更小，成本更低，同時具有較好的實時性，更符合未來實時圖像處理系統的發展需求。

[1] HAO Wei. Designing and develpoment of multi-DSP real-time image processing system based on FPGA[C]//, 2011: 1263-1265.

[2] 銀志軍. 基于多DSP和FPGA的實時圖像處理系統設計[J]. 光電技術應用, 2012, 27(1): 76-80.

YIN Zhingjun. Design of real-time image processing system based on FPGA and multi-DSP[J]., 2012, 27(1): 76-80.

[3] 王雨曦, 王義坤, 葛明峰. 基于點特征算子的紅外圖像實時拼接系統[J]. 紅外技術, 2015, 37(3): 204-209.

WANG Yuxi, WANG Yikun, GE Mingfeng. Point feature-based read-time infrared image mosaicking system[J]., 2015, 37(3): 204-209.

[4] 何賓. Xilinx All Programmable Zynq-7000 Soc設計指南[M]. 北京: 清華大學出版社, 2012: 13.

HE Bin.7000[M]. Beijing: Tsinghua university press, 2012: 13.

[5] Xilinx Inc. Xilinx AXI Reference Guide[R/OL]. [2015-09-09]. http:// www.xilinx.com/support/documentation/data_sheets/axi_reference_guide.

[6] 張云峰. 基于DSP的實時圖像拼接技術[J]. 液晶與顯示, 2013, 28(6): 963-966.

ZHANG Yunfeng. Real-time image mosaic technology based on DSP[J]., 2013, 28(6): 963-966.

[7] 楊磊, 任龍, 劉慶, 等. 基于FPGA的大視場圖像實時拼接技術的研究與實現[J]. 紅外與激光工程, 2015, 44(6): 1929-1935.

YANG Lei, REN Long, Liu Qing, et al. Research and implementation of large field image real-time mosaic technology based on FPGA[J]., 2015, 44(6): 1929-1935.

Research on Real-time Multi-sensor Image Mosaic Technology Based on ZYNQ

FENG Xin，WANG Chenyue，SUN Aiping，ZHAO Qiang，LEI Xufeng，DONG Haixiang，KANG Lizhu，YANG Zengpeng

(,650223,)

This paper conducts a research on a real-time multi-sensor image mosaic technology based on the all programmable platform, ZYNQ，in order to satisfy the urgent requirement of the compact structure and high level real-time in high-speed multi-sensor image processing system. This paper focuses on the basic architecture, operation principle and functional module design in ZYNQ. The result of processing digital images proves that the technology satisfies the requirement of high-speed real-time image processing. It can expand into the task for more complicated multi-sensor real-time image processing.

ZYNQ，image mosaic，real-time image，multi-sensor

TP311

A

1001-8891(2016)03-0207-04

2015-09-09；

2016-01-12.

馮鑫（1989-），吉林通化人，碩士研究生，主要研究方向為圖像處理。