Xilinx FPGA/Zynq設計中使用HLS實現OpenCV的開發流程

摘要：首先介紹OpenCV中圖像類型和函數處理方法，之后通過設計實例描述在VivadoHLS中調用OpenCV庫函數實現圖像處理的幾個基本步驟，闡述從OpenCV設計到RTL轉換綜合的開發流程。本文網絡版地址：http：//www.eepw.com.cn/article/233872.htm

關鍵詞：可編程；處理器；VivadoHLS；OpenCV；Zynq AP SOC

DOI： 10.3969/j.issn.1005-5517.2014.2.011

郭豐收：Xilinx DSP專家，主要從事在Xilinx器件上實現數字信號處理的系統方案、架構和算法應用。

開源計算機視覺 （OpenCV） 被廣泛用于開發計算機視覺應用，它包含2500多個優化的視頻函數的函數庫并且專門針對臺式機處理器和GPU進行優化。Xilinx VivadoHLS高層次綜合工具能夠使用C/C++ 編寫的代碼直接創建RTL硬件，顯著提高設計生產力，同時，Xilinx Zynq全可編程SoC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實現完美結合，以低功耗和低成本等系統優勢實現單芯片高的系統性能、靈活性、可擴展性，加速圖形處理產品設計上市時間。OpenCV擁有成千上萬的用戶，而且OpenCV的設計無需修改即可在Zynq器件的ARM處理器上運行，但是利用OpenCV實現的高清處理經常受外部存儲器的限制，尤其是存儲帶寬會成為性能瓶頸，存儲訪問也限制了功耗效率。使用Xilinx公司的VivadoHLS高級語言綜合工具，可以輕松實現OpenCV C++視頻處理設計到RTL代碼的轉換，輸出Zynq的硬件加速器或者直接在FPGA上實現實時硬件視頻處理功能。同時，Xilinx公司的Zynq Allprogrammable SoC是實現嵌入式計算機視覺應用的好方法，解決了在單一處理器上實現視頻處理性能低功耗高的限制，Zynq高性能可編程邏輯和嵌入式ARM內核，是一款性能功耗優化的圖像處理集成式解決方案。

1 OpenCV中圖像IplImage， CvMat， Mat 類型的關系和VivadoHLS中圖像hls：：Mat類型

OpenCV中常見的與圖像操作有關的數據容器有Mat，CvMat和IplImage，這三種類型都可以代表和顯示圖像，但是，Mat類型側重于計算，數學性較高。而CvMat和IplImage類型更側重于“圖像”，OpenCV對其中的圖像操作（縮放、單通道提取、圖像閾值操作等）進行了優化。

1.1 OpenCV中的Mat矩陣類型

在OpenCV中，Mat是一個多維的密集數據數組。可以用來處理向量和矩陣、圖像、直方圖等等常見的多維數據。

Mat類型較CvMat與IplImage類型來說，有更強的矩陣運算能力，支持常見的矩陣運算。在計算密集型的應用當中，將CvMat與IplImage類型轉化為Mat類型將大大減少計算時間花費。

1 . 2 O p e n C V中的C v M a t與IplImage類型

在openCV中，CvMat和IplImage類型更側重于“圖像”，尤其是對其中的圖像操作進行一定程度的優化。OpenCV沒有向量（vector）的數據結構，但當我們要表示向量時，需要用矩陣數據表示。但是，CvMat更抽象，它的元素數據類型并不僅限于基礎數據類型，而且可以是任意的預定義數據類型，比如RGB或者別的多通道數據。

在OpenCV類型關系上，我們可以說IplImage類型繼承自CvMat類型，當然還包括其他的變量將之解析成圖像數據。IplImage類型較之CvMat多了很多參數，比如depth和nChannels。IplImage對圖像的另一種優化是變量origin原點，為了彌補這一點，OpenCV允許用戶定義自己的原點設置。

1.3 VivadoHLS中圖像數據類型hls：：Mat<>

VivadoHLS視頻處理函數庫使用hls：：Mat<>數據類型，這種類型用于模型化視頻像素流處理，實質等同于hls：：steam<>流的類型，而不是OpenCV中在外部memory中存儲的matrix矩陣類型。因此，在用VivadoHLS實現OpenCV的設計中，需要將輸入和輸出HLS可綜合的視頻設計接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數，實現AXI4 video stream到VivadoHLS中hls：：Mat<>類型的轉換。

2 使用V i v a d o H L S實現OpenCV到RTL代碼轉換的流程

2.1 OpenCV設計中的權衡

OpenCV圖像處理是基于存儲器幀緩存而構建的，它總是假設視頻frame數據存放在外部DDR 存儲器中，因此，OpenCV對于訪問局部圖像性能較差，因為處理器的小容量高速緩存性能不足以完成這個任務。而且出于性能考慮，基于OpenCV設計的架構比較復雜，功耗更高。在對分辨率或幀速率要求低，或者在更大的圖像中對需要的特征或區域進行處理時，OpenCV似乎足以滿足很多應用的要求，但對于高分辨率高幀率實時處理的場景下，OpenCV很難滿足高性能和低功耗的需求。

基于視頻流的架構能提供高性能和低功耗，鏈條化的圖像處理函數減少了外部存儲器訪問，針對視頻優化的行緩存和窗口緩存比處理器高速緩存更簡單高效，更易于使用 VivadoHLS在FPGA部件中采用數據流優化來實現。

VivadoHLS對OpenCV的支持，不是指可以將OpenCV的函數庫直接綜合成RTL代碼，而是需要將代碼轉換為可綜合的代碼，這些可綜合的視頻庫稱為HLS視頻庫，由VivadoHLS提供。

OpenCV函數不能直接通過HLS進行綜合，因為OpenCV函數一般都包含動態的內存分配、浮點以及假設圖像在外部存儲器中存放或者修改。

VivadoHLS視頻庫用于替換很多基本的OpenCV函數，它與OpenCV具有相似的接口和算法，主要針對在FPGA架構中實現的圖像處理函數，包含了專門面向FPGA的優化，比如定點運算而非浮點運算（不必精確到比特位），片上的行緩存（line buffer）和窗口緩存（window buffer）。圖2.1展示了在Xilinx Zynq AP SoC器件上實現視頻處理的系統結構。2.2 在FPGA/Zynq開發中使用VivadoHLS實現OpenCV的設計流程

設計開發流程主要有如圖2.2三個步驟。

1. 在計算機上開發OpenCV應用，由于是開源的設計，采用C++的編譯器對其進行編譯、仿真和debug，最后產生可執行文件。這些設計無需修改即可在 ARM內核上運行OpenCV應用。

2.使用I/O函數抽取FPGA實現的部分，并且使用可綜合的VivadoHLS Video庫函數代碼代替OpenCV函數的調用。

3.運行HLS生成RTL代碼，在VivadoHLS工程中啟動co-sim，HLS工具自動重用OpenCV的測試激勵驗證產生的RTL代碼。在Xilinx的ISE或者Vivado開發環境中做RTL的集成和SoC/FPGA實現。

2.3 用HLS實現OpenCV應用的實例（快速角點濾波器image_filter）

我們通過快速角點的例子，說明通常用VivadoHLS實現OpenCV的流程。首先，開發基于OpenCV的快速角點算法設計，并使用基于OpenCV的測試激勵仿真驗證這個算法。接著，建立基于視頻數據流鏈的OpenCV處理算法，改寫前面OpenCV的通常設計，這樣的改寫是為了與HLS視頻庫處理機制相同，方便后面步驟的函數替換。最后，將改寫的OpenCV設計中的函數，替換為HLS提供的相應功能的視頻函數，并使用VivadoHLS綜合，在Xilinx開發環境下在FPGA可編程邏輯或作為Zynq SoC硬件加速器實現。當然，這些可綜合代碼也可在處理器或ARM上運行。

3 VHLS實現OpenCV設計流程總結

OpenCV函數可實現計算機視覺算法的快速原型設計，并使用VivadoHLS工具轉換為RTL代碼，在FPGA可編程邏輯上或者ZynqSoC邏輯上作為硬件加速器，實現高分辨率高幀率的實時視頻處理。計算機視覺應用與生俱來的異構特性，使其需要軟硬件相結合的實現方案，采用Vivado HLS視頻庫能加快OpenCV函數向FPGA或Zynq SOC全可編程架構的映射。

參考文獻：

[ 1 ] V i v a d o D e s i g n S u i t e U s e r G u i d e ： H i g h -LevelSynthesis（UG902）

[2]Accelerating OpenCV applications with Zynq using VivadoHLS video libraries（XAPP1167）

[3]Bradski G，Kaebler A.Learning OpenCV.ISBN 978-7-302-20993-5

[4]Implementing memory structure for video processing in the VivadoHLS tool（XAPP793）

[5]Gonzalez R C.Wood R E.Digital Image Processing，3rd ed.ISBN 978-7-121-11008-5