基于FPGA的雙光圖像實時采集處理系統

周培濤

【摘? 要】目前國內多數紅外、可見圖像實時跟蹤系統采用PC機或DSP或DSP+FPGA為核心處理器的構架，存在電路復雜、成本高的缺點。本文設計了以FPGA內雙MicroBlaze軟核為核心的紅外、可見圖像雙光圖像實時采集處理系統，采用利用FPGA硬件邏輯實現圖像采集和預處理，利用雙軟核實現對紅外圖像非均勻校正處理和可見圖像的跟蹤捕獲，軟硬件協同處理，實驗結果表明，系統體積小、功耗低、實時性強，在各種復雜的場景下，能夠實時穩定地進行雙光圖像采集并處理圖像。

【關鍵詞】 FPGA;軟硬件協同;紅外和可見圖像實時處理

引言

紅外、可見雙光采集處理系統對實時性要求極高，要求系統必須具有并行快速處理大量數據的能力，以保證系統的實時性;其次對系統的體積、功耗、穩定性等也有較嚴格的要求。本系統利用FPGA的邏輯部分實現圖像采集和拼接，利用FPGA內的雙MicroBlaze實現對紅外探測器的非均勻校正算法和可見圖像的跟蹤捕獲，降低了成本，有效提高了資源利用率，并提高了系統復雜背景條件下目標跟蹤的穩定性。

1.紅外圖像采集系統硬件總體方案

（1）如圖1所示的紅外、可見光雙光圖像采集處理系統，以FPGA為核心處理器，紅外、可見光SENSOR對進行控制，紅外探測器輸出的模擬視頻信號經差分放大器放大，然后采用AD9240為AD轉換器件進行AD轉換，送入FPGA的邏輯部分進行圖像預處理，可見光圖像可以直接用FPGA的邏輯部分進行采集控制，然后用兩個Microblaze核做紅外探測器的校正流程控制和可見光的圖像處理。

（2）雙MicroBlaze SOPC系統結構硬件設計實現。①雙核硬件結構。FPGA將采集到的紅外圖像進行排序，進行幀累加乘加系數等邏輯操作，FPGA內的兩個MicroBlaze軟核，分別負責紅外探測器的非均勻校正流程任務控制和可見光圖像顯示調整和跟蹤捕獲處理。MicroBlaze SOPC系統結構圖如圖2所示。從圖中可知，整個SOPC系統可以分為兩個處理器子系統，系統的通信結構采用兩個PLB（Processor Local Bus）v46總線，所有的模塊都是間接或直接地連接到這兩個總線上。兩個總線上均掛有Mailbox和Mutex核用于處理器間通信和同步，因此兩個處理器并不是完全獨立的。

如圖2所示本SOPC系統中的兩個MicroBlaze處理器軟核，通過各自獨立的PLBv46總線隔離兩處理器子系統，可以確保兩個處理器系統在執行各自的處理器事務時不會相互干擾。兩個軟核之間存在多個共享模塊，采用多端口結構使多個處理器在訪問共享模塊時可以并行進行。兩個獨立的MicroBlaze處理器Mb_0和Mb_1，通過共享部件連接在一起，這些共享部件使得兩個MicroBlaze處理器之間可以各種方式通信并進行數據共享。②雙核交互通信與數據共享。本系統采用Mailbox和Shared Memory進行處理器之間的交互通信與數據共享。通過Mailbox可以實現處理器之間的中斷和通信，完成非均勻校正流程任務控制。每一個Mailbox核都有一個FIFO和一個雙端隊列，分別用來發送和接收信息，可以根據需要對它們的深度進行配置，主要通過分布式RAM或者BRAM來實現。兩處理器首先通過Mailbox交換字符串“55、AA”的形式匯合，以此來證明兩個處理器的連接情況，同時利用Mutex來防止兩個處理器同時對同一地址區域進行寫操作，臨界區域里的值是隨著處理器的訪問而更新，在沒有輸出時處理器會鎖定Mutex核，有輸出時解鎖Mutex核，這種同步機制使得處理結果正確可用，不會出現混亂的狀態。另外本設計兩個處理器利用Shared Memory來共享某個存儲器，從而實現存儲器共享圖像處理結果并方便進行大量數據的通信和數據共享。在本設計的處理器系統中，每一個處理器都有自己獨立的系統總線，MPMC存儲器和外圍設備是統一編址，兩者的地址范圍互不重疊，因此，所有的存儲器和直接或者間接連接到處理器上的外圍設備與共享元素都是分開的，避免了內存錯亂現象。

2.雙核系統處理實驗結果

在實驗調試時，本系統采用調試模塊MDM分別對兩個處理器進行調試，通過超級終端輸出實驗測試結果。系統利用雙核來分別實現紅外探測器的非均勻校正計算和可見光的顯示調整和跟蹤捕獲處理，利用shared Memory來共享圖像細節和處理結果，從而更容易實現對目標的識別捕獲與跟蹤，經實驗測試系統完成后可同時實時處理640×512大小的紅外、可見圖像，完成非均勻校正等圖像處理并進行目標捕獲和跟蹤，速度達到100幀每秒，資源得到高效利用。

3.結語

本系統利用FPGA作為平臺，以其內的雙MicroBlaze軟核為基礎，來設計雙軟核片上系統，實現了同時對紅外探測器、可見光SENSOR的控制和圖像采集處理，并可以很好地實現兩軟核處理器間的通信和中斷功能，節約了硬件成本又可方便協同控制，具有一定創新性和較高的實用價值。

參考文獻

[1]馮亞楠.基于SOPC的嵌入式系統架構及應用驗證[D].內蒙古大學，2014.

[2]陳科研.基于Nios Ⅱ的雙核處理器系統研發[D].西安電子科技大學，2009.