王明飛,熊顯名,董大明,鄭文剛
(1.桂林電子科技大學電子工程與自動化學院,廣西桂林 541004;2.國家農業信息化工程技術研究中心農業自動化部,北京 100097)
基于高速DSP的紅外熱成像信號采集和處理系統
王明飛1,2,熊顯名1,董大明2,鄭文剛2
(1.桂林電子科技大學電子工程與自動化學院,廣西桂林 541004;2.國家農業信息化工程技術研究中心農業自動化部,北京 100097)
紅外焦平面陣列(IRFPA)被廣泛用于各個領域中。由于紅外視頻信號針對不同領域的不同需求,后續處理算法復雜,需有效地提高其實時性能。因此文中以TMS320DM642高速DSP處理器為主要元件,構建了紅外圖像信號采集和處理系統。分析了紅外視頻信號采集工作原理,研究了提高信號處理速度的方法。實驗結果表明,圖像采集和處理系統運行穩定可靠,在該系統上實現的圖像放大算法滿足了實時性要求,為信號的后續精細化處理奠定了基礎。
紅外焦平面陣列;DM642;實時處理
隨著微電子技術、大規模集成電路技術和信號處理技術的發展,紅外焦平面陣列(IRFPA)探測器日益成熟,并被廣泛應用于軍事、工業和商業等領域中。如IRFPA已被應用于精確武器制導,美國的導彈防御系統就是以紅外焦平面器件技術為核心,由多波段紅外來實現末級識別和制導[1]。日本的阪上隆英[2]、法國的 Patrick Gorria[3]、英國的 V.Dattoma[4]等人對紅外熱像無損檢測系統中的材料或構件的缺陷進行了大量研究。在設備熱狀態的診斷方面,中國科技大學火災科學國家重點實驗室[5]、華北電力大學[6-7]等單位的研究人員進行了深入的理論分析和實驗研究。
紅外技術應用廣泛,但紅外信號具有分辨率較低、圖像噪聲大、邊緣模糊等缺陷。因此,在進行紅外熱成像過程中,必須對每幀圖像進行諸如非均勻性校正、圖像濾波、圖像增強、圖像放大等處理,這樣才能獲得較好的顯示效果。而對于制導、狀態診斷等應用,更需借助復雜的實時處理算法來實現其功能。因此,紅外熱成像系統在運算過程中需要大量運算,一般的處理器不能滿足視頻圖像實時處理和顯示的要求。FPGA雖然在速度上滿足要求,但在后續算法處理上不具有通用性。
論文以高速定點DSP處理器TMS320DM642為核心單元,構建專用于紅外成像組件的視頻信號采集和處理平臺。深入分析紅外視頻信號采集原理,以放大圖像為例,研究提高信號處理速度的方法,充分發揮DM642的架構特點,克服數據存取耗時的缺點,從而實現紅外視頻信號的實時采集、處理和顯示。
紅外視頻信號采集和處理系統主要包括紅外視頻采集模塊、數字信號處理器、數字視頻編碼模塊、數據存儲器等。紅外探測器組件發出PAL制式的紅外模擬信號,經紅外視頻采集模塊轉換為BT.656格式的數字信號,傳送至 DM642的 VP1的緩沖區,再通過EDMA通道發送數據到SDRAM,DSP處理完數據后傳送數據至SDRAM中,與獲取信號類似,將視頻信號傳至VP0的緩沖區再經過數字視頻編碼模塊轉變為PAL制式后,發送到屏幕中顯示。

圖1 紅外圖像處理系統結構框圖
文中采用的紅外探測器組件為120×160的氧化釩陣列,輸出標準為PAL制式。光譜的響應范圍為7~14 μm,熱靈敏度≤65 mK,非均勻校正可通過軟件根據實際需求調制,從而保證機芯在-30~60℃下圖像的均勻性。
視頻解碼芯片采用TVP5150,其是一款具有超低功耗、支持NTSC/PAL等格式的高性能視頻編碼器。正常情況下,它的功耗僅為115 mW,并且具有較小封裝,因此適合用于便攜的視頻產品。它可接收2路復合視頻信號(CVBS)或1路S-Video信號,通過單片機I2C總線設置內部寄存器,輸出8位4∶2∶2的ITUR BT.656信號。
文中的紅外熱成像組件輸出信號經視頻解碼后成為數字圖像信號。視頻解碼芯片與DM642的VP1接口相連,它將模擬視頻信號換成YCbCr為4∶2∶2的BT.656數字視頻格式。每行BT.656的數據格式如圖2所示。

圖2 BT.656每行的數據結構
每行開始的288 Byte為行控制信號,開始的4 Byte為EAV信號,緊接著280個固定填充數據,最后4個Byte是SAV信號。SAV信號和EAV信號有3 Byte的前導:FF、FF、00;最后1 Byte XY表示該行位于整個數據幀的位置以及如何區分SAV、EAV信號。
選用TI的DM642是基于C6416核心的高性能數字多媒體處理器,最高運行速度可達4 800 MI/S。采用與一般處理器不同的哈佛結構,將數據和地址總線分開存儲,能有效提高處理速度。它還具有VLIW結構,包括了2個乘法器和6個ALU,在每個指令周期內可并行執行8條指令。此外還有16 kB的一級緩存和256 kB二級緩存,可大大提高處理數據的速度。一系列的結構設計,使得DM642可以進行實時的多視頻處理和運算。此外,TI公司還為圖像處理提供豐富的CSL庫,為用戶的二次開發提供了便利。
DM642在該系統中的主要功能是完成對紅外視頻的處理包括圖像放大、添加偽彩、圖像測溫等功能。經A/D轉換后的紅外數字視頻經DM642的VP1傳至SDRAM,并在DSP芯片內部完成一系列的數據運算,需要和數據存儲空間不斷的進行數據交換。由于用于鏈接DSP核和SDRAM的EMIF速度(100 MHz)遠低于DSP內核(600 MHz)的速度,因此系統的處理速度取決與外圍存儲器的數據讀取速度。
采用Philips公司的SAA7121作為數字視頻編碼器,將數字視頻信息轉換成場頻為50 Hz的全電視模擬信號。工作在3.3 V,支持PAL和NTSC視頻制式,其像素頻率為13.5 MHz,視頻數據引腳輸入數據為ITU-RBT.656格式的數字視頻信號,經過SAA7121芯片內的數據管理模塊分離出Y、Cb、Cr信號,然后再送到片內相應的數模轉換模塊將數字視頻信號轉換為復合視頻信號,最后由CVBS或者Y、C輸出。
片內有3個10位的D/A轉換器,分別對應Y、C和CVBS,通過I2C總線實現對芯片的配置,其I2C總線最大支持400 kHz的頻率。芯片可以工作在主動和被動兩種模式下。通過I2C的配置,使芯片工作在不同的模式下。
當復位引腳為低被釋放后為高電平時,就實現了芯片的復位,此后,所有的數字端口被設置為input模式,復位使得 I2C接口中止所有的數據傳輸。SAA7121的輸入時鐘信號的頻率為27 MHz。
DM642的片內存儲器有256 kB的空間,存取的速度較快,可滿足實時處理的要求。信號經視頻信號采集模塊被插值放大到240×320時,采集一幀的數據量為37.5 kB,使用片內本可滿足要求,但設計采用標準的PAL制式一幀圖像數據量為720×576,約為405 kB,必須外擴存儲單元。選用美光公司的MT48LC4M32作為內存,32 MB的空間滿足圖像放大,偽彩增強等所需的空間,將其映射到DM642的CE0空間對應起始地址為0x 80000000,工作頻率為100 MHz。
由于要求實時顯示,在處理過程中,必須充分利用DM642的EDMA和QDMA。EDMA進行數據傳輸時有2種啟動方式:CPU啟動;由同步事件觸發。每一個通道的啟動是相互獨立的。本設計采用的第兩種。事件編碼器捕獲到觸發事件并鎖存在ER寄存器中,將PaRAM中對應的參數被送入地址發生器.進而執行有關的傳輸操作。此方式適合用于與外設之間固定周期的數據傳輸,特別適合視頻的處理。QDMA與EDMA的功能類似,但傳輸效率更高,它是在提交傳輸申請后由CPU直接觸發,每次完成一整塊數據的搬移。由于EDMA和QDMA傳輸獨立于CPU操作,因此可以結合兩種DMA特點,提高整個系統的工作效率[8]。
由紅外探測器輸出的紅外視頻信號經TVP5150輸出為BT.656數字視頻格式,送至VP。DM642共有3個視頻接口(VP),獨立于DSP內核進行工作。每個VP含有容量為5 120 Byte的FIFO,對于不同的捕捉模式FIFO共有4種設置,BT.656模式下FIFO被分成A和B,每部分再分成YCrCb。閾值設定為VCA_THRLD_FIELD,一般將其設為一行,當過了設定值,將觸發EDMA_CHA_VPEVT事件,打開 EDMA通道,傳遞一行數據至SDRAM,共傳遞VCA_CAPEVT行,共約VCA_THRLD_FIELD*VCA_CAPEV數據。完畢后,EDMA通道關閉,需重新配置參數設置。為節約開銷時間,通過EDMA_link將下次需要配置的參數在數據傳輸后配好。
通過EDMA將紅外視頻數據傳至SDRAM中,若在SDRAM中直接放大,則所需時間過大。又由于DM642片內的存儲器只有256 kB,所以不能將完整的一幀圖像數據一次傳送至片內存儲器。方案中利用QDMA傳送有效圖像的120行的數據量(120×320,37.5 kB)到片內SRAM中,放大至240行(240×640,150 kB),共傳送2次構成一幀完整圖像,再將處理后的數據搬運至SDRAM,滿足一幀的數據量后,再通過EDMA通道送至DM642的VP0的輸出緩沖區。
主要的放大程序如下:


圖3 原圖與放大后圖像在內存中坐標映射關系
除了通過合理的內存調度外,還充分利用Cache的特點對系統進行結構的調整;單獨處理一場數據;將編譯器的優化選項選中O3等方法。
圖4為系統對實驗臺上放置水杯的成像效果圖。由圖可見,未經放大的原始圖像僅占全屏幕范圍的小部分,不利于觀察;經過放大,圖像被擴展至全屏,圖像的可識別程度得到較大提高。圖5直接在SDRAM中進行放大處理,可以看到明顯的拖影現象;將有效圖像的一部分數據先送至片內存儲器后再進行放大處理,則明顯改善拖影現象。

圖5 原圖像與改善后的圖像
實時處理技術是紅外焦平面成像儀的關鍵技術之一。文中以TMS320DM642為核心構建了紅外熱成像信號采集和處理系統。以實現放大算法為例,充分運用EDMA和QDMA的功能,實現視頻的實時顯示。實驗結果表明,該方法的效果比在內存中處理提高—倍,可大幅提高處理速度,滿足實時性要求。文中所述方法在紅外熱成像系統中具有代表性,可以移植到類似系統中。
[1]陳伯良.紅外焦平面成像器件的重大應用[J].紅外與激光工程,2005,34(2):168 -172.
[2]Toshimitsu ISHII,Yoshizo OKAMOTO.Investigation of qualification,certification and reference testing methods on nondestructive inspection by means of infrared thernography[J].非破壞檢查,1999,48(10):642 -652.
[3]LEGRAND A C,MERIAUDEAU F.Active infrared non -destructive testing for glue occlusion detection within plastic lids[J].NDT and E International,2002,35(3):177 -187.
[4]DATTOMA V,MARCUCCIO R,PAPPALETTERE C,et al.Thermography investigation of sandwich structure made of composite material[J].NDT& E International,2001,34(8):515-520.
[5]袁宏永,趙建華,范維澄.基于熱像技術的電纜火險隱患診斷研究[J].中國科學技術大學學報,2000,30(1):108 -112.
[6]陳衡.我國紅外診斷技術的現狀與展望[J].激光與紅外,1998,28(5):292 -296.
[7]陳衡.電氣設備故障紅外診斷中的基礎研究問題[J].電力情報,1997(1):8-11.
[8]黃飛,于慧敏,楊少林.基于DM642的紅外圖像實時處理系統的設計[J].電路與系統學報,2008,3(13):116 -120.
[9]王兆琦,仇潤鶴,尹蘇東.基于圖像處理的電梯鋼絲繩檢測系統[J].微計算機信息,2011(7):41-43.
The Infrared Video Signal Acquisition and Processing System Based on High-Speed DSP
WANG Mingfei1,2,XIONG Xianming1,DONG Daming2,ZHENG Wengang2
(1.School of Electronic Engineering and Automation,Guilin University of Electronic Science and Technology,Guilin 541004,China;2.Department of Agricultural Automation,National Agricultural Information Engineering Technology Research Center,Beijing 100097,China)
The Infrared Focal Plane Array is widely used in every field.The infrared video signal has different needs in different areas,which leads to the complexity of the post-processing algorithm.The real-time performance needs to be effectively improved.To improve the system performance,this paper builds an infrared image acquisition and processing system based on TMS320DM642,analyzes the working principle of the infrared image acquisition and studies the way of improving the speed of signal processing.Experiment results show that the system is stable and reliable,and the image magnification algorithm based on the system meets the real-time requirement.The success of this experiment lays a foundation for the subsequent signal processing.
IRFPA;DM642;real-time processing
TN219
A
1007-7820(2012)08-070-04
2012-02-06
王明飛(1984—),男,碩士研究生。研究方向:紅外視頻處理算法。