快照式多光譜探測器圖像加速處理方案設計

摘要：目前，多光譜探測技術，尤其是采用快照成像技術的多光譜探測器，在農業監測、環境評估、資源勘探等領域的應用受到重視。其能夠同時捕獲多個不同波段的圖像數據，提供豐富的空間和光譜信息。然而同時，其數據采集和處理的效率面臨挑戰，尤其是在需要實時數據采集和穩定性的場景下。本文提出了一種優化數據處理算法和硬件設計的方案，通過減少數據處理過程中的地址輪詢操作，降低對CPU資源的依賴，從而提高數據處理效率和系統的實時性。核心技術包括采用瑞芯微電子的RK3399Pro處理器。該處理器具有低功耗、高性能的特點，以及強大的神經網絡處理單元，支持Caffe、TensorFlow等主流模型。通過改進的二維圖像加速處理方案，實現對快照式多光譜探測器采集的多波段混合數據的高效處理，能夠顯著提高探測器的實時性，從而為多光譜成像技術的實時和高穩定性要求場景提供強有力的支持。

關鍵詞 ：快照式多光譜；數據處理；探測器；圖像加速

一、引言

在科技飛速發展的背景下，多光譜探測技術因其在農業監測、環境評估、資源勘探等領域的廣泛應用而受到了極大的關注。多光譜探測器能夠同時捕獲多個不同波段的圖像數據，提供比傳統成像技術更豐富的空間和光譜信息，從而使得對觀測對象的分析更加細致和準確[1]。然而，隨著技術的發展和應用需求的提高，多光譜探測器在數據采集和處理過程中面臨著新的挑戰。

在最近幾年，新興的快照成像技術催生了一代快照相機。這些相機正朝著成本更低、體積更小、分辨率更高、幀率更快的方向進化。在最新的研究中，歐洲微電子研究中心IMEC開發出了一項創新的芯片上光譜傳感器技術。該技術利用了一種特殊的光學濾波層。這層濾波層直接集成在標準CMOS圖像傳感器之上，通過在每個晶圓表面鍍上不同光譜段的濾波膜，實現了一次性捕捉多光譜圖像的能力。這種芯片上的光譜傳感器技術摒棄了使用傳統光學組件（比如光柵或棱鏡）的需求，取而代之的是直接在圖像傳感器上沉積的濾波器。這一變革顯著提升了相機的采集速度，同時降低了相機的體積和成本。因此，對于那些需要高度便攜性和能夠即時響應變化的應用場景而言，采用這種鍍膜CMOS技術的快照相機展現出了極大的應用潛力。由于其特殊的濾波膜設計，這類相機產生的圖像會展現出特有的塊狀效果，因而，這種類型的相機也被稱作馬賽克鍍膜型相機。

快照式多光譜探測器采集的數據是多波段混合數據，這要求在后續的數據處理中將混合數據按波段分解，以生成單一波段數據。以9波段多光譜探測器為例，其像元陣列設計使得相同顏色或數字代表采集同一波段數據的像元。這種設計雖然在采集效率上有優勢，但在數據處理過程中，需要進行大量的地址輪詢操作。這不僅消耗大量CPU資源，而且對實時性和穩定性構成挑戰，限制了多光譜成像技術在實時和高穩定性要求場景下的應用潛力。

本文針對上述問題，提出了一種新的解決方案。該方案旨在通過優化數據處理算法和改進硬件設計，減少數據處理過程中的地址輪詢操作，從而降低對CPU資源的依賴，提高數據處理的效率和系統的實時性。

二、探測器信號處理系統

信號處理系統接收圖像采集模塊通過MIPI接口發送的圖像數據，并對接收到的圖像數據進行光譜復原、圖譜識別等數據處理，以及對圖像數據進行存儲。

信號處理系統主要由嵌入式處理器及其他外圍電路組成。嵌入式處理器的功能主要是通過內部接口接收圖像采集模塊傳輸的圖像數據，并進行圖像數據的緩存、處理、存儲[2]。信號處理模塊系統組成如圖1所示。

信號處理系統能夠實現以下具體功能：

①通過MIPI接口接收圖像采集模塊輸出的圖像數據。

②通過RS-422接口向圖像采集模塊發送攝像機控制指令，并接收攝像機狀態數據。

③對輸入的圖像數據進行光譜復原、圖譜識別等圖像處理。

④將原始圖像數據和經數據處理后的圖像數據存儲到硬盤中。

三、二維圖像加速處理方案

二維圖像加速處理方案的設計框圖如圖2所示，主要涵蓋兩個模塊：視頻輸入模塊和數據搬運模塊。數據拷貝的結果將在目的地址生成寬/高按數據間隔成比例縮小的圖像數據。

（一）信號輸入模塊ISP

多光譜探測器通過MIPI接口接入主處理器的內置圖像信號處理器ISP。ISP作為RK3399Pro的視頻輸入單元，具有圖像處理、縮放和壓縮功能，可以對探測器數據進行預處理。使用時首先根據需求更改對應傳感器的XML文件信息，然后調用RKISP庫函數對Sensor配置信息結構體進行設置，涉及的關鍵成員包括：總線寬度、采集格式、顏色校驗等。

ISP模塊支持標準Sensor圖像數據處理，包括自動白平衡、自動曝光、Demosaic、壞點矯正及鏡頭陰影矯正等基本功能，也支持WDR、DRC、降噪等高級處理功能。該模塊的輸入采集窗口是可編程的，支持小于設置大小的輸入圖像。在輸入錯誤時會生成IRQ錯誤。ISP允許連續圖像采集或按特定數量進行圖片采樣的采集模式（1…1023）。此外，ISP模塊通過向系統處理器提供圖片數據信息來支持自動曝光功能，模塊的輸入部分可以根據信號極性、視頻數據位置和亮度/色度順序設置。

ISP模塊總是輸出YCbCr 4：2：2格式的數據。RGB通道提供的數據下采樣得到YCbCr 4：2：2，支持共址和非共址計算。使用行和幀結束信號并行提供亮度和色度數據。在原始數據模式中，這些數據通過Y端口傳送。

數據確認使用握手的方式。由于傳感器設備無法停止發送數據，反向握手（確認）僅用于像素檢測使用IRQ發出信號。為防止像素丟失，模塊內置FIFO。FIFO的深度可以由用戶定制。

ISP模塊還包含可編程寄存器，可通過僅支持單次傳輸的32位PVCI兼容接口訪問。

來自相機輸入的hsync和vsync控制信號與中斷邏輯連接，在處理過程中，可以再用些信號觸發配置事件。

下面對ISP的常用功能進行說明：

1.顏色處理

該模塊負責顏色處理相關功能，如色調、對比度、亮度和飽和度調節，操作數據格式為YCbCr 4：2：2。

2.圖像效果

圖像效果模塊逐像素修改圖像。可以進行一系列不同操作，如灰度、棕褐色、顏色選擇、負片、浮雕、素描和銳化效果等。同時，可以使用ISP控制器的伽馬模塊創建日光效果。圖像效果模塊通過16位（[15：8]：Y，[7：0]：Cb/Cr）數據接口獲取YCbCr 4：2：2數據。

亮度色度分離：亮度/色度分離器負責提供分量分離的YCbCr 4：2：2像素數據，以便進一步處理。

JPEG格式編碼器：JPEG編碼器由Raster-2-Block轉換器和JPEG編碼器核心組成。它只接受YCbCr 4：2：2數據。輸出接口為64位寬，兩個接口都使用握手，編程接口是16位PVCI接口。

ISP使用分布式配置寄存器方案。所有子模塊都包含自己的編程寄存器。在整個ISP控制器地址空間內為每個子模塊保留一個地址空間。

（二）數據搬運模塊DMA

數據搬運模塊（Direct Memory Access，DMA）控制器允許外圍設備或內存直接與主存交換數據，而無需CPU的介入，從而大幅減少CPU的負載，并提高數據傳輸效率。RK3399Pro處理器內置的DMA控制器支持直接拷貝和間隔拷貝功能，使得數據可以快速且靈活地在內存區域之間移動。在直接拷貝模式下，數據從源地址直接移動到目標地址，適合大塊數據的快速傳輸。間隔拷貝模式則允許在傳輸過程中按照預設的間隔調整數據，這對于處理特定格式的數據，如圖像數據非常有效。

對DMA進行正確的配置是充分利用其性能的關鍵。配置包括設置源和目標地址、定義傳輸的數據大小、選擇傳輸模式（直接拷貝或間隔拷貝）等。在RK3399Pro平臺上，DMA控制器的配置通過編程實現。開發者可以根據數據處理需求精細調整DMA的工作模式，確保數據傳輸的高效和準確。

RK3399Pro提供了兩個DMA控制器：DMAC0和DMAC1，兩者都在Pd_Peri_Lp系統中。DMAC0有10個硬件請求端口。它們的觸發器類型都是高電平觸發的，不能編程。DMAC1有20個硬件請求端口，每個觸發器類型都是高電平觸發的，不可編程。

在圖像處理領域，DMA的應用尤為重要。快照式多光譜探測器采集的數據通常是多波段混合數據，需要經過復雜的處理才能分離成單一波段數據。通過利用DMA的間隔拷貝功能，可以按波段對這些混合數據進行有效重組，從而大幅度提高數據處理效率和系統的實時性。這種方法不僅減輕了CPU的負擔，還加速了圖像處理流程，為實時圖像分析提供了可能[3]。

RK3399Pro的DMA具有直接拷貝和間隔拷貝功能。直接拷貝可以實現矩形數據區域的快速搬移功能。在此模式下，源數據將會直接通過快速通路搬移到目標區

域；間隔拷貝可以實現矩形區域數據的間隔搬移。在該模式下，源數據將在水平和垂直方向上都按給定的距離間隔、以固定大小搬移到目的區域。在本方案中使用間隔拷貝按波段對探測器采集數據進行搬運重組。

四、結束語

綜上所述，針對快照式多光譜探測器圖像為多波段混合數據的特點，本文設計了二維圖像加速方案。該方案從數據處理算法和硬件設計兩方面入手，減少了數據處理的復雜度，從而有、加速圖像數據處理，提高探測器的實時性。

作者單位：黃永飛 中國科學院空天信息創新研究院中國科學院大學光電學院

參考文獻

[1]J H ，E W ，于嘯 .基于長波紅外和可見光相機的多光譜成像技術[J].紅外，2020，41（07）：38-46.

[2]劉安，馮英林，徐冬梅等.一種具有多接口的網絡測試儀[P].北京市：CN116389330A，2023-07-04.

[3]胡溢.微型無人直升機水面檢測系統研究[D].浙江大學，2007.