無人機機載視頻去霧系統設計

秦春霞楊珂任萍鄭潔3趙遠鵬陳貴鋒

(1.西北工業大學 電子與信息學院，西安 710129； 2.西北工業大學 第365所，西安 710065;3.山西汾西重工有限責任公司，太原 030027； 4.國家電網陜西省電力公司檢修公司，西安 710000)

0 引言

在無人機對地偵察中，需要獲取地面感興趣目標較為清晰的圖像數據，但空中霧霾等因素會影響獲取的圖像質量K.M.He等提出基于暗通道先驗的圖像去霧算法，利用軟摳圖細化透射率[1]；其后K.M.He采用導向濾波來提高運行效率，但該算法對空中區域的處理效果尚需改善[2]；Berman利用霧度線基礎上，利用不同的透射系數恢復了距離圖和無霧圖像[3]。F.Meng等提出一種有效的正則化去霧算法，通過探索固有的邊界約束來恢復無霧圖像[4]。范新南等利用亮通道先驗和模糊聚類對霧圖進行場景分類[5]；王晗等提出信息熵與保真度相結合的單幅圖像去霧方法。雖然上述算法在去霧效果上都有各自優勢，但需要滿足機載實時處理等應用需求方面，需要解決相關工程應用實現。針對機載視頻去霧處理系統需要，周曉波[6]和龔亮[7]分別采用FPGA實現相關去霧算法，李昂[8]和張海濱[9]利用ARM實現去霧算法效果。上述方法都可以得到較好的去霧效果，但存在時序和邏輯功能實現復雜、硬件資源和功耗要求高，外圍接口電路設計也較復雜等問題，機載視頻處理應用得到限制。為此，本文采用具有去霧功能的ASIC芯片TS1601[10]，根據機載視頻處理需要，利用Freescale公司i.MX6嵌入式系統[11]設計系統控制初始化、去霧控制、去霧視頻壓縮處理、接口電路和指令響應等軟件設計。

1 系統總體方案

系統機載圖像去霧處理流程：首先，采用Techwell公司TW9912芯片采集模擬數據[12]，采用Semtech公司GS2971芯片獲取數字高清數據[13]，設計BT.656/BT.1120數字視頻信號輸出；其次，采用TSSI公司專用去霧處理芯片TS1601設計相關去霧處理[10]；接著，采用i.MX6處理器完成TS1601、視頻采集和遙控遙測指令接收處理工作；最后，針對無人機信道受限情況，完成i.MX6數字視頻信號H.264的壓縮和數據組幀等工作。系統總體框圖如圖1所示。

圖1 圖像去霧系統總體框圖

此外，采用Winbond公司W25Q80BV芯片設計SPI Flash存儲，設計實現TS1601和TW9912采集芯片I2C接口控制功能、GS2971芯片GSPI接口配置和控制、遙控/遙測指令處理電路完成機載遙控接收和遙測指令回報等。

1 硬件設計

1.1 去霧芯片設計

TSSI公司的TS1601是一款高清視頻處理芯片，具有去霧處理、2D/3D圖像去噪等功能。TS1601可接收/發送BT.656和BT.1120格式等通用數字視頻信號。TS1601具有以下幾點：1)輸入輸出的格式：分別接收模擬視頻輸出的BT.656和數字高清視頻輸出的BT.1120；2)外圍接口：外圍接口有16個GPIO口，可被復用為I2C總線和UART等接口，還有專用SPI總線接口[6]等接口的控制和通信；3)低功耗：TS1601處理芯片具有低功耗；4)設計簡單：去霧算法參數設置可以實時調整，時序、邏輯功能、去霧參數等實現相對簡單。

1.2 視頻采集芯片設計

標準模擬視頻采集芯片的D1圖像分辨率為奇偶場720×288兩幅BT.656隔行數據，如果將其輸出到i.MX6的720×576逐行視頻接口，就會出現top和bottom兩幅720×288(奇偶幀)視頻效果。常用隔行轉逐行處理方法有以下幾種：1)對top和bottom兩場交錯生成一幀圖像處理算法；2)用top或bottom一場代替一幀圖像，但其插值算法會損害圖像清晰度；3)圖像運動補償算法，算法CPU占用和處理時間較大，達不到實時要求；4)采用TW9912等芯片內部硬件處理方法，通過內部反交錯引擎的隔行掃描視頻轉換成逐行BT.656視頻數字信號，由硬件完成復雜的運動補償等圖像處理算法，視頻采集效果最好，并且不占用系統處理資源，可滿足系統實時處理需要。因此，將TW9912設計為逐行輸出，計算其輸出像素時鐘pixclk并對i.MX6的視頻接口進行配置。BT.656并行接口除了傳輸4:2:2的YCbCr視頻數據流外，還有行、列同步所用的控制信號。TW9912一幀PAL制式分辨率為720×576的圖像數據由一個625行、每行1728字節(1 440+280+4+4=1 728)的數據塊組成。其中，23～311行(288)是偶數場視頻數據，336～624行(288)是奇數場視頻數據，其余為垂直控制信號。根據公式：像素時鐘pixclk=行數據×行數×幀率。對于PAL制式分辨率為720×576的隔行掃描圖像數據，pixclk頻率為：PAL：(1 440+280+4+4)×625×25=27 000 000。如果采用逐行輸出方式，PAL制式的pixclk應為54 MHz，比隔行輸出pixclk=27 MHz增大一倍，其幀數也增大一倍由PAL：25->50。此外，由于在視頻圖像的采集過程中，不同端口大小、不同階段，數據的字節順序是非常重要的。為了對圖像數據進行靈活打包，在視頻接口軟件設計數據緩存交換空間進行打包。

數字視頻信號芯片GS2971是一款支持標清、高清和3 Gb/s多種速率的SDI接收器，該芯片利用SPI總線進行初始化配置和控制。設計中，設計GS2971完成接入SDI視頻YCBCR數據轉換和BT.1120輸出，經過匹配電阻接入i.MX6視頻處理芯片，保持視頻信號傳輸阻抗匹配。

2 軟件設計

根據系統功能和設計的需要，系統軟件采用模塊化設計，其中主程序、去霧處理算法、H.264壓縮處理、遙控指令響應程序、遙測信息回報等軟件分別采用嵌入式平臺軟件編程。

2.1 系統主程序設計

系統主程序流程如圖2所示。主處理程序主要分為芯片初始化、芯片探測、事件發送和響應操作和內核循環5個模塊。根據需要，系統處理主程序采用嵌入式模塊化的設計思想，軟硬件有機結合構成一個功能完整的一體化的控制模塊。具體設計如下：

上電后，程序對系統進行初始化，完成視頻接口芯片TW9912和GS2971、去霧處理芯片TS1601初始化工作、i.MX6嵌入式系統初始化、串口初始化、系統相關處理事件初始化；實現模塊化設計，針對系統各個接口和去霧處理參數配置腳本設計；系統初始化時，可以根據系統硬件設置和控制參數情況，直接調用對應腳本文件，能夠快速、直接、準確地配置模塊參數；內核循環流程，設計無人機視頻H.264壓縮碼率受控處理軟件，解決壓縮編碼的運動估計搜索范圍、最大關鍵幀間距、SPI接口緩沖區碼率控制機制問題，完成系統SPI輸出碼率受限軟件設計[12]。

圖2 系統處理主程序軟件流程圖

2.2 系統去霧遙控指令接收處理設計

無人機機載去霧處理系統在滿足去霧功能基礎上，i.MX6接收的遙控指令包括同步幀頭和控制指令等，接收和處理的遙控和遙測指令數據需要逐字節進行解析、判斷、處理和回報。設計遙控指令的每幀指令由64個字節組成，前兩個字節為遙控指令幀頭。當嵌入式系統串口接收到遙控指令后，系統根據遙控指令幀結構完成相應遙控解譯操作。其他功能設計如下：

1)機載去霧系統初始化：由于系統通過初始化完成相關TS1601去霧接口和狀態配置，因此需要關閉系統中斷響應并在去霧配置完成后再根據需要開啟。

2)TS1601芯片的去霧功能初始化：根據機載視頻去霧處理要求，完成TS1601芯片的去霧處理算法參數設置(參見2.3節)，系統采用配置腳本方式，快速準確實現機載去霧處理模式設置。TS1601芯片初始化流程如圖3所示。

圖3 TS1601芯片初始化流程

2.3 系統視頻去霧參數設計

無人機機載視頻大多是場景變化緩慢對地觀測場景，應針對機載圖像特性和實際工程情況設計去霧參數。對于機載獲取的圖像霧化主要表現為圖像對比度和明度減小，去霧處理上需要提高圖像對比度和明度。因此，機載視頻去霧參數系統采用大氣散射模型從機載圖像去霧I(x)、大氣光值A和透射率t(x)中恢復出圖像J(x)[1]：

(1)

(2)

式中，Ω(x)表示一塊方形區域，Ic表示含霧圖像的一個顏色通道。在求取透射率圖時使用最小值濾波并不符合機載視頻圖像景物深度基本一致的情況[1-3,5]，改進的去霧算法復雜度較高[3-5]，不利于機載景物深度變化較大的區域透射率的實時估算。例如，超低能見度情況下地面霧霾濃度過大，圖像去霧處理時會使去霧后的圖像噪聲偏大，需要進行不完全去霧；當地面能見度較高霧霾濃度很低，不需要對圖像進行去霧處理。針對機載圖像視場變化緩慢的快速去霧處理，本文提出一種機載圖像HSV分量確定透射率。

首先，機載圖像色調、飽和度和明度各分量的平均值分別為：

(4)

式中，Sum(H)，Sum(S)和Sum(V)為圖像中所有像素點色調分量H、飽和度分量S、明度分量V的總和，N1、N2、N3為分量值不為0的像素點數量，AveH，AveS和AveV為圖像中各分量的平均值。根據實驗數據測試分析，結合飛機總體設計對機載圖像去霧處理系統技術指標要求，將機載含霧圖像按照如下含霧等級設定。

含霧圖像等級1：

(AveH<100)&&(AveS<0.07)&&(AveV<0.5)

(5)

含霧圖像等級2：

(AveH<125)&&(AveS<0.2)&&(AveV<0.48)

(6)

其次，根據HSV分量確定含霧圖像等級對透射率進行調整，在含霧圖像等級為1的區域需要對透視率進行放大，而在含霧圖像等級為2的區域需要對透視率保持不變，定義透射率為：

(7)

式中，閾值M定義為含霧圖像中對比度大于圖像HSV分量對比度閾值S(一般取S=2)的像素值個數p占總像素點個數n相比，即：M=p/n。無人機機載含霧圖像表現為對比度較差，所選取的閾值M也應該不同：圖像中對比度區域較小的圖像選取較大的M值；圖像對比度較大選取較小的閾值M。本文按照含霧等級的去霧處理方法，不同于文獻[2-4]復雜參數計算方法，計算效率得到提高并且系統實時性也得到保障。

2.4 視頻去霧處理設計

視頻去霧處理芯片TS1601中有視頻去霧寄存器、I2C總線的寄存器、SPI總線寄存器、OSD寄存器等多種寄存器。通過設置相關去霧寄存器(DEMIST_ENABLE、DEMIST_WIN_LT等)的狀態來達到去霧的目的。其他有關圖像去噪，視頻OSD功能處理等軟件流程略。

無人機機載視頻大多是場景變化緩慢對地觀測場景，應針對機載圖像特性和實際工程情況采用不同去霧方式和模式對視頻進行實時去霧處理。設計視頻去霧處理軟件如下：首先進行去霧功能的初始化，包括設置去霧最大的亮度和最大的色度；其次，根據輸入設備判定并更新相應的腳本參數；然后，去霧系統根據從串口接收到的去霧指令進行處理，獲得去霧事件的ID號和參數temp，并根據事件的ID號判斷去霧事件的類型。在去霧事件中軟件設計中：1)若temp=0，設置去霧的工作模式為關閉的狀態；2)若temp=1，設置去霧的工作模式為全雙工方式，設置去霧的工作電平為高電平有效，根據獲取的參數temp=1選擇去霧模式1并對相關的寄存器進行設置；3)若temp=2，設置去霧的工作模式為全雙工方式，設置去霧的工作電平為低電平有效，根據獲取的參數temp=1選擇去霧模式2并對相關的寄存器進行設置。

3 實驗測試

采用實際硬件平臺，完成相關去霧處理方法的實驗測試。實驗測試采用實際采集圖像和相關公開測試圖像進行測試對比，圖像去霧效果對比如圖4和圖5所示。圖4(a)、(b)表示含霧等級1去霧效果圖，圖4(c)、(d)表示含霧等級2去霧效果圖。從含霧等級1結果看，由于含霧量一般，區域透射率保持不變，而含霧等級2其含霧量較大，區域透射率需要進行調整，兩種等級去霧后的圖像都接近于自然。

圖4 去霧前和去霧后處理效果對比圖

為了更加客觀地比較含霧等級去霧處理的效果，選擇典型文獻[2-4]去霧方法進行比較，并利用TenenGrad函數、方差函數、平均梯度梯度函數等3種清晰度評價函數[15]來評價去霧效果，并對得到函數值做歸一化處理，結果如表1所示。由圖5測試結果可見，根據含霧等級對透射率進行進行分析和加權調整，相對于文獻[2-4]具有良好的的適應性。K.M.He等算法[2]對于大部分圖像具有良好的去霧效果，所提暗通道先驗方法存在對大氣光近似目標場景估計不足等問題，缺乏層次感，去霧圖像整體亮度偏暗并存在失真情況，圖5(b)第二幅圖像左上角還會出現不均勻色塊情況；Berman等[3]算法整體亮度和色彩對比度上有所提升，但是某些圖像的邊緣出現偽輪廓，如圖5(c)第一幅圖像遠處的模糊場景并沒有清晰恢復；F.Meng等[4]算法對于弱光照區域會出現對比度和亮度偏低的情況，如圖5(d)第三幅圖像所示天空區域圖像信息丟失并出現色塊。由表1可見，本文算法絕大多數情況下各項評價指標是最優的，D.Berman等[3]和F.Meng等[4]算法分別在圖5(c)第二幅圖和圖5(d)第一幅圖TenenGrad函數指標客觀評價要優于本文方法，但本文方法在保持去霧優良效果的同時還保持較快處理速度，進一步增強算法的實用性。

圖5 文獻方法和本文方法去霧前和去霧后處理效果對比圖

4 結束語

本文提出一種無人機機載圖像去霧處理系統設計。系統可根據機載含霧圖像等級進行去霧圖像參數化分析，完成相關圖像壓縮、遙控遙測指令接收和發送、機載實時去霧

表1 去霧性能客觀評價結果

等處理工作，滿足機載視頻圖像去霧系統實時性處理需要。實驗測試結果表明，該系統滿足無人機機載視頻去霧處理的需求，可有效降低圖像去霧處理復雜度，具有功耗小、易實現和適應性強等特點，滿足無人機機載圖像實時性去霧處理要求。