許 哲,吳 琨,黃 鶴,黃 鶯,郭 璐
(1.中國電子科技集團(tuán)公司第二十研究所,陜西 西安 710068;2.長安大學(xué),陜西 西安 710064;3.空軍工程大學(xué),陜西 西安 710038;4.西安愛生技術(shù)集團(tuán)公司,陜西 西安 710075)
自從四旋翼無人機(jī)被提出以來,學(xué)者們對其飛行控制技術(shù)進(jìn)行了深入研究,并廣泛應(yīng)用于圖像處理領(lǐng)域。利用它的微型攝像頭收集圖像信息,結(jié)合無人機(jī)云臺共同工作。通過無人機(jī)云臺控制相機(jī)的姿態(tài),能在不同環(huán)境下有效完成對圖像的采集任務(wù)。采集的圖像通過無人機(jī)圖傳功能模塊實(shí)時傳給地面無線接收設(shè)備,地面接收并對拍攝的圖片進(jìn)一步處理完成相應(yīng)的任務(wù)。四旋翼無人機(jī)飛行姿態(tài)萬千,適應(yīng)各類境況,能自主起飛和降落,具有垂直起降功能,使其不受狹窄區(qū)域限制,可以快速通過不同區(qū)域通勤。它能勝任惡劣環(huán)境下的工作,有效完成航拍采集圖像和圖傳任務(wù)。它重量輕,時效性強(qiáng),成本低廉。但是,通常無人機(jī)飛行高度幾十或者幾百米近似垂直向下拍攝的情況下受到霧霾的影響,導(dǎo)致采集的圖像不同程度上質(zhì)量下降。航拍圖像模糊亟待提出一種有效的實(shí)時去霧算法,因此無人機(jī)深度學(xué)習(xí)去霧算法具有重要的研究意義。
TMS320C6748 芯片是業(yè)界功耗最低的浮點(diǎn)數(shù)字信號處理器(Digital Signal Processing,DSP),具有高能效、使用壽命長、連通性設(shè)計對高集成度外設(shè)以及低熱耗等特點(diǎn)。在具備通用并行端口(Universal Parallel Port,uPP)的同時,它也是TI 首批集成串行高級技術(shù)附件(Serial Advanced Technology Attachment,SATA)的器件,可以很好地滿足系統(tǒng)的實(shí)時性要求。
DSP 可搭載在無人機(jī)上進(jìn)行圖像去霧處理,是圖像去霧處理模塊的核心。在圖像去霧處理系統(tǒng)功能驗證過程中,要先確保該DSP 工作狀態(tài)正常,再進(jìn)行DSP 外設(shè)的調(diào)試。TMS320C6748 采用JTAG 接口的仿真器,將DSP 啟動模式設(shè)置為仿真器啟動,即8 根BOOT 模式控制管腳的值為00011110。確認(rèn)設(shè)置正確后,上電嘗試連接仿真器。通過TI 提供的開發(fā)環(huán)境代碼調(diào)試器(Code Composer Studio,CCS)V4 嘗試連接仿真器和DSP,利用GEL 文件初始化DSP,發(fā)現(xiàn)DSP 能夠正常與仿真器建立連接,且DSP 內(nèi)核和各外設(shè)的初始化也能夠正常完成,由此驗證DSP 的核心硬件電路的工作狀態(tài)正常。
光線的短波和中長波光線的反射,對物體的顏色具有重要作用。并非是反射光強(qiáng)度的絕對值,而是光在某個波段的反射能力是實(shí)物自帶的屬性,不依賴任何光源。物體的色彩不會被光照的非平均性干擾,而Retinex 為基礎(chǔ)具有顏色恒常性。
Retinex 理論提出I(x,y)由照度圖像和反射圖像組成。前者指物體的入射分量的信息,記為L(x,y);后者指的是物體的反射部分,記為R(x,y)。具體原理如圖1 所示。

圖1 圖像成像原理
用式(1)表示圖像I(x,y):

反射圖像具有圖像的本源內(nèi)容,而照度圖像是因外來光線的強(qiáng)弱變化引起的對原始圖像的干擾。通過計算照度圖像并將其從圖像本身中分離出來,可減少照度圖像對反射圖像的影響,獲取圖像的本質(zhì)信息。將上述過程轉(zhuǎn)換到對數(shù)域進(jìn)行處理,可以將復(fù)雜的乘法轉(zhuǎn)換為加法:

計算過程中,由于直接計算反射分量r(x,y)較為復(fù)雜,因此先計算照度分量l(x,y),再用已知的i(x,y)與計算得到的照度分量l(x,y)相減獲得反射分量r(x,y)的值。流程如圖2 所示。

圖2 計算反射分量流程
單尺度Retinex 算法的數(shù)學(xué)形式如下:

Retinex 算法流程如圖3 所示。首先,輸入原始圖片,確定高斯濾波的半徑。其次,對原始圖像進(jìn)行高斯濾波,得到照射分量L。再次,根據(jù)式(3)得到反射分量。最后,得到高頻增強(qiáng)的對象后取反對數(shù),得到增強(qiáng)后的圖像。

圖3 Retinex 算法流程
在SSR 基礎(chǔ)上改進(jìn)的MSR,既能對圖像進(jìn)行動態(tài)壓縮,又能對圖像保持高保真度,且具有顏色恒常性,對色彩有增強(qiáng)作用,具有全局、局部動態(tài)范圍壓縮能力,可用于增強(qiáng)X 光圖。
為達(dá)到更好的效果,所謂的多尺度視網(wǎng)膜增強(qiáng)算法(Multi-Scale Retinex,MSR)被提出,其中大、中、小3 種尺度最經(jīng)典,可以在保留一致性色感的前提下,在動態(tài)范圍內(nèi)壓縮圖像。與單尺度比較,Log[R(x,y)]值計算步驟有所不同。
(1)需要對原圖進(jìn)行各個尺度的高斯模糊,得到模糊后的圖像Li(x,y),其中小標(biāo)i表示尺度數(shù)。
(2)對各個尺度下進(jìn)行累加計算:

各個尺度對應(yīng)的權(quán)重用Weight(i)表示,前提是權(quán)重綜合為1,通常取等權(quán)重。
其他步驟和單尺度相比沒有區(qū)別。
基本的計算原理如下:

式中,I為原始輸入圖像;F是濾波函數(shù),一般為高斯函數(shù);N為尺度的數(shù)量;W為每個尺度的權(quán)重,一般都為1/N;R表示在對數(shù)域的圖像輸出。
如圖4 所示,算法基本步驟如下:
(1)將原始圖像分解為RGB 共3 個通道。
(2)對每個通道進(jìn)行高斯模糊后應(yīng)用多尺度Retinex 算法。
(3)對RGB 這3 個通道進(jìn)行融合,并輸出處理后的圖像。

圖4 MSR 方法改進(jìn)Retinex 去霧算法流程
在CCS 實(shí)現(xiàn)后,需要在Property 中設(shè)置參數(shù),包括圖片像素行列數(shù)、紅祿藍(lán)掩模以及起始地址等。參數(shù)的設(shè)置正確與否決定著能否正常顯示圖片。CCS 圖片顯示參數(shù)設(shè)置如圖5 和圖6 所示。

圖5 CCS 顯示原圖參數(shù)設(shè)置

圖6 CCS 顯示去霧結(jié)果圖參數(shù)設(shè)置
由于R對數(shù)域的輸出要轉(zhuǎn)換為數(shù)字圖像,必須將它們量化為[0,255]的數(shù)字圖像范疇。這個量化的算法優(yōu)劣對最終輸出的品質(zhì)起至關(guān)重要的作用。采用直接線性量化方式進(jìn)行處理,即:

算法流程如圖7 所示。首先,對輸入的圖像利用Retinex 算法處理后得到反射分量圖像。其次,引入顏色回復(fù)因子恢復(fù)圖像后量化到量化為[0,255]的數(shù)字圖像范疇。最后,MSRCR 后輸出圖像后去除噪聲得到最終處理圖像。
通過對3 種算法去霧效果的對比可知,圖8 基于Retinex 的圖像去霧結(jié)果為顏色恒常、高色彩保真,去霧結(jié)果圖像的清晰度與原圖像顏色更貼近,視覺效果很好,但存在大量光暈。MSR 實(shí)驗效果,如圖9 所示,整體對比度有所提升,但偏色現(xiàn)象較為突出。圖10 中MSRCR 方法對光暈的減弱效果要比MSR 方法好,圖像增強(qiáng)效果更佳,色彩更逼真。

圖7 MSRCR 方法改進(jìn)Retinex 去霧算法流程

圖8 基于Retinex 的去霧算法結(jié)果


圖9 MSR 方法改進(jìn)Retinex 去霧算法結(jié)果

圖10 MSRCR 方法改進(jìn)Retinex 去霧算法結(jié)果
表1 分別在峰值信噪比(Peak Signal to Noise Ratio,PSNR)、相似度衡量(Normalized Correlation,NC)、結(jié)構(gòu)相似性(Structural Similarity Index,SSIM)方面對3 種算法進(jìn)行對比。SSR 在三者衡量因素上都是最小的,處理結(jié)果圖像失真度高,魯棒性差,且與原圖相似度最小;MSR 方法改進(jìn)Retinex 去霧算法在結(jié)果上相比于前者有明顯改進(jìn),但依舊不理想;MSRCR 方法改進(jìn)的去霧算法效果最佳,PSNR 及NC 都比較大且SSIM 更接近1,因此圖像失真度最小,魯棒性較好,與原圖相似度最高,且圖像處理效果較好。

表1 不同算法的評價指標(biāo)值對比
本文提出改進(jìn)Retinex的無人機(jī)圖像去霧算法,并對受到外界環(huán)境影響的失真圖像分別用兩種方法去霧,在降噪處理后有良好的畫面觀感。實(shí)驗結(jié)果表明,MSRCR 方法改進(jìn)的算法去霧真實(shí)性較高,圖像增強(qiáng)效果明顯,且有效減少了失真度,與原圖顏色更貼近。