水下圖像增強(qiáng)方法研究綜述

嚴(yán)浙平，曲思瑜，邢文

（1.哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001; 2.哈爾濱工程大學(xué) 青島創(chuàng)新發(fā)展基地，山東 青島 266000）

在陸地空間和資源壓力日益增大的條件下，對于水下空間的開發(fā)變得迫切起來，海底蘊(yùn)藏著豐富的礦產(chǎn)資源與化石能源，能掌握高效的水下資源開發(fā)技術(shù)的國家必將在未來發(fā)展中占盡先機(jī)。高質(zhì)量且清晰的水下圖像是海洋資源勘探和海洋安全監(jiān)測等一系列水下作業(yè)任務(wù)的重要保證。但是，水下成像是不同于陸地上的成像機(jī)制，水下環(huán)境的成像是更為復(fù)雜的。首先，光線在水中的傳播衰減與陸地的傳播衰減是不同的，它是一種不均勻的且依賴于波長特性的衰減。紅光是可見光中波長最長的，在傳播時(shí)，紅光最先消失，然后是按照波長順序的橙光、綠光及藍(lán)光，這也是大多數(shù)水下的圖像都呈現(xiàn)出藍(lán)綠色調(diào)的原因。其次，水體中的溶解物也會對成像造成影響，水體中的粒子對于光有反射作用，當(dāng)其反射的光到達(dá)相機(jī)時(shí)會對所成的像產(chǎn)生散射效果，散射使成像的細(xì)節(jié)變得模糊影響圖像的質(zhì)量。不同深度、位置、季節(jié)、氣溫對于水體的影響是十分復(fù)雜的，加大了去除圖像中粒子散射效果的難度。最后，當(dāng)達(dá)到一定的水深時(shí)，太陽光無法到達(dá)提供照明，必須引入輔助照明設(shè)備進(jìn)行拍攝，此時(shí)，圖像中心區(qū)域會不可避免的出現(xiàn)亮斑，嚴(yán)重影響了圖像的對比度。由于光線的選擇性衰減與水中粒子散射問題，水下圖像會表現(xiàn)出顏色扭曲、細(xì)節(jié)模糊、對比度低的問題。

早期的水下圖像處理是應(yīng)用硬件設(shè)備輔助進(jìn)行的，如偏振器法[1-2]，該方法基于偏振器的原理實(shí)現(xiàn)了去除散射效應(yīng)的目的。在偏振器后提出了用快速快門門限成像方法來去除水下圖像的散射或噪聲[3]，該方法利用具有超高快門速度的成像設(shè)備快速地打開和關(guān)閉快門實(shí)現(xiàn)了對散射光線的去除。Martin等[4]提出了立體成像先驗(yàn)水下圖像增強(qiáng)方法，使用兩個(gè)攝像機(jī)以不同的角度對同一場景進(jìn)行拍攝，進(jìn)而建立起場景的立體結(jié)構(gòu)，由于水下圖像的衰減與場景的立體結(jié)構(gòu)是有關(guān)聯(lián)的，因此可降低場景成像的模糊程度。這些應(yīng)用硬件的方法普遍存在效率低、成本高、無法用于深水、難攜帶等弊端，難以滿足現(xiàn)代海洋調(diào)查的需求。

隨著圖像處理技術(shù)的快速發(fā)展，利用光學(xué)成像進(jìn)行水下探測展現(xiàn)出巨大的潛力和優(yōu)勢。由于不同水體類型的光吸收特性、折射特性、透明度等參數(shù)具有顯著差異性，設(shè)計(jì)能夠在多種復(fù)雜條件下對水下圖像進(jìn)行增強(qiáng)的算法是非常重要的。國內(nèi)外研究學(xué)者相繼提出了許多新穎的算法和研究思路，本文將對不基于物理模型、基于物理模型與基于學(xué)習(xí)的3類水下增強(qiáng)算法進(jìn)行總結(jié)，并梳理現(xiàn)有的水下圖像質(zhì)量評價(jià)體系，最后，對水下圖像增強(qiáng)算法的未來發(fā)展趨勢進(jìn)行分析和展望。

1 基于傳統(tǒng)圖像增強(qiáng)法

水下圖像增強(qiáng)技術(shù)是以成像系統(tǒng)獲取的數(shù)碼圖像為基礎(chǔ)，利用有效的圖像增強(qiáng)算法建立水下圖像自動增強(qiáng)模型，進(jìn)而實(shí)現(xiàn)高效、準(zhǔn)確的水下圖像增強(qiáng)[5]。圖像是攜帶信息最多的載體，圖像的處理技術(shù)伴隨著圖像的產(chǎn)生而產(chǎn)生，如今，出現(xiàn)了各種各樣的圖像增強(qiáng)方法，其中一部分可以被應(yīng)用水下環(huán)境中。此外，國內(nèi)外研究學(xué)者嘗試?yán)枚喾N方法進(jìn)行水下圖像的增強(qiáng)，基于非物理模型的方法是直接在像素級別進(jìn)行操作的[6]，它在繼承傳統(tǒng)圖像增強(qiáng)方法的原理上進(jìn)行改進(jìn)。對于基于非物理模型的方法可以大致分為空間域、變換域以及綜合型的水下圖像增強(qiáng)方法。

1.1 空間域法

水下圖像與大氣中的圖像相比較具有高模糊、低對比度及顏色扭曲的特點(diǎn)，水下圖像增強(qiáng)方法必須針對該特點(diǎn)進(jìn)行設(shè)計(jì)[7]。空間域的方法大多是指導(dǎo)像素空間進(jìn)行指定的分布以獲得更好的視覺效果。如直方圖均衡與其改進(jìn)算法，它在于指導(dǎo)各通道的像素按照指定的排列進(jìn)行再分布，直方圖均衡算法在提高對比度上具有顯著的效果[8]，具體方法如下。

對于離散二維圖像，像素值的歸一化范圍為[0,1]，將其灰度級別定義為

式中：Pr表示灰度的分布；rk表示離散灰度；nk表示為rk的像素個(gè)數(shù)；n為全部像素個(gè)數(shù)；則nk與n的比值表示為頻數(shù)，也就是像素分布概率。經(jīng)過上述的處理后，就可以對直方圖按照式(1)進(jìn)行轉(zhuǎn)換：

直方圖轉(zhuǎn)換的函數(shù)可以是多種多樣的以期望達(dá)到滿意的效果[7]，該方法在圖像較亮或較暗區(qū)域的效果比較明顯。在水下圖像中，會有光照不充足產(chǎn)生曝光不足的情況，直方圖法能夠有效去除該現(xiàn)象。但是，直方圖均衡及其改進(jìn)方法對于整體亮度較低的圖像進(jìn)行增強(qiáng)時(shí)，會改變其整體顏色布局，色彩失真較為嚴(yán)重，而且沒有對數(shù)據(jù)的特性以及水下環(huán)境的特性關(guān)注，實(shí)際應(yīng)用時(shí)魯棒性不強(qiáng)[8]。

伽瑪函數(shù)函數(shù)校正是指通過伽瑪函數(shù)對圖像的亮度進(jìn)行調(diào)整[9]，劉志成等[10]提出了一種基于二維伽瑪函數(shù)的光照不均勻圖像自適應(yīng)校正算法，利用多尺度高斯函數(shù)對場景的光照分量進(jìn)行提取，把低曝光的區(qū)域調(diào)亮，同時(shí)也將過度曝光區(qū)域調(diào)暗，實(shí)現(xiàn)圖像的亮度平衡，設(shè)計(jì)了二維伽瑪函數(shù)：

式中：O(x,y)為校正后輸出圖像的亮度值；γ為校正增強(qiáng)的指數(shù)值；m為光照分量的亮度均值。水下圖像的衰減原因復(fù)雜，不僅僅是因?yàn)楣庹詹痪鶆颍€與多種因素相關(guān)，亮度的伽瑪校正難以實(shí)現(xiàn)水下圖像的增強(qiáng)。因此，伽瑪函數(shù)校正只能作為輔助方法。

1963年，Edwin.H.Land提出了Retinex理論，他將視網(wǎng)膜理論引入到圖像處理中，認(rèn)為顏色是物體本身的屬性，光照無法對其改變，即物體的顏色一直保持一致[11]。該理論描述進(jìn)入人眼的光為

對式 (2) 取對數(shù)就可以得到：

將照射圖假設(shè)為平滑圖像可進(jìn)一步得到：

式中F(x,y)是為中心環(huán)繞函數(shù)，可表示為

其中 λ 和c分別表示尺度和環(huán)繞尺度，應(yīng)當(dāng)滿足條件：

由于Retinex理論是基于顏色一致性所設(shè)計(jì)，在色彩恢復(fù)上取得了一定的成就[11]。但是，水下圖像同時(shí)還面臨著細(xì)節(jié)模糊的情況，按照Retinex理論進(jìn)行照射圖求取時(shí)需要高斯濾波，加重了圖像的模糊程度，因此該方法一般也是用作輔助方法。

1.2 變換域法

變換域是指將原圖像空間中的像素與位置信息變換到其他更利于對圖像進(jìn)行處理的空間中，如傅里葉變換、小波變換等。小波變換是圖像處理中的常用方法[12]，本質(zhì)上是將圖像分為高頻子帶和低頻子帶，圖像應(yīng)用中，高頻子帶代表著細(xì)節(jié)以及噪聲的信息，而低頻子帶部分代表背景和紋理的信息。可以對感興趣的子帶進(jìn)行放大，不感興趣的子帶進(jìn)行抑制[13]，實(shí)現(xiàn)圖像的增強(qiáng)處理，基本小波變換的細(xì)節(jié)如下：

其中 ψ (t)是平方可積函數(shù)，若其為基本小波函數(shù)，則傅里葉變換必需滿足：

為了減少噪聲的影響，可以設(shè)置門限，將噪聲從中過濾掉，再經(jīng)過重構(gòu)即可得到增強(qiáng)圖像。因?yàn)槠鋵υ肼暤拿舾刑匦裕〔ㄗ儞Q是作為水下圖像增強(qiáng)的輔助算法。

針對于水中懸浮的小顆粒及水深導(dǎo)致的光線衰減，Wang等[14]提出將圖像按照范數(shù)分解成細(xì)節(jié)、結(jié)構(gòu)及光照分量，在細(xì)節(jié)分量中，小顆粒可以被當(dāng)作噪聲干擾通過濾波算法去除。這樣的分解相比于直接的像素操作是更加準(zhǔn)確且靈活，在此基礎(chǔ)上對3個(gè)分量獨(dú)立操作后給到自適應(yīng)的權(quán)值后合成增強(qiáng)的圖像，該方法將范數(shù)特性與水下圖像特性連接到一起，對渾濁水體的圖像具有較好的效果，但增強(qiáng)過程消耗時(shí)間較長。

1.3 綜合法

水下圖像有著細(xì)節(jié)模糊、顏色扭曲的特性，單一方法難以實(shí)現(xiàn)水下圖像增強(qiáng)的操作[15]。隨著水下圖像增強(qiáng)技術(shù)的發(fā)展，諸多多種算法融合的增強(qiáng)算法被提出了，宋瑞霞等[16]將圖像轉(zhuǎn)換到HSI空間增強(qiáng)，對飽和度分量進(jìn)行分段伽馬變換進(jìn)行增強(qiáng)，對于亮度分量采用正交多小波變換分離出高低頻帶，在低頻子帶上進(jìn)行Retinex調(diào)整，高頻子帶上應(yīng)用模糊增強(qiáng)，經(jīng)過上述操作后轉(zhuǎn)移回RGB空間得到增強(qiáng)的圖像。與其不同的是，賈芃等[17]在高頻子帶上使用多通道濾波方法同樣得到了較好的效果。田會娟等[18]提出將圖像轉(zhuǎn)移到Y(jié)CbCr空間，對光照圖像分量應(yīng)用伽瑪函數(shù)變換，再經(jīng)過Retinex和多尺度細(xì)節(jié)增強(qiáng)得到最終的結(jié)果，驗(yàn)證了空間轉(zhuǎn)換及綜合運(yùn)用傳統(tǒng)圖像增強(qiáng)方法在水下圖像增強(qiáng)中的有效性。

應(yīng)用空間濾波器對圖像進(jìn)行處理的方法發(fā)展十分迅猛，郝志成等[19]提出一種雙邊紋理濾波的方法用于圖像的細(xì)節(jié)增強(qiáng)，使用多尺度雙邊紋理濾波把圖像分解，在此基礎(chǔ)上，使用類似于小波變換的多尺度自適應(yīng)增強(qiáng)的方法得出一系列的增強(qiáng)細(xì)節(jié)圖像，最后求和即可得出增強(qiáng)圖像。

非物理模型的方法實(shí)現(xiàn)起來較為容易，但只考慮圖像本身的像素特性，不涉及水下的成像特性，面臨復(fù)雜多樣的水下圖像時(shí)表現(xiàn)不好，魯棒性差。

2 基于水下成像模型法

水下圖像的衰減是與水下環(huán)境的多種因素都相關(guān)的，如果可以掌握全部有關(guān)的衰減參數(shù)，可以根據(jù)衰減模型的逆過程將退化的水下圖像還原成清晰的高質(zhì)量的圖像，這是屬于圖像復(fù)原范疇。根據(jù)Jaffe-McGlamey成像模型，水下場景進(jìn)入相機(jī)的光線可由3個(gè)分量線性疊加：直接衰減分量、前向散射分量和后向散射分量，如圖1所示。其中，直接衰減分量是由所拍攝的場景直接反射的進(jìn)入到攝像機(jī)鏡頭中的光線；前向散射是場景反射的光線經(jīng)過微小粒子的再次折射后進(jìn)入到攝像機(jī)鏡頭中的光線；后向散射是周圍光線經(jīng)過水中粒子的折射后進(jìn)入到攝像機(jī)鏡頭中的部分[20]。這兩項(xiàng)散射導(dǎo)致水下圖像呈現(xiàn)出低對比度與模糊，而且引入了噪聲。相對于后向散射而言，前向散射是比較容易去除的，通常情況下，在場景距離攝像機(jī)足夠近的時(shí)候，我們忽略前向散射帶來的影響。具體可以用式 (3) 對其成像進(jìn)行描述[21]：

圖1 水下成像原理示意圖Fig.1 Schematic diagram of underwater imaging principle

其中 (l,m)為圖像的像素坐標(biāo)。等式前后的4項(xiàng)分別代表最終形成的圖像、直接衰減分量、前向散射分量、后向散射分量。

而且由于水下成像模型與有霧圖像的成像模型有很大的相似性，可以根據(jù)有霧圖像的成像模型建立水下的成像模型：

式中：c是R、G、B通道中的一個(gè)；Ic是由攝像機(jī)直接拍攝的圖像；Dc是前向包含場景信息的圖像；Bc是后向散射。在這里，忽略掉了前向散射對于成像的影響，并且這兩個(gè)分量可以被假設(shè)為是指數(shù)型衰減的：

進(jìn)而可被改寫成：

式中參數(shù)Z是場景距離攝像機(jī)的距離，而且不同波長的光線在水下衰減率是不同的。

2011年He等[22]在觀察大量有霧與無霧圖像時(shí)得出規(guī)律：在無霧圖像中，陰影應(yīng)該存在于圖像中的絕大部分局部塊上，在某個(gè)通道中，至少存在某個(gè)像素的強(qiáng)度近似為0。

式中：Jc為圖像J中R、G、B 3個(gè)通道中一個(gè)；(x,y)是局部區(qū)域 Ω (x,y)中的位置。由于有霧圖像與水下圖像非常相似，暗通道先驗(yàn)的方法在水下圖像增強(qiáng)方面也有一定的成就，2015年Galdran等[23]提出紅通道先驗(yàn)方法，該方法針對于水下圖像由于光線衰減導(dǎo)致的低對比度的特點(diǎn)，通過恢復(fù)與短波長相關(guān)的顏色來恢復(fù)退化的圖像，將暗通道先驗(yàn)假設(shè)應(yīng)用到水下環(huán)境中，即在圖像某個(gè)區(qū)域應(yīng)該有紅色像素值的存在，為暗通道先驗(yàn)方法在水下圖像的應(yīng)用開辟了道路。接下來，Drews等[24]提出了水下暗通道先驗(yàn)法，是受暗通道先驗(yàn)啟發(fā)結(jié)合水對于光的紅色通道快速衰減得出的一種先驗(yàn)方法，該方法比紅通道先驗(yàn)更進(jìn)一步揭示了圖像去霧技術(shù)與水下圖像增強(qiáng)技術(shù)之間的聯(lián)系，但該類方法都十分依賴于傳輸圖像估計(jì)的準(zhǔn)確程度，清澈的水質(zhì)條件下效果較好。2019年Akkaynak等[25]提出一種移除水下圖像中有水效果的方法Sea-thru，目的是恢復(fù)水下圖像的準(zhǔn)確顏色，在泳池中的水下圖像與清澈的海水中表現(xiàn)出色。其使用結(jié)構(gòu)-運(yùn)動方法獲得成像距離圖，然后根據(jù)模型可得出：

為了得到陸地上拍攝的效果，設(shè)Js為在陸地上所拍攝的照片：

式中：Wc表示相機(jī)環(huán)境光的白點(diǎn)，此時(shí)，Js為全局白平衡量。分別使用式(4)和式(5)對后向散射和衰減系數(shù)進(jìn)行估計(jì)：

假設(shè)此時(shí)后向散射已從圖像中去除，借鑒局部空間平均顏色方法迭代估計(jì)局部空間平均顏色，然后再采用快速的灰色世界假設(shè)精確估計(jì)衰減系數(shù)的最終結(jié)果，該方法是依據(jù)衰減系數(shù)對于成像距離的強(qiáng)依賴性，實(shí)現(xiàn)了水下圖像去水功能。

Berman等[26]將水下顏色扭曲與低對比度兩個(gè)問題解耦合為單獨(dú)問題，其考慮水體類型與場景立體結(jié)構(gòu)對于衰減效果的影響，通過添加兩個(gè)全局參數(shù)：藍(lán)紅通道衰減比例與藍(lán)綠通道衰減比例來恢復(fù)水下圖像色彩，進(jìn)而使水下圖像增強(qiáng)退化為圖像去霧問題，由于未知水體類型，依照所有類型對圖像進(jìn)行增強(qiáng)，然后自動選出最優(yōu)的增強(qiáng)結(jié)果。首先利用邊緣探測工具選出沒有物體存在的光線平滑區(qū)域，選取區(qū)域內(nèi)所有像素的平均值作為照射光，這對于去除散射是十分必要的。使用線性去霧模型得出傳輸圖像的估計(jì)，得到上述信息后，應(yīng)用式(6)對場景進(jìn)行恢復(fù)：

由于此時(shí)得到的多個(gè)衰減系數(shù)，我們應(yīng)用全部的衰減系數(shù)對圖像進(jìn)行復(fù)原，通過灰色世界假設(shè)得出最優(yōu)的結(jié)果。Moghimi等[27]則將基于物理模型的圖像增強(qiáng)與基于深度學(xué)習(xí)的超分辨增強(qiáng)相結(jié)合，同樣是將水下圖像增強(qiáng)劃分為兩個(gè)階段。第一階段，通過藍(lán)、綠通道的衰減特性得到準(zhǔn)確的傳輸圖像來達(dá)到水下圖像去霧的效果，然后依據(jù)成像模型進(jìn)行顏色的恢復(fù)，采用直方圖拉伸增強(qiáng)圖像的對比度；第二階段，通過深度神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行超分辨率增強(qiáng)，在充分利用成像衰減模型的基礎(chǔ)上，引入了深度學(xué)習(xí)技術(shù)對增強(qiáng)過程進(jìn)行補(bǔ)充，解決了圖像模糊的進(jìn)一步增強(qiáng)問題。

3 基于深度學(xué)習(xí)法

在10年之前，傳統(tǒng)的圖像處理方法在水下圖像增強(qiáng)領(lǐng)域中一直是占據(jù)著主導(dǎo)地位，近年來，由于神經(jīng)網(wǎng)絡(luò)技術(shù)的蓬勃發(fā)展及其在各個(gè)領(lǐng)域上所展現(xiàn)出的非凡成就[28]，基于學(xué)習(xí)的數(shù)據(jù)驅(qū)動的方法在水下圖像增強(qiáng)上開始大放異彩[29]。

由于卷積網(wǎng)絡(luò)擁有局部鏈接、權(quán)值共享、降采樣的特點(diǎn)，被認(rèn)為是第一個(gè)真正的采用多層次結(jié)構(gòu)網(wǎng)絡(luò)的具有魯棒性的深度學(xué)習(xí)方法[30]，如圖2所示，結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層。卷積神經(jīng)因?yàn)槠錂?quán)值共享的滑動卷積與降采樣特點(diǎn)能夠有效地提取圖像中的特征并進(jìn)行理解。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖Fig.2 Schematic diagram of convolutional neural network

生成對抗神經(jīng)網(wǎng)絡(luò)中蘊(yùn)含著零和博弈的思想[31]，網(wǎng)絡(luò)的主要結(jié)構(gòu)是一個(gè)生成器和一個(gè)鑒別器，生成器的目的是生成具有給定域特征的圖像，而鑒別器則力求將生成器生成圖像的鑒別結(jié)果置為假，可以表示為

式中G和D分別表示生成器和鑒別器。自2014年被提出以來，生成對抗神經(jīng)網(wǎng)絡(luò)的發(fā)展十分迅速。2018年，機(jī)視覺領(lǐng)域文獻(xiàn)的1/3都與生成對抗神經(jīng)網(wǎng)絡(luò)相關(guān)[32]，特別是針對圖像風(fēng)格遷移、超分辨率、語義生成及圖像增強(qiáng)領(lǐng)域[33]。

基于學(xué)習(xí)的增強(qiáng)算法按照其假設(shè)條件可以分為：基于衰減模型的學(xué)習(xí)和不基于衰減模型的學(xué)習(xí)，由于深度學(xué)習(xí)方法的不同網(wǎng)絡(luò)、不同模型、不同結(jié)構(gòu)會對增強(qiáng)任務(wù)產(chǎn)生巨大差異，本文將著重討論不同算法對于水下圖像的增強(qiáng)效果。

3.1 基于衰減模型的學(xué)習(xí)

本文在第2節(jié)討論的水下成像衰減模型由于涉及參數(shù)多，需要強(qiáng)大的計(jì)算能力。神經(jīng)網(wǎng)絡(luò)可以擬合各種函數(shù)，隨著網(wǎng)絡(luò)能力的不斷提升，對于衰減模型的估計(jì)難度降低。通常情況下，需要估計(jì)圖像的tc和Bc，可以通過式(7)確定Jc：

為了解決前文的水下圖像增強(qiáng)方法引入的假設(shè)條件在某些情況下無效的問題，Wang等[34]依據(jù)衰減模型假設(shè)設(shè)計(jì)了UIE-Net端到端的水下圖像增強(qiáng)網(wǎng)絡(luò)，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行傳輸圖像和3個(gè)通道衰減系數(shù)的估計(jì)，進(jìn)而輸出增強(qiáng)后的圖像。框架中使用像素打亂策略來提升收斂的速度和準(zhǔn)確性，這表示水下衰減模型可以和神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合以獲得更好的表現(xiàn)。根據(jù)衰減模型的特性，Cao等[35]提出用神經(jīng)網(wǎng)絡(luò)來估計(jì)背景光圖像和深度圖像，從而能更準(zhǔn)確恢復(fù)水下圖像的彩色與對比度。其分別使用5層卷積網(wǎng)絡(luò)和多尺度雙網(wǎng)絡(luò)去估計(jì)背景光和場景深度，設(shè)計(jì)了兩個(gè)任務(wù)的損失函數(shù)：

這個(gè)結(jié)構(gòu)簡單的雙任務(wù)網(wǎng)絡(luò)實(shí)現(xiàn)了背景光圖像和深度圖像的準(zhǔn)確估計(jì)，證明了使用神經(jīng)網(wǎng)絡(luò)技術(shù)估計(jì)水下成像模型參數(shù)的可行性。

3.2 不基于衰減模型的學(xué)習(xí)

依據(jù)現(xiàn)有水下科學(xué)知識水平可能會產(chǎn)生水下成像衰減模型建立不準(zhǔn)確的情況，基于此種可能，一些學(xué)者提出了不考慮成像模型而直接應(yīng)用網(wǎng)絡(luò)實(shí)現(xiàn)端到端的圖像轉(zhuǎn)換，使網(wǎng)絡(luò)學(xué)習(xí)低質(zhì)量域到高質(zhì)量域的映射函數(shù)[3,36]。

徐巖等[37]應(yīng)用小型的只有6層的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了水下圖像的增強(qiáng)，網(wǎng)絡(luò)采用均方誤差作為損失函數(shù)優(yōu)化整個(gè)網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)的更新過程為

該小型網(wǎng)絡(luò)成功實(shí)現(xiàn)了水下圖像的增強(qiáng)，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在水下圖像處理應(yīng)用上的強(qiáng)大泛化能力。Sun等[38]提出了編碼-解碼水下圖像增強(qiáng)網(wǎng)絡(luò)，在編碼器中使用卷積層過濾掉噪聲信號，在解碼器中用反卷積層和跳躍連接恢復(fù)上一步丟失的細(xì)節(jié)信號，該網(wǎng)絡(luò)僅使用一個(gè)損失函數(shù)：

而且，針對低照度圖像，江澤濤等[39]提出了一種U-Net結(jié)構(gòu)的生成對抗網(wǎng)絡(luò)。由于深度學(xué)習(xí)技術(shù)需要大量的訓(xùn)練數(shù)據(jù)支撐，Deng等[40]提出用泊松融合和塊結(jié)合的技術(shù)解決該問題。設(shè)計(jì)了端到端的水下圖像增強(qiáng)生成對抗網(wǎng)絡(luò)UCT-GAN，在均方誤差損失函數(shù)基礎(chǔ)上融合了亮度損失函數(shù)：

該損失函數(shù)可以用于校正增強(qiáng)圖像的亮度，同時(shí)也加入了LMCL損失計(jì)算分類損失以解決多種選擇的問題，網(wǎng)絡(luò)借鑒了DenseNet的網(wǎng)絡(luò)結(jié)構(gòu)，但是損失函數(shù)設(shè)置上偏重于顏色與亮度信息，網(wǎng)絡(luò)輸出的增強(qiáng)結(jié)果出現(xiàn)細(xì)節(jié)丟失和場景模糊的情況。Zhang等[41]考慮到交叉熵?fù)p失函數(shù)在鑒別器鑒別時(shí)可能會產(chǎn)生的誤判情況，提出用最小二乘法代替交叉熵法從而提升鑒別器的鑒別質(zhì)量：

同時(shí)，為了避免生成器頻繁產(chǎn)生模糊圖像，加入了梯度預(yù)測懲罰以生成細(xì)節(jié)更加清晰的圖像：

2017年，Zhu等[42]提出了CycleGAN，在一種無監(jiān)督的條件下學(xué)習(xí)域到域的映射，如圖3所示，全局網(wǎng)絡(luò)是一種雙向結(jié)構(gòu)的雙向?qū)W習(xí)設(shè)置，在生成目標(biāo)域圖像的同時(shí)，添加了循環(huán)一致性損失使得網(wǎng)絡(luò)還能從該圖像還原為原域的圖像：

圖3 CycleGAN原理示意圖Fig.3 Schematic diagram of CycleGAN

CycleGAN成功實(shí)現(xiàn)了季節(jié)、物種、風(fēng)格之間的轉(zhuǎn)換。Lu等[43]在此基礎(chǔ)上進(jìn)行了改進(jìn)，提出多尺度水下圖像恢復(fù)網(wǎng)絡(luò)MCycleGAN模型，應(yīng)用暗通道先驗(yàn)方法得到傳輸圖像，再將其輸入到多尺度網(wǎng)絡(luò)中，實(shí)現(xiàn)了暗通道先驗(yàn)與CycleGAN的結(jié)合。之后Choi等[44]提出了可用于多域轉(zhuǎn)換的StarGAN模型，解決了多個(gè)域遷移中生成器繁多的問題，提高了圖像域遷移的可拓展性和魯棒性，類似的圖像域遷移學(xué)習(xí)對于水下圖像的增強(qiáng)有相當(dāng)大的啟發(fā)。

成對的標(biāo)簽訓(xùn)練數(shù)據(jù)對于監(jiān)督學(xué)習(xí)是必要的，而作為水下圖像是很難獲取標(biāo)簽的，因此基于學(xué)習(xí)的水下圖像增強(qiáng)算法通常會選擇無監(jiān)督學(xué)習(xí)方式，Li等[45]利用已有數(shù)據(jù)集中大氣圖像和深度圖像通過生成對抗網(wǎng)絡(luò)嚴(yán)格按照衰減模型合成水下圖像以提供給水下圖像復(fù)原網(wǎng)絡(luò)WaterGAN學(xué)習(xí)數(shù)據(jù)，WaterGAN按照任務(wù)類型可以分為兩個(gè)部分：深度估計(jì)網(wǎng)絡(luò)和顏色恢復(fù)網(wǎng)絡(luò)。將圖像的增強(qiáng)劃分為兩個(gè)任務(wù)會對圖像的質(zhì)量產(chǎn)生一定的影響，如：第2步執(zhí)行的顏色恢復(fù)任務(wù)可能會對第一步調(diào)整好的深度信息產(chǎn)生干擾，好處是兩步的操作可以分離訓(xùn)練，增加了網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性。WaterGAN獨(dú)特的生成訓(xùn)練樣本的方式與令人滿意的增強(qiáng)結(jié)果對水下圖像增強(qiáng)的后續(xù)發(fā)展產(chǎn)生了很大的影響。同樣是將圖像增強(qiáng)分為兩個(gè)任務(wù)執(zhí)行，Ye等[46]也提出聯(lián)合訓(xùn)練估計(jì)深度圖像和顏色校正的網(wǎng)絡(luò)，在使用生成對抗網(wǎng)絡(luò)生成訓(xùn)練數(shù)據(jù)時(shí)添加了內(nèi)容損失與風(fēng)格損失以獲得更加可靠的訓(xùn)練數(shù)據(jù)：

與WaterGAN不同在于它使用兩個(gè)生成對抗網(wǎng)絡(luò)分別執(zhí)行深度圖像估計(jì)和顏色校準(zhǔn)任務(wù)，因?yàn)轭伾珜τ谏疃刃畔⒌囊蕾嚕沟迷摼W(wǎng)絡(luò)的增強(qiáng)效果明顯提升了。

不同于WaterGAN，Li依據(jù)大量的不成對的訓(xùn)練數(shù)據(jù)提出了一種弱監(jiān)督水下圖像恢復(fù)網(wǎng)絡(luò)，融合多個(gè)損失函數(shù)：

使用CycleGAN和PatchGAN分別作為生成器和鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過多個(gè)損失函數(shù)的整合[47]，能夠準(zhǔn)確學(xué)習(xí)到水下圖像域到清晰圖像域的映射。之后，Li提出了接納3個(gè)輸入的Water-Net水下圖像恢復(fù)網(wǎng)絡(luò)：

式中：Ien是網(wǎng)絡(luò)的增強(qiáng)結(jié)果；RWB、RHE以 及RGC分別表示經(jīng)過白平衡算法、直方圖均衡算法、伽瑪函數(shù)校正算法的圖像分量；CWB、CHE、CGC則表示學(xué)習(xí)到的置信映射。同時(shí)也建立了UIEB水下圖像增強(qiáng)基準(zhǔn)數(shù)據(jù)集，解決了該領(lǐng)域存在已久的增強(qiáng)效果評價(jià)沒有依據(jù)的局面。程宇等[48]使用編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)，改變輸入為直方圖均衡派生圖、伽瑪變換派生圖、對數(shù)變換派生圖以及亮通道增強(qiáng)派生圖實(shí)現(xiàn)了低照度圖像的增強(qiáng)，得出了伽瑪變換與對數(shù)變換所造成的影響有相互重疊的部分，驗(yàn)證了Li選擇輸入的合理性。

Guo等[49]提出在生成器中添加殘差多尺度密集連接模塊以提升網(wǎng)絡(luò)的性能，多尺度、密集連接和殘差學(xué)習(xí)分別能提升表現(xiàn)、保留更多細(xì)節(jié)以及充分利用前層特征，使得增強(qiáng)圖像的細(xì)節(jié)清晰。同樣是殘差學(xué)習(xí)架構(gòu)，Liu等[50]提出引入超分辨率模型的殘差學(xué)習(xí)網(wǎng)絡(luò)URESNET，融合邊緣差異損失與均方誤差損失的多尺度損失函數(shù)：

根據(jù)這兩個(gè)損失函數(shù)，采用異步訓(xùn)練的方式訓(xùn)練該殘差學(xué)習(xí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在物體的邊緣增強(qiáng)上具有較出色的表現(xiàn)，Han等[51]在編碼-解碼網(wǎng)絡(luò)中使用殘差編碼、殘差解碼、殘差通道模塊代替?zhèn)鹘y(tǒng)的基本卷積層以提取圖像的淺層特征與深層特征且使其更好的融合，該編碼-解碼網(wǎng)絡(luò)DS_RD_Net是深度全監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)，采用L1、L2聯(lián)合損失保證全監(jiān)督學(xué)習(xí)模式的生效。不同于CycleGAN生成訓(xùn)練數(shù)據(jù)，該網(wǎng)絡(luò)使用UWGAN生成合成的水下圖像，因?yàn)槠涫褂萌O(jiān)督模式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)的魯棒性表現(xiàn)一般，在面對數(shù)據(jù)集中沒有囊括的水體類型的圖像時(shí)，表現(xiàn)較差。

Wang等[52]在水下圖像增強(qiáng)的生成對抗網(wǎng)絡(luò)中引入了注意力模塊，提出水下圖像分級生成對抗網(wǎng)絡(luò)CA-GAN，在此之前，基于學(xué)習(xí)的水下圖像增強(qiáng)方法沒有考慮到水體類型因素對于增強(qiáng)效果的影響，而CA-GAN是多對一的水下圖像增強(qiáng)網(wǎng)絡(luò)，在生成器中加入了水體編碼模塊，而且為了校正由編碼器和解碼器所產(chǎn)生的誤差，引入了并行通道和空間注意特征融合塊，在均方誤差損失和對抗損失存在的情況下，增添特征級損失：

式中：F代表尺寸為C個(gè)通道的W×H卷積網(wǎng)絡(luò)輸出特征。由于注意力模塊的引入，放大了相關(guān)的特征并且抑制了無關(guān)的特征，水下圖像能夠得到準(zhǔn)確的恢復(fù)，王越等[53]將金字塔注意力機(jī)制引入到用于水下圖像增強(qiáng)的生成網(wǎng)絡(luò)中，在各項(xiàng)指標(biāo)上實(shí)現(xiàn)了不小的進(jìn)步，Li等[54]考慮到注意力模塊在圖像增強(qiáng)中的作用，提出了監(jiān)督學(xué)習(xí)的多尺度特征級注意力卷積神經(jīng)網(wǎng)絡(luò)UDA-Net，根據(jù)多種信息與協(xié)同池化機(jī)制可產(chǎn)生通道注意力圖像定位差異較大的區(qū)域和像素注意力指導(dǎo)圖像像素的自適應(yīng)生成：

式中： ρc是特征圖M的注意力圖像，損失函數(shù)是逐個(gè)計(jì)算像素點(diǎn)的恢復(fù)損失和感知損失：

因?yàn)槠鋸?qiáng)監(jiān)督的特性，在面對與訓(xùn)練數(shù)據(jù)差距過大的水下圖像時(shí)，可能會產(chǎn)生較差的效果。在使用基于像素的損失函數(shù)的基礎(chǔ)上，針對于水下圖像存在的低對比度、顏色單調(diào)及內(nèi)容模糊問題，Yang等[55]提出了一個(gè)監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的水下圖像增強(qiáng)模型，首先輸入水下圖像進(jìn)行有監(jiān)督的色彩校正，得出色彩校正結(jié)果后輸入到無監(jiān)督細(xì)節(jié)增強(qiáng)的子網(wǎng)絡(luò)中得出增強(qiáng)的結(jié)果，雖然增強(qiáng)結(jié)果的對比度及色彩鮮艷程度提高了，但是在圖像中呈現(xiàn)出了暖色調(diào)，不是十分的貼近真實(shí)場景。Wang等[56]認(rèn)為把水下圖像的顏色校正和去霧當(dāng)作一個(gè)整體過程是錯(cuò)誤的，當(dāng)?shù)诙A段任務(wù)執(zhí)行時(shí)，勢必會對第一階段已經(jīng)完成的任務(wù)造成影響。針對于水下無人機(jī)器人由于水下圖像的顏色扭曲和有霧而無法識別物體的問題，其提出為了防止進(jìn)行顏色特征提取后對紋理與細(xì)節(jié)的特征造成損失，在對顏色校正時(shí)，每個(gè)色彩通道都有相應(yīng)的網(wǎng)絡(luò)通道進(jìn)行單獨(dú)的校正，避免不同通道的相互影響，采用卷積操作額外提取了圖像的基本特征，方便于后續(xù)的融合，最后通過迭代循環(huán)網(wǎng)絡(luò)的方式實(shí)現(xiàn)去霧，該方法在近距離的物體上效果較好，隨著距離的變遠(yuǎn)與霧變厚，增強(qiáng)效果下降明顯。

對于無條件的生成模型，數(shù)據(jù)的生成是不可控的。然而通過給模型附件一些信息，就可以引導(dǎo)模型生成想要的數(shù)據(jù)，這也就是條件生成對抗網(wǎng)絡(luò)。由于附加的條件信息，條件生成對抗網(wǎng)絡(luò)相比于普通的生成對抗網(wǎng)絡(luò)具有更好的穩(wěn)定性和更強(qiáng)的表征映射能力，這兩種能力尤其是在圖像增強(qiáng)及復(fù)原任務(wù)中展現(xiàn)的更加明顯，使得網(wǎng)絡(luò)能夠生成更加真實(shí)的圖像。為了對多種水體及多種顏色畸變的圖像都能起到增強(qiáng)效果，黃鐄等[57]設(shè)計(jì)了具有二分類功能鑒別器的生成對抗網(wǎng)絡(luò)用作圖像增強(qiáng)，通過交叉熵函數(shù)對輸入圖像進(jìn)行分類，由于訓(xùn)練數(shù)據(jù)涵蓋多種畸變色彩，對于水下圖像顏色的恢復(fù)具有一定的魯棒性。Liu等[58]提出了一個(gè)針對水下圖像顏色畸變的多尺度特征融合的條件生成對抗網(wǎng)絡(luò)MLFcGAN，生成器是多尺度編碼器-解碼器的結(jié)構(gòu)，首先是提取局部特征，再使用全局特征增強(qiáng)局部特征以使網(wǎng)絡(luò)的訓(xùn)練更有效率，假設(shè)局部特征fl的尺寸為hi×wi×ci，全局特征尺寸則為1 ×1×cg，定義Fconv、Fcopy、Freshape、Fconcat分別為卷積、復(fù)制、重塑以及連接操作，則特征融合過程可由式(8)表示：

其中W代表生成器的學(xué)習(xí)率，接下來，將fg1復(fù)制hi×wi次：

將fg2重塑尺寸為 (hi,wi,ci)：

此時(shí)，可將具有相同尺寸的兩種特征連接起來：

最后，經(jīng)過跳躍連接輸入到相應(yīng)的解碼器層中就完成了兩種特征的融合。鑒別器中，利用WANG-GP損失與L1損失作為對抗性損失進(jìn)行網(wǎng)絡(luò)訓(xùn)練：

該損失函數(shù)舍棄了普遍的像素差異損失，鑒別器的鑒別差異是以Wasserstein距離代表生成圖像與真實(shí)圖像的差異。多尺度特征融合能夠在進(jìn)行顏色校正的同時(shí)，有效地對圖像的細(xì)節(jié)特征進(jìn)行保持和加強(qiáng)。

Yang等[59]也做了相似的嘗試，設(shè)計(jì)了一個(gè)多尺度的生成對抗網(wǎng)絡(luò)以改善水下圖像的顏色畸變、不均勻照明、低對比度的狀態(tài)，其包含的多尺度特征提取模塊能對圖像的多個(gè)尺度特征進(jìn)行提取，經(jīng)過特征細(xì)化對有效特征進(jìn)行加強(qiáng)，整體的殘差圖估計(jì)模塊保證特征傳遞不被丟失，而接受不同尺寸特征的雙鑒別器則能讓增強(qiáng)結(jié)果無論是在局部還是全局更加逼近真實(shí)圖像，雙鑒別器的增加使網(wǎng)絡(luò)整體能力得到了提升，但是為訓(xùn)練加大了難度。Zong等[60]同樣使用全局鑒別器與局部鑒別器作為雙鑒別器提升網(wǎng)絡(luò)生成能力。而晉瑋佩提出將不同水下圖像的顏色信息作為Star-GAN[44]的條件信息[61]，同時(shí)生成器也加入了密集級聯(lián)和殘差連接以改善梯度消失現(xiàn)象，兩個(gè)鑒別器分別負(fù)責(zé)顏色類別和圖像真假的鑒別任務(wù)：損失函數(shù)方面在基本對抗損失和結(jié)構(gòu)相似損失的基礎(chǔ)上加入感知損失LVGG、總變分損失函數(shù)LTV：

式中： ?j為第j個(gè)卷積層的激活值；N為圖像經(jīng)過VGG19[62]后得到的特征圖數(shù)量，該損失可以約束增強(qiáng)圖像和輸入圖像的高維特征相似性，使圖像更符合人眼視覺特性。x? 為當(dāng)前生成圖像，m、n分別為圖像某點(diǎn)坐標(biāo)位置，總變分損失是為了解決感知損失和結(jié)構(gòu)相似損失引入陰影的問題；由于有顏色類別鑒別器的增加，因此引入顏色損失Lcolor_G與Lcolor_D：

得益于顏色損失，生成圖像的顏色可以目標(biāo)圖像的顏色保持一致,該網(wǎng)路通過多尺度和顏色恢復(fù)的結(jié)合使增強(qiáng)結(jié)果更加逼近地面圖像。Zhang等[63]也進(jìn)行了生成對抗網(wǎng)絡(luò)的雙鑒別器研究，設(shè)置了恢復(fù)鑒別器和增強(qiáng)鑒別器以恢復(fù)水下圖像所遭受的各種衰減。首先，人為地對其他方法增強(qiáng)后的圖像進(jìn)行清晰與不清晰的標(biāo)簽，恢復(fù)鑒別器負(fù)責(zé)清晰部分的學(xué)習(xí)，增強(qiáng)鑒別器則負(fù)責(zé)不清晰部分的學(xué)習(xí)，最終，該網(wǎng)絡(luò)可以達(dá)到優(yōu)于所有參考方法的效果。

4 水下圖像質(zhì)量評價(jià)體系

截止到目前，針對于水下圖像的質(zhì)量評價(jià)還有很多的空白需要補(bǔ)充，通用的圖像質(zhì)量評價(jià)體系沒有考慮水下圖像的特有性質(zhì)，它們的指標(biāo)對于水下環(huán)境是不適用的，現(xiàn)有的水下圖像質(zhì)量評價(jià)方法包含主觀評價(jià)與客觀評價(jià)。主觀評價(jià)依靠人眼對于圖像的觀察；客觀評價(jià)則是針對圖像的一些參數(shù)得出具體計(jì)算數(shù)值來衡量圖像的質(zhì)量。

由于水下圖像專用評價(jià)標(biāo)準(zhǔn)的缺乏，通用圖像評價(jià)指標(biāo)在水下圖像評價(jià)上的應(yīng)用也十分廣泛。均方誤差 M SE 、峰值信噪比 P SNR、結(jié)構(gòu)相似損失 S SIM 是十分普遍的用于測量圖像增強(qiáng)效果的指標(biāo)：

上述指標(biāo)都是有參考型指標(biāo)，在使用合成數(shù)據(jù)集測試水下圖像增強(qiáng)算法時(shí)經(jīng)常被使用，能夠明確反映算法的性能。但因?yàn)樗颅h(huán)境的特性，真實(shí)的水下圖像不可能獲取到清晰的參考圖像，這給圖像的評價(jià)帶來了不小的困難。

受人類視覺系統(tǒng)啟發(fā)，Panetta等[64]提出了一種非參考的水下圖像質(zhì)量評價(jià)度量指標(biāo)UIQM，它是一種融合指標(biāo)，由UICM、UISM及UICONM融合而成，分別負(fù)責(zé)測量水下圖像的色彩、清晰度及對比度，并且每一個(gè)指標(biāo)都可單獨(dú)用于對水下圖像質(zhì)量的測量任務(wù)。UIQM與人類的視覺系統(tǒng)有著緊密的聯(lián)系，可以完整、全面、高效地對水下圖像進(jìn)行度量。首先，UICM是由式(9)表達(dá)：

其中，RG=R-G及YB=Y-B，μ是非對稱的阿爾法修剪平均值，越接近0，意味著圖像白平衡的效果越好， σ2是統(tǒng)計(jì)方差，它表示的是每個(gè)色彩分量的像素行為。接著，清晰度評價(jià)指標(biāo)UISM的表達(dá)如式(10)：

EME是被用于測量邊緣清晰度的量，并且通常情況下 λR=0.299、 λG=0.587、 λB=0.114是對于水下場景合適的參數(shù)值。最后，給出UICONM的表達(dá)：

AMEE是在傳統(tǒng)的熵增強(qiáng)中引入了類熵算法，具體表現(xiàn)為圖像局部區(qū)域的邁克爾遜對比度。

根據(jù)上列式子，則UIQM可以表示為

實(shí)驗(yàn)證明，該指標(biāo)在衡量水下圖像質(zhì)量時(shí)有效，且應(yīng)用非常廣泛。Yang等[65]以色度、飽和度和對比度為測量分量，通過線性的方式將測量分量組合，提出一種量化水下圖像的質(zhì)量評價(jià)方法UCIQE：

該指標(biāo)表明了圖像的劣化程度，例如由衰減、浮動粒子和照明引起的顏色偏差，模糊和噪聲等造成的圖像質(zhì)量下降。它處理速度塊、實(shí)時(shí)性好。接下來，Li等[66]提出了一種基于水中顏色的選擇性衰減來測量水下圖像清晰度的方法，將圖像轉(zhuǎn)換到lα β空間進(jìn)行金字塔分解，評價(jià)指標(biāo)則為分解所得到的系數(shù)，再對其進(jìn)行加權(quán)線性組合得到評價(jià)分?jǐn)?shù)，是一種水下圖像的合理質(zhì)量評測。色度、對比度、霧化度是水下圖像退化的一些特性，能夠描述水下圖像的退化程度，Wang等[67]以其為指標(biāo)，并通過回歸模型確定其各自權(quán)重系數(shù)。表1給出了近3年來典型的水下圖像增強(qiáng)算法的模型特點(diǎn)、損失函數(shù)及使用的評估指標(biāo)。除了主觀評價(jià)與客觀物理指標(biāo)外，還有一些研究人員將增強(qiáng)后的水下圖像與未經(jīng)增強(qiáng)的水下圖像用作目標(biāo)監(jiān)測算法與特征點(diǎn)匹配算法。由此，可得出增強(qiáng)后的水下圖像在計(jì)算機(jī)視覺應(yīng)用中更加具有優(yōu)勢的結(jié)論，也可以根據(jù)監(jiān)測出的目標(biāo)數(shù)目或匹配上的特征點(diǎn)數(shù)目得出定量指標(biāo)。

表1 典型水下圖像增強(qiáng)算法質(zhì)量評估Table 1 Quality evaluation index of typical underwater image enhancement algorithm

續(xù)表1

水下質(zhì)量評價(jià)體系與水下圖像增強(qiáng)算法是相互促進(jìn)的，準(zhǔn)確的評價(jià)能夠推動增強(qiáng)算法的進(jìn)步，而好的增強(qiáng)算法也可以作為評價(jià)體系的指標(biāo)。水下增強(qiáng)算法需要進(jìn)步，必須有質(zhì)量評價(jià)體系的支撐，因此，應(yīng)當(dāng)優(yōu)先發(fā)展水下質(zhì)量評價(jià)體系，借助于評價(jià)體系的動力，穩(wěn)步發(fā)展水下圖像增強(qiáng)算法。

5 結(jié)論

隨著成像技術(shù)和計(jì)算機(jī)視覺水平的提高，我國的水下圖像增強(qiáng)技術(shù)已經(jīng)取得了不小的進(jìn)步，但是未來存在的挑戰(zhàn)也不容小覷。在人工智能覺醒發(fā)展的有利時(shí)期，應(yīng)該抓住發(fā)展機(jī)遇不斷探索，在現(xiàn)有理論基礎(chǔ)上開拓創(chuàng)新，立足于水下成像模型，利用大量的數(shù)據(jù)樣本進(jìn)行增強(qiáng)算法的探索和驗(yàn)證，提升水下圖像增強(qiáng)算法的智能化水平，在未來的工作中需要在以下幾個(gè)方面進(jìn)一步加強(qiáng)：

1)水下圖像數(shù)據(jù)庫建設(shè)。在長期的海洋觀測調(diào)查中，我國積累了大量的水下圖像數(shù)據(jù)。但是由于研究單位分散，涉及不同海域、不同水體類型和不同季節(jié)、不同溫度及成像設(shè)備等因素，研究成果難以對比和共享，建議對現(xiàn)有的水下圖像數(shù)據(jù)進(jìn)行統(tǒng)籌規(guī)劃，建立全國的共享水下圖像數(shù)據(jù)庫。

2)現(xiàn)有的水下圖像增強(qiáng)方法大多集中于圖像中低對比度、顏色扭曲及有霧的特點(diǎn)，而且適用水域的水質(zhì)尚可，無大量懸浮顆粒干擾。在水下考察中，面對的環(huán)境是復(fù)雜的。因此，發(fā)展面向高渾濁度、低光照的水域增強(qiáng)方法對于實(shí)際應(yīng)用具有重大意義。

2)水下圖像的評價(jià)體系。國內(nèi)外目前已經(jīng)發(fā)展了一些水下圖像質(zhì)量評價(jià)體系，這些評價(jià)主要集中在主觀評價(jià)與客觀無參考評價(jià)，但還是無法滿足對于水下圖像增強(qiáng)迫切發(fā)展的要求，發(fā)展水下質(zhì)量評價(jià)體系是水下增強(qiáng)技術(shù)發(fā)展的前提，在網(wǎng)絡(luò)訓(xùn)練中，可以應(yīng)用客觀評價(jià)指標(biāo)作為損失來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練。

3)增強(qiáng)算法魯棒性能力。現(xiàn)有的水下圖像增強(qiáng)算法大多對于處理圖像具有選擇性，因?yàn)樗聢D像受到水體類型、溫度、季節(jié)及地理位置的影響，基于學(xué)習(xí)的增強(qiáng)方法嚴(yán)重依賴于給定的訓(xùn)練數(shù)據(jù)，限制了增強(qiáng)算法的發(fā)展。應(yīng)該立足于現(xiàn)有的深度學(xué)習(xí)理論體系，通過自監(jiān)督、半監(jiān)督等方式逐步探索增強(qiáng)算法魯棒性能力的方法。

4)提高算法的實(shí)時(shí)性。增強(qiáng)算法的計(jì)算時(shí)間限制了水下圖像增強(qiáng)算法的應(yīng)用場景。快速的增強(qiáng)算法也是從圖像增強(qiáng)遷移到視頻增強(qiáng)應(yīng)必備的能力。目前的水下增強(qiáng)算法結(jié)構(gòu)復(fù)雜，體量龐大，處理圖像需要大量的計(jì)算時(shí)間。在確定增強(qiáng)算法的基礎(chǔ)上，想辦法節(jié)省計(jì)算時(shí)間，如縮小網(wǎng)絡(luò)結(jié)構(gòu)，削減網(wǎng)絡(luò)參數(shù)，逐步使增強(qiáng)算法實(shí)現(xiàn)既快又準(zhǔn)的要求。

5)與水下無人平臺的結(jié)合。水下圖像增強(qiáng)技術(shù)對于未來水下作戰(zhàn)、海底科考、海洋工程建設(shè)、海底資源勘探等具有重要的意義。目前水下機(jī)器人的載荷能力有了很大的提升，可以搭載高清攝影機(jī)、聲納、激光雷達(dá)等設(shè)備，但現(xiàn)有圖像增強(qiáng)算法需要轉(zhuǎn)移到水下視頻增強(qiáng)才能滿足工程需求，借助水下無人平臺觀測信息完備的技術(shù)優(yōu)勢，進(jìn)行實(shí)時(shí)性的水下環(huán)境觀測技術(shù)已經(jīng)具備技術(shù)基礎(chǔ)。而且可以將聲納信號與攝像機(jī)捕捉信息進(jìn)行結(jié)合從而獲得更加準(zhǔn)確清晰的圖像。未來還可以利用水下無人平臺搭載輔助照明設(shè)備對深水區(qū)海底與周邊環(huán)境進(jìn)行高精度的觀測，從而彌補(bǔ)我們對于水下環(huán)境掌握不充分的劣勢。