基 于Sea-thru 和Mask R-CNN 的深海多金屬結(jié)核圖像處理①

鄧君蘭， 董澧輝， 宋 偉，2， 趙小兵， 劉同木， 龐云天

（1.中央民族大學(xué) 信息工程學(xué)院，北京 100081； 2.自然資源部海洋環(huán)境探測(cè)技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510310； 3.國(guó)家海洋局南海調(diào)查技術(shù)中心，廣東 廣州 510300； 4.北京先驅(qū)高技術(shù)開發(fā)有限責(zé)任公司，北京 100081）

隨著陸地金屬礦床資源逐漸枯竭，近年來(lái)多個(gè)海洋強(qiáng)國(guó)已將目光瞄向了礦物資源儲(chǔ)量豐富的深海［1－2］。深海中的多金屬結(jié)核、富鈷結(jié)殼、硫化物和熱液礦床等能夠用于提煉現(xiàn)代工業(yè)制造所需的稀有金屬。 若對(duì)結(jié)核礦區(qū)進(jìn)行有效勘探，選擇高豐度、低成本的區(qū)域進(jìn)行合理、綠色開采，一定程度上能夠緩解目前陸地金屬資源緊缺的局面。

深海礦產(chǎn)資源處于高氣壓、低溫度、極黑暗的惡劣環(huán)境中［3］。 目前許多學(xué)者對(duì)海底資源礦物評(píng)估方法進(jìn)行了研究［4－5］。 海底資源評(píng)估主要采用了3種方法：取樣器取樣、多波束回波反射和海底高清攝像。 這些方法在實(shí)踐中均存在不足：取樣器取樣成本高、覆蓋面窄；多波束回波反射準(zhǔn)確率低，對(duì)礦物個(gè)體信息挖掘不足。 使用海底高清攝像獲取的礦物圖像對(duì)礦物資源進(jìn)行評(píng)估時(shí)，由于海水和懸浮體會(huì)對(duì)光的吸收和散射造成較大影響［6］，不同水質(zhì)、不同照明以及不同拍攝距離下的深海礦物成像會(huì)產(chǎn)生不同程度的色偏與模糊，從而給后續(xù)的礦物圖像分析帶來(lái)困難。 Sea-thru算法［7］通過攝像機(jī)與水中物體之間的距離和水下成像物理模型計(jì)算水對(duì)光的衰減影響，逐像素逆轉(zhuǎn)海底圖像的失真。 Mask R-CNN［8］是一種用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)，同時(shí)能夠輸出高質(zhì)量的實(shí)例分割掩模。 本文首先使用Sea-thru 去除圖像中水的干擾，然后基于Mask-RCNN 對(duì)預(yù)處理后的圖像進(jìn)行分割，最后統(tǒng)計(jì)數(shù)據(jù)集中的礦物分布情況。 結(jié)果表明，該算法可快速準(zhǔn)確地挖掘礦物個(gè)體信息，為采礦作業(yè)提供準(zhǔn)確的礦物分布信息。

1 深海結(jié)核評(píng)估原理和方法

1.1 基于Sea-thru 的海底圖像增強(qiáng)

深海中的錳結(jié)核礦物分布于水下4 000 m 以下，隨著水深增加，不同波長(zhǎng)的光因被水吸收而衰減，其中紅光在深度約3 m 處消失，橙光在5 m 處消失，大部分黃光在10 m 處消失。 因此當(dāng)拍攝距離較遠(yuǎn)時(shí)，礦物圖像往往存在藍(lán)綠色的色偏。 光在水下傳播時(shí)，由于懸浮物引起前向散射和后向散射，圖像的清晰度和對(duì)比度會(huì)降低。 此外，當(dāng)照明度低時(shí)，圖像顏色也會(huì)衰退。海底圖像的增強(qiáng)方法可以分為基于物理模型和非物理模型兩大類。 忽略前向散射的水下成像物理模型（IFM）［7］可以表示為：

式中Ic為攝像機(jī)捕獲的最終信號(hào)；Dc為衰減后的直接信號(hào)；Bc為后向散射造成的藍(lán)綠色遮蔽光；Jc為清晰的未衰減的直接信號(hào)；B∞c為背景光；c為RGB 中的任一通道；z為每個(gè)像素的實(shí)際位置與攝像機(jī)的距離；和為衰減系數(shù)，分別為影響最終信號(hào)中直接信號(hào)和后向散射信號(hào)的比例與拍攝距離z、反射率、環(huán)境光譜、相機(jī)光譜響應(yīng)以及水體對(duì)光的衰減率有關(guān)與環(huán)境光譜、相機(jī)光譜響應(yīng)以及水體對(duì)光的物理散射和衰減率有關(guān)。 Sea-thru 方法通過擬合IFM 中的z、參數(shù)求解出Jc，實(shí)現(xiàn)水下圖像的顏色矯正和去霧。

1.1.1 深度z的估計(jì)

深度圖是描述圖像各像素實(shí)際位置距離攝像機(jī)遠(yuǎn)近的圖像。z的估計(jì)是關(guān)鍵，它影響后向散射以及照明圖的估計(jì)。 Sea-thru 使用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）算法從多幅二維圖像序列中估計(jì)三維結(jié)構(gòu)，從而獲得深度z。 由于缺乏同一位置的多張圖，本文通過單幅圖像的紅光吸收差異來(lái)估計(jì)z。

水下圖像中較近的場(chǎng)景點(diǎn)紅光衰減小，較遠(yuǎn)的場(chǎng)景點(diǎn)紅光衰減大。 對(duì)紅色通道圖像、最大值合并后的藍(lán)綠色通道圖像使用大小為9 × 9、滑動(dòng)步長(zhǎng)為1 的窗口做最大值池化，兩者差值為紅光衰減度d：

d歸一化并取反為估計(jì)的深度z：

1.1.2 后向散射Bc的估計(jì)

對(duì)于水下圖像中的較暗點(diǎn)，最終信號(hào)中后向散射信號(hào)的比例往往大于直接信號(hào)，因此估計(jì)的后向散射信號(hào)可近似為暗場(chǎng)景點(diǎn)的最終信號(hào)，用后向散射信號(hào)加上直接信號(hào)的殘差項(xiàng)表示：

圖1 根據(jù)暗場(chǎng)景點(diǎn)擬合3個(gè)通道的Bc 值

將散射信號(hào)Bc從最終信號(hào)Ic中移除后能夠獲得衰減后的直接信號(hào)Dc，估算出衰減系數(shù)則能推導(dǎo)出未衰減的直接信號(hào)Jc。可以通過相機(jī)和場(chǎng)景之間的照明度Ec和深度z估計(jì)：

基于深度信息z，采用局部空間平均顏色（LSAC）方法，可以很好地估計(jì)圖像的照明度Ec。 LSAC 算法首先將深度圖中像素點(diǎn)與其上下左右4 點(diǎn)的深度差小于某一閾值的位置劃分為一類鄰域，計(jì)算出鄰域圖Ne；然后將減去均值后的鄰域圖Ne′與直接信號(hào)Dc進(jìn)行加權(quán)形成新的鄰域圖：

本文加權(quán)系數(shù)p取0.5，式（6）迭代100 次后去噪獲得最終的照明圖Ec。 此外，根據(jù)先驗(yàn)知識(shí)，βD c可以建模為兩項(xiàng)指數(shù)函數(shù)的疊加：

將求解出的z、Bc、代入IFM 模型，恢復(fù)出清晰圖像Jc，并通過白平衡算法增強(qiáng)Jc，完成海底礦物圖像的預(yù)處理。

1.2 基于Mask R-CNN 的海底圖像分割

深海礦物資源評(píng)估需要礦物覆蓋率、粒徑和豐度等信息，因此需要對(duì)拍攝的深海礦物圖像進(jìn)行準(zhǔn)確分割以獲得礦物邊界圖。 深度學(xué)習(xí)模型Mask R-CNN［8］可以完成結(jié)核礦物的準(zhǔn)確分割，該模型由何凱明在2017 年提出，首次將實(shí)例分割引入Faster R-CNN［9］，在目標(biāo)檢測(cè)模型上添加了Mask分支。 模型用局部特征圖對(duì)齊層替換了局部特征圖池化層，是RCNN 系列模型的里程碑。

Mask R-CNN 由兩個(gè)階段組成［8］，如圖2 所示。第一階段，將通過特征提取網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)得到的特征圖送入建議框網(wǎng)絡(luò)中，得到初步篩選的建議框，然后采用對(duì)齊的方式將每個(gè)建議框?qū)?yīng)的特征圖統(tǒng)一為單一尺寸。 第二階段，將建議框?qū)?yīng)的特征圖輸入全連接層，經(jīng)過回歸和分類處理得到邊界框。 在Mask分割分支中，針對(duì)每一個(gè)邊界框生成k個(gè)Mask，k是目標(biāo)類別數(shù)。 本文將不同形態(tài)的多金屬結(jié)核認(rèn)為是同一個(gè)類別，即k＝1。 礦物圖分割之后能獲取礦物顆粒個(gè)體信息，分割結(jié)果進(jìn)一步通過橢圓形態(tài)擬合還原出結(jié)核礦物真實(shí)形態(tài)，最后計(jì)算出礦區(qū)的礦物分布信息。

圖2 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)

2 驗(yàn)證與應(yīng)用

2.1 實(shí)驗(yàn)結(jié)果分析

使用分割準(zhǔn)確度、UIQM［10］、UCIQE［11］、CCF［12］作為圖像增強(qiáng)后的質(zhì)量評(píng)價(jià)指標(biāo)。 礦物分割準(zhǔn)確度Accuracy為Mask R-CNN分割出的礦物個(gè)數(shù)與實(shí)際礦物個(gè)數(shù)的比值：

式中Na為箱式取樣獲得的礦石個(gè)數(shù)；Nb為神經(jīng)網(wǎng)絡(luò)分割的礦石個(gè)數(shù)。

UIQM、UCIQE、CCF 均為專門評(píng)價(jià)水下圖像視覺質(zhì)量的無(wú)參考評(píng)價(jià)指標(biāo)，其值越大表示水下圖像的恢復(fù)質(zhì)量越好。 UIQM 通過將色度、清晰度、對(duì)比度測(cè)量指標(biāo)進(jìn)行線性組合來(lái)衡量圖像的視覺質(zhì)量。 其中，色度指標(biāo)基于Hering 的對(duì)立色理論，使用紅綠色通道和藍(lán)黃色通道的均值和方差來(lái)度量圖像色彩的平衡。 清晰度指標(biāo)首先使用Sobel 算子獲得各個(gè)通道的圖像邊緣，再使用EME 算法度量圖像清晰度。 對(duì)比度指標(biāo)基于lg（AMEE）算法獲得。 UCIQE 同樣是色度、飽和度和對(duì)比度的線性組合。 UCIQE 的色度計(jì)算與UIQM 類似，通過CIELab 顏色空間內(nèi)各通道的均值和方差獲得；清晰度計(jì)算與UIQM 一致；對(duì)比度基于AME 算法獲得。 CCF 通過色度、對(duì)比度和霧密度分別量化水下光線吸收導(dǎo)致的顏色衰減、前向散射引起的模糊和后向散射引起的霧化。 CCF 的顏色指標(biāo)計(jì)算與UCIQE一致；計(jì)算對(duì)比度時(shí)，圖像被劃分為小塊，通過Sobel算子獲得的邊緣像素?cái)?shù)量大于塊中總像素?cái)?shù)量的0.2%則判斷為邊緣塊，所有邊緣塊的RMS 對(duì)比度值之和為對(duì)比度測(cè)試結(jié)果；霧密度通過FADE 模型計(jì)算出霧的等級(jí)。

本文使用Sea-thru 算法對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理并使用Mask R-CNN 算法進(jìn)行圖像分割。 表1 顯示了紅光衰減嚴(yán)重場(chǎng)景下的圖像增強(qiáng)情況，圖像大小為1 000×1 000 像素。 結(jié)果顯示，通過圖像預(yù)處理矯正了色偏，去水效果明顯。

表1 明顯色偏的海底礦物圖像增強(qiáng)結(jié)果

表2 顯示了照明條件較差的礦物圖像經(jīng)Sea-thru預(yù)處理后的結(jié)果。 結(jié)果表明，增強(qiáng)后的圖像質(zhì)量明顯優(yōu)于原圖，能夠清晰地觀察到礦物細(xì)節(jié)，圖像光照得到補(bǔ)償，顏色得到矯正，對(duì)比度得到提高。

表2 照明條件差的海底礦物圖像增強(qiáng)結(jié)果

不同光照和深度下拍攝的圖像經(jīng)過Sea-thru 預(yù)處理后呈現(xiàn)出較為統(tǒng)一的顏色分布，這不僅提高了礦物分割準(zhǔn)確率，而且能夠提高模型泛化能力。

表3 顯示了表1～2 中各圖基于Mask R-CNN 的礦物分割準(zhǔn)確度以及各項(xiàng)圖像質(zhì)量評(píng)價(jià)指標(biāo)值，斜杠后為增強(qiáng)圖像的結(jié)果。 UCIQE、UIQM、CCF 指標(biāo)通過水下圖像質(zhì)量網(wǎng)頁(yè)評(píng)價(jià)平臺(tái)（PUIQE）獲得。 數(shù)據(jù)表明，經(jīng)過預(yù)處理的圖像不僅視覺質(zhì)量變好，礦石分割的準(zhǔn)確度也得到了一定的提升。

表3 原圖和增強(qiáng)圖像的指標(biāo)對(duì)比

基于Mask R-CNN 的礦物分割采用了Detectron2工具箱，訓(xùn)練集包括86 張圖片，標(biāo)注工具使用了Labelme。 訓(xùn)練階段超參數(shù)中的批處理大小設(shè)置為1，迭代次數(shù)為40 000，初始學(xué)習(xí)率為0.000 25，動(dòng)量設(shè)置為0.9，建議框數(shù)量經(jīng)過非極大值抑制后設(shè)置為60 000個(gè)，測(cè)試階段置信度設(shè)置為0.7，其余參數(shù)與Detecron2默認(rèn)值一致。 當(dāng)海底礦物圖像清晰度受限時(shí)，Mask R-CNN 存在欠分割現(xiàn)象，經(jīng)過Sea-thru 增強(qiáng)后，一些原本不能被識(shí)別的礦物顆粒能被分割出來(lái)，圖3 中框框所標(biāo)識(shí)的區(qū)域?qū)Ρ茸顬槊黠@。 圖3 的粒徑分布統(tǒng)計(jì)結(jié)果如表4 所示。 數(shù)據(jù)顯示，增強(qiáng)后的圖像在［0，3）、［3，6）、［6，9）范圍內(nèi)均識(shí)別出了更多礦物。

圖3 基于Mask R-CNN 算法的海底礦物圖像分割結(jié)果

表4 海底礦物圖像分割結(jié)果的粒徑分布統(tǒng)計(jì)

2.2 資源評(píng)估

選取覆蓋率和粒徑作為資源評(píng)估的參數(shù)。 覆蓋率為海底表面一定面積內(nèi)結(jié)核覆蓋面積所占百分比，粒徑為圓形或橢圓擬合所有結(jié)核后的平均直徑。

結(jié)核覆蓋率的計(jì)算公式為：

式中Si為第i個(gè)結(jié)核礦物擬合區(qū)域的像素面積；Iwidth和Iheight分別為圖像寬度和高度。

粒徑的像素長(zhǎng)度為所有礦物分割后進(jìn)行橢圓擬合的長(zhǎng)軸平均值。 采集設(shè)備上附載的激光坐標(biāo)儀能夠標(biāo)定每個(gè)像素的實(shí)際距離，從而得到粒徑的實(shí)際長(zhǎng)度。實(shí)驗(yàn)通過紅綠藍(lán)3個(gè)通道的閾值范圍篩選獲得激光點(diǎn)坐標(biāo)。

本文隨機(jī)選取70 張圖像作為測(cè)試集，礦物分布信息統(tǒng)計(jì)結(jié)果如圖4 所示。 礦物密集區(qū)域的平均粒徑5～6 cm，覆蓋率70%左右；礦物稀疏區(qū)域平均粒徑2 ～3 cm，覆蓋率20%左右。 統(tǒng)計(jì)結(jié)果與箱式取樣器獲取的實(shí)際分布情況基本一致，驗(yàn)證了本文算法的正確性。通過對(duì)比測(cè)試集的礦物分割顆粒數(shù)量與礦物實(shí)際數(shù)量，密集區(qū)域平均分割準(zhǔn)確率97.12%，較稀疏區(qū)域平均分割準(zhǔn)確率92.46%，稀疏區(qū)域平均分割準(zhǔn)確率80.00%。 這可能是覆蓋率低的區(qū)域泥沙掩埋較明顯，導(dǎo)致偏差增大。

圖4 礦物分布信息統(tǒng)計(jì)

3 結(jié) 語(yǔ)

1） 利用紅光吸收差異改進(jìn)Sea-thru 算法可以有效還原海底礦物的真實(shí)深度圖，減少圖像的顏色失真。

2） Sea-thru 算法可以減少海水、懸浮體、不均勻光照帶來(lái)的影響，有助于后續(xù)分割更多的礦物顆粒。

3） 采用Mask R-CNN 算法獲得的分割結(jié)果在密集區(qū)域的平均分割準(zhǔn)確率為97.12%，經(jīng)過橢圓擬合計(jì)算出的礦物粒徑、覆蓋率等信息與實(shí)際結(jié)核礦物資源分布一致。

4） 基于Sea-thru 與Mask R-CNN 的海底礦物圖像處理算法仍存在一些不足：亮度不均勻問題尚未徹底解決；礦物存在掩埋、遮擋的情況下，仍需找到更加有效的算法進(jìn)行原始狀態(tài)的擬合，從而更進(jìn)一步提升礦物資源的評(píng)估準(zhǔn)確率。 未來(lái)可以構(gòu)建海底礦物圖像信息挖掘系統(tǒng)，通過將箱式采樣數(shù)據(jù)、圖像分割數(shù)據(jù)和多波束數(shù)據(jù)統(tǒng)一進(jìn)行數(shù)據(jù)建模，以精確的采樣數(shù)據(jù)校正亞精確的分割數(shù)據(jù)，再用亞精確的分割數(shù)據(jù)校正多波束數(shù)據(jù)，點(diǎn)線面相結(jié)合得到三者之間的映射關(guān)系，輔助完成深海采礦工程中礦物勘探數(shù)據(jù)的收集任務(wù)。