基于相機(jī)RGB值的光譜反射率重建方法研究

2024-03-04 12:57:50渠立永

兵器裝備工程學(xué)報(bào) 2024年2期

張飛,劉珩,楊潔,渠立永,呂琪,黃偉,李浩

(1. 61606部隊(duì), 北京 100093; 2.陸軍工程大學(xué), 南京 210007)

0 引言

光譜反射率重建技術(shù)在顏色科學(xué)、文物保護(hù)、農(nóng)業(yè)、醫(yī)學(xué)、藝術(shù)、紡織等領(lǐng)域具有重要的科學(xué)應(yīng)用價(jià)值[1-8]。光譜反射率是指地物在某波段反射通量與入射通量之比[9],是表征物質(zhì)特有屬性的主要特征之一。通過目標(biāo)樣本周圍環(huán)境信息、光照條件、相機(jī)光譜特征以及輸出的多通道圖像可獲得物體的光譜反射率[10]。但顏色數(shù)據(jù)在采集-提取-傳輸-配色過程中容易產(chǎn)生失真的問題,因此需要運(yùn)用光譜反射率重建技術(shù)實(shí)現(xiàn)準(zhǔn)確校正和復(fù)制還原。

對(duì)光譜反射率重建技術(shù)的研究得到了社會(huì)各界的高度重視。Cohen測(cè)量了433個(gè)標(biāo)準(zhǔn)色卡的光譜反射率,利用主成分分析法(PCA)高度擬合出色卡的光譜反射率[11-12]。Hardeberg等[13]提出主特征向量法,解決了偽逆法在光譜重建中需要相機(jī)通道數(shù)多的問題。Tominaga[14]利用二色反射模型來描述物體反射的光,利用線性有限模型估計(jì)物體表面的光譜反射率。岑奕等[15]利用光譜重建技術(shù)對(duì)唐卡的礦物顏料進(jìn)行分析,以確定唐卡主色中各顏料的用量,達(dá)到顏料修復(fù)的目的;張璐提出Sine-SSA-BP算法,主要將經(jīng)過Sine混沌映射改進(jìn)的麻雀搜索算法[16]和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合以提高光譜重建精度[17];孔祥偉[18]為了對(duì)紗線顏色進(jìn)行測(cè)量,提出了基于反饋式多光譜成像方法對(duì)紗線顏色進(jìn)行測(cè)量。龍群燕等[19]提出了一種基于R矩陣與正則化多項(xiàng)式相結(jié)合的光譜重建算法,能夠?qū)崿F(xiàn)較高精度的壁畫顏色還原。王可等[20]運(yùn)用主成分分析法、R矩陣和正則化R矩陣,利用壁畫色塊顏色進(jìn)行驗(yàn)證試驗(yàn),實(shí)驗(yàn)結(jié)果表明,使用正則化R矩陣重建的光譜具備較高精度。趙海等[21]在主成分分析法基礎(chǔ)上引入加權(quán)系數(shù),以及誤差校正函數(shù),獲得了較高的光譜反射率重建精度。何鵬浩等[22]針對(duì)現(xiàn)有單圖像超分辨率卷積神經(jīng)網(wǎng)絡(luò)存在模型參數(shù)過多以及重建失真過大的問題,提出了一種基于動(dòng)態(tài)金字塔結(jié)構(gòu)與子空間注意力模塊的輕量級(jí)單圖像超分辨率網(wǎng)絡(luò)模型,馬子杰等[23]為了得到置信度更高的超分辨率先驗(yàn)?zāi)Ｐ?實(shí)現(xiàn)重建結(jié)果在噪聲和細(xì)節(jié)之間的平衡,建立了基于混合稀疏表達(dá)框架下的高斯—洛倫茲混合先驗(yàn)?zāi)Ｐ?。研究了該先?yàn)?zāi)Ｐ驮诔炙惴ㄖ械膽?yīng)用優(yōu)勢(shì)和具體的應(yīng)用方案。

本文中提出的加權(quán)平均的光譜重建方法(TWA),基于數(shù)碼相機(jī)RGB值的背景光譜反射率重建及顏色校正開展研究,自制綠色和沙土色色板,采用多種重建方法進(jìn)行光譜反射率重建實(shí)驗(yàn),分析對(duì)比重建效果,為實(shí)現(xiàn)背景顏色從采集-傳輸-配色-顯示全過程高精度校正還原奠定技術(shù)基礎(chǔ)。

1 基本原理和方法

光譜反射率重建技術(shù)主要有2種數(shù)據(jù)集的采集分類方式,第1種是通過分光光度計(jì)獲取數(shù)據(jù)集,其對(duì)應(yīng)的主要為直接重建法,包括4種具體方法:偽逆法[24]、維納估計(jì)法[25]、有限維模型法、多項(xiàng)式回歸法[26]等。第2種是通過多光譜相機(jī)獲得數(shù)據(jù)集,主要對(duì)應(yīng)3種重建方法:插值重建法、基于人工智能的重建算法[27-28]以及組合重建法。

1.1 傳統(tǒng)最小二乘法(OLS)

傳統(tǒng)最小二乘法就是將圖像的數(shù)字信號(hào)進(jìn)行多項(xiàng)式拓展獲得多通道的數(shù)字信號(hào),然后以多通道的數(shù)字信號(hào)為基礎(chǔ),利用指定的訓(xùn)練樣本按照式(1)求解光譜反射率重建矩陣。

Q=Rtrain(Dtrain)-1

(1)

其約束條件為:

(2)

式(2)中:Q為光譜反射率重建矩陣;Rtrain為訓(xùn)練樣本的光譜反射率矩陣;Dtrain表示數(shù)碼相機(jī)的RGB拓展值;“-1”表示偽逆運(yùn)算,“‖·‖”表示矩陣或向量的范數(shù)。獲得光譜反射率重建矩陣之后再進(jìn)行光譜反射率重建。

1.2 正則化最小二乘法(RLS)

為了解決訓(xùn)練數(shù)據(jù)過擬合問題,正則化最小二乘法(RLS)采用Tikhonov正則化方法對(duì)光譜反射率重建矩陣的求解進(jìn)行優(yōu)化,以達(dá)到求解偽逆矩陣系數(shù)穩(wěn)定的目的。如式(3)所示:

Dtrain=UWVT

(3)

W=S+αE

(4)

其中,α為正則化參數(shù),是一個(gè)極小值,需要在實(shí)驗(yàn)過程中綜合分析數(shù)據(jù)進(jìn)行求解。

1.3 偏最小二乘法(PLS)

偏最小二乘法將經(jīng)過多項(xiàng)式拓展的響應(yīng)值矩陣Dtrain分解為得分矩陣M和載荷矩陣N,如式(5)所示:

Dtrain=MNT+I

(5)

式(5)中:I表示殘余矩陣;符號(hào)“T”表示矩陣的轉(zhuǎn)置。同樣的方法可以將訓(xùn)練樣本的光譜反射率矩陣Rtrain分解為得分矩陣H和載荷矩陣K,如式(6)所示:

Rtrain=HKT+F

(6)

式(6)中:F為殘余矩陣。偏最小二乘法的實(shí)質(zhì)就是使得得分矩陣M和H之間的協(xié)方差最大化,如式(7)所示:

H=MB

(7)

式(7)中:B為回歸矩陣。利用迭代的方式求出得分矩陣M之后,即可利用式(8)計(jì)算出光譜反射率矩陣,進(jìn)而計(jì)算得出光譜反射率重建矩陣。

QT=D(NTD)-1(MTM)-1MTRT

(8)

1.4 主成分分析法(PCA)

主成分分析法通過對(duì)訓(xùn)練樣本進(jìn)行主成分分析,通過比較各成分對(duì)計(jì)算結(jié)果的影響程度(通常以百分占比的形式呈現(xiàn)),影響程度最大的即為主成分,其余為次成分。得到訓(xùn)練樣本集的光譜反射率矩陣的系數(shù)矩陣和特征矩陣。如式(9)所示:

Rtrain=UkM

(9)

式(9)中:Uk表示由前k個(gè)特征向量組成的特征矩陣;M為相對(duì)應(yīng)的系數(shù)矩陣。對(duì)于隨機(jī)的測(cè)試樣本,均可由式(10)計(jì)算出其對(duì)應(yīng)的特征向量。

(10)

式(10)中:α為隨機(jī)測(cè)試樣本在主成分分析特征向量空間中的特征向量;m表示多項(xiàng)式的階數(shù);al表示各多項(xiàng)式的系數(shù);r、g、b為隨機(jī)測(cè)試樣本的數(shù)碼相機(jī)響應(yīng)值。最后通過式(11)計(jì)算出測(cè)試樣本的光譜數(shù)據(jù)。

Rtest=Ukα

(11)

1.5 加權(quán)平均法(TWA)

根據(jù)專業(yè)背景顏色特點(diǎn),對(duì)傳統(tǒng)的偽逆法進(jìn)行改進(jìn),提出加權(quán)平均的光譜重建方法,引入加權(quán)函數(shù)對(duì)每一個(gè)訓(xùn)練樣本賦予不同的權(quán)值。使得訓(xùn)練后更加逼近真實(shí)反射率,確定每一塊訓(xùn)練樣本所對(duì)應(yīng)的權(quán)值之后,構(gòu)建隨機(jī)測(cè)試樣本的光譜重建矩陣。

首先,根據(jù)式(12)計(jì)算測(cè)試樣本與所有訓(xùn)練樣本的色差。

(12)

式(12)中: ΔEi為測(cè)試樣本與第i個(gè)訓(xùn)練樣本之間的色差;Ltest、atest、btest為測(cè)試樣本在CIE1976L*a*b*均勻顏色空間中的L*a*b*值;Li、ai、bi為第i個(gè)訓(xùn)練樣本的L*a*b*值,n=1,2,3,…,N,N為訓(xùn)練樣本的個(gè)數(shù)。然后,按照式(13)對(duì)色差進(jìn)行歸一化處理,并按照式(14)計(jì)算權(quán)值:

(13)

(14)

式(13)中: ΔEi為測(cè)試樣本與訓(xùn)練樣本的色差;ΔEimax為測(cè)試樣本與訓(xùn)練樣本色差的最大值;mi即為加權(quán)系數(shù)。構(gòu)建的加權(quán)矩陣為

(15)

獲得加權(quán)函數(shù)之后,對(duì)測(cè)試樣本和訓(xùn)練樣本的RGB值進(jìn)行拓展,以一階線性拓展為例,拓展之后的響應(yīng)值可由dexp表示。

dexp=[R,G,B,1]T

(16)

式(16)中:R、G、B表示樣本的數(shù)碼相機(jī)響應(yīng)值,符號(hào)“T”表示矩陣的轉(zhuǎn)置。然后利用訓(xùn)練樣本的光譜反射率矩陣,響應(yīng)值拓展矩陣以及加權(quán)矩陣,由式(17)計(jì)算該測(cè)試樣本的光譜反射率重建矩陣Q。

Q=RtrainM(Dtrain,expM)+

(17)

式(17)中:Rtrain表示訓(xùn)練樣本的光譜反射率矩陣;M表示加權(quán)矩陣;Dtrain,exp表示訓(xùn)練樣本的響應(yīng)值拓展矩陣。符號(hào)“+”表示求矩陣的偽逆矩陣。最后,由式(18)完成對(duì)測(cè)試樣本的光譜反射率重建。

Rtest=QDtest,exp

(18)

2 實(shí)驗(yàn)

基于數(shù)碼相機(jī)RGB值的光譜反射率重建研究是基于訓(xùn)練的方式進(jìn)行的,首先需利用數(shù)碼相機(jī)和光譜儀分別獲取訓(xùn)練樣本的RGB值和光譜反射率數(shù)據(jù),再對(duì)所提取的RGB值和光譜反射率數(shù)據(jù)進(jìn)行訓(xùn)練,獲得光譜反射率重建矩陣,最后利用光譜重建矩陣對(duì)測(cè)試樣本響應(yīng)值進(jìn)行光譜反射率重建。

2.1 儀器與標(biāo)準(zhǔn)色板

實(shí)驗(yàn)儀器:NikonD90相機(jī)、OHSP-660光譜透反射率測(cè)試儀、Az-Pro100全光譜光源。

標(biāo)準(zhǔn)色板:自制沙土色系列色板(115塊),規(guī)格:5 cm×15 cm;色系列色板(98塊),規(guī)格:30 cm×30 cm。

2.2 實(shí)驗(yàn)環(huán)境設(shè)置

實(shí)驗(yàn)中的成像設(shè)備選用NikonD90數(shù)碼相機(jī)1臺(tái),光源選用Az-Pro100全光譜光源,實(shí)驗(yàn)環(huán)境在暗室中進(jìn)行,以保證所選用的光源為實(shí)驗(yàn)中的唯一光源,排除其他光源的干擾。在暗室內(nèi)垂直拍攝沙土色色板和綠色色板的數(shù)字圖像,相機(jī)的拍攝參數(shù)分別設(shè)置為相機(jī)的最佳參數(shù),相機(jī)距離色板的距離為50 cm。

2.3 實(shí)驗(yàn)步驟

1) 標(biāo)定相機(jī)的光譜靈敏度,得到相機(jī)在最佳參數(shù)時(shí)的光譜靈敏度;

2) 利用NikonD90數(shù)碼相機(jī)在搭建的實(shí)驗(yàn)環(huán)境下,獲取訓(xùn)練樣本數(shù)碼相機(jī)響應(yīng)值,利用光譜儀獲取訓(xùn)練樣本的光譜反射率數(shù)據(jù);

3) 利用訓(xùn)練樣本的數(shù)碼相機(jī)響應(yīng)值與光譜反射率數(shù)據(jù),采用傳統(tǒng)偽逆法求解訓(xùn)練樣本的光譜反射率矩陣;

4) 采用基于加權(quán)平均的光譜反射率重建方法,對(duì)測(cè)試樣本的光譜反射率進(jìn)行重建;

5) 從光譜評(píng)價(jià)指標(biāo)和色度評(píng)價(jià)指標(biāo)2方面實(shí)驗(yàn)樣本的光譜反射率重建精度及色差值進(jìn)行分析評(píng)價(jià)。

3 實(shí)驗(yàn)結(jié)果分析

利用115塊自制沙土色和98塊綠色色板作為訓(xùn)練樣本,隨機(jī)選取一塊色板作為測(cè)試樣板,分別運(yùn)用傳統(tǒng)最小二乘法(OLS)、正則化最小二乘法(RLS)、偏最小二乘法(PLS)、主成分分析法(PLS)和加權(quán)平均法進(jìn)行光譜反射率重建,并將重建之后的光譜與用光譜儀測(cè)試出來的真實(shí)光譜反射率比較。首先以115塊自制沙土色色板為訓(xùn)練樣本進(jìn)行光譜反射率重建。

3.1 使用不同方法重建光譜反射率

3.1.1傳統(tǒng)最小二乘法(OLS)

首先利用光譜儀獲取訓(xùn)練樣本的光譜反射率矩陣R,利用數(shù)碼相機(jī)拍攝訓(xùn)練樣本并獲取色板的響應(yīng)值(RGB)矩陣D,之后按照式Q=Rtrain(Dtrain)-1求解出光譜反射率重建矩陣QOLS:

(19)

之后,對(duì)于任意的一塊色板即可計(jì)算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.2正則化最小二乘法(RLS)

首先利用Matlab將數(shù)碼相機(jī)的響應(yīng)值矩陣進(jìn)行奇異值分解,分別求出數(shù)碼相機(jī)響應(yīng)值矩陣D的奇異值矩陣S、正交矩陣U和V,通過對(duì)奇異矩陣S加入一個(gè)極小值,來解決過擬合問題,之后求解出光譜反射率重建矩陣QRLS:

(20)

獲得光譜反射率重建矩陣之后,對(duì)于任意的一塊色板分別計(jì)算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.3偏最小二乘法(PLS)

首先將光譜反射率矩陣R和數(shù)碼相機(jī)響應(yīng)值矩陣D分解為得分矩陣和載荷矩陣,在Matlab中以得分矩陣M和H之間的協(xié)方差最大為約束條件,求出得分矩陣M,進(jìn)而求解出光譜反射率重建矩陣,并將重建之后的光譜反射率繪制成曲線見圖1。

圖1 各種方法重建之后的沙土色光譜反射率曲線

3.1.4主成分分析法(PCA)

利用Matlab中的princomp函數(shù)對(duì)訓(xùn)練樣本的光譜反射率矩陣進(jìn)行主成分分析,選取前3個(gè)特征值,求解出系數(shù)矩陣進(jìn)而獲得重建的光譜反射率。并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.5加權(quán)平均法(TWA)

首先利用光譜儀獲取訓(xùn)練樣本的光譜反射率矩陣R,利用數(shù)碼相機(jī)拍攝訓(xùn)練樣本并獲取色板的響應(yīng)值(RGB)矩陣D,然后分別將訓(xùn)練樣本與測(cè)試樣本(隨機(jī)選取一塊色板作為測(cè)試樣本)的顏色值轉(zhuǎn)化為L(zhǎng)*a*b*值,并且在CIE 1976L*a*b*顏色空間中計(jì)算測(cè)試樣本與每一塊色板之間的色差,共有115個(gè)色差值;獲得色差之后計(jì)算出每一塊訓(xùn)練樣本對(duì)應(yīng)的權(quán)值,利用所有的權(quán)值構(gòu)建一個(gè)115×115的加權(quán)矩陣M:

(21)

獲得加權(quán)矩陣之后計(jì)算得到一個(gè)401×3的光譜反射率重建矩陣QTWA。

(22)

最后完成對(duì)測(cè)試樣本光譜反射率的重建,并將重建之后的光譜反射率繪制成曲線如圖1所示,real線表示真實(shí)的光譜反射率,其他表示經(jīng)過各種方法重建之后的光譜反射率,從圖中可看出,采用加權(quán)平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實(shí)的光譜反射率曲線最為接近,在接近趨勢(shì)以及曲線平滑度上均優(yōu)于現(xiàn)有方法。

綠色(及其他色彩)色板的計(jì)算方法與沙土色計(jì)算方法一致,所獲得的光譜反射率重建矩陣為一個(gè)401×98的矩陣。并將重建之后的光譜反射率繪制成曲線見圖2。圖中real線表示真實(shí)的光譜反射率曲線,其他表示經(jīng)過各種方法重建之后的光譜反射率,從圖中可看出,采用加權(quán)平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實(shí)光譜反射率重合程度最高。