一種基于寬度學習的高精度光譜重建方法

楊艷紅，萬曉霞，薛智爽，劉段，邢海峰

（1.武漢大學 圖像傳播與印刷包裝研究中心，武漢 430072；2.湖北廣彩印刷有限公司，湖北廣水 432721）

數碼相機可以非常容易地獲取被攝物體圖像的RGB 響應值，但是獲得的顏色與設備和光照條件相關，為了使顏色能夠在不同的媒介間保真傳遞，需要使用更為精確的顏色表征方法。光譜反射率是決定物體顏色的本質屬性，是一種更為準確的表征方法，獲取到物體的光譜反射率，即可準確還原物體在不同光照和不同觀察者條件下的真實顏色[1]。近年來，直接從數碼相機響應值進行光譜重建的方法受到越來越多研究者的關注，它具有低成本、快響應、高分辨率等特點，而且可以有效避免光學帶通濾波器多光譜系統中存在圖像幾何失真等的固有問題[2]，在遙感、電影電視、出版印刷、文物修復和藝術品研究、在線商品展示等多個領域都有廣泛應用。

光譜重建算法是多光譜成像技術的核心。目前，基于訓練樣本的光譜重建方法已經成為基于數碼相機光譜重建研究的主流方法，傳統方法包括偽逆法、主成分分析法、核算法、回歸法、R 矩陣法等[3]。Shen等[4]針對傳統最小二乘法過擬合的問題，提出采用偏最小二乘法求解光譜估計矩陣的全局光譜重建算法，重建精度優于維納估計和普通的多項式回歸，但仍有很大的提高空間。Amiri 等[5]對全局加權形式的非線性回歸方法進行了研究，雖然加權非線性回歸方法光譜重建精度優于其他方法[6]，但是色度誤差較大，需要解決，經測試得出不同加權形式對光譜重建的光譜精度和色度精度的影響不同，但整體精度還有待提高。隨著計算機視覺技術的快速發展，基于深度學習的光譜重建技術逐漸得到關注和研究，在圖像分類、目標識別和圖像超分辨率等領域有重要應用。在NTIRE 2018 和NTIRE 2020 光譜重建挑戰賽中，排名領先的從RGB 三通道圖像進行光譜重建的方法都采用了基于深度學習的神經網絡模型法來進行光譜重建[7-8]。此類方法對數據集提出了更大的需求，當數據規模龐大時，深度學習模型權重調整耗時，容易陷入局部最優解；而傳統簡單的神經網絡在小數據集上應用時容易“過擬合”，使用小樣本的此類方法的應用穩健性較差。

寬度學習系統（broad learning system，BLS）是在深度學習的快速發展和應用中應運而生的，相對于深度學習的多層復雜耦合結構，寬度學習通過特征映射和增強映射的方式在寬度上構造網絡，結構更為精簡，訓練速度更快，且具有很好的特征提取和逼近能力，準確率高，適用于數據特征不多但對預測實時性要求較高的系統[9]。基于此，文中提出一種基于寬度學習的光譜重建算法，并采用十次十折交叉驗證的實驗方法，將文中所提算法（New）與Shen 的偏最小二乘算法（SHEN）以及Amiri 和Fairchild 的全局加權非線性回歸算法（A-F）進行對比。為評估新方法的性能，分別計算光譜均方根誤差和光譜擬合優度誤差作為光譜精度評價指標，計算CIE DE1976 和CIE DE2000 作為色度精度評價指標。

1 原理

1.1 光譜重建基本原理

假設數碼相機的光電轉換函數為理想線性化模型，則其成像過程的數學模型可表示為式（1）[10]。

式中：d為一個像素點的K×1 維響應值向量；K為成像系統的通道數，對于三色數碼相機來說，K=3；r為一個像素點的N×1 維光譜向量；M為包含了l(λ)、t(λ)、f i(λ)和s(λ)在內的K×N維系統整體靈敏度函數矩陣。光譜重建算法實質就是實現上述成像模型的反向求解，具體如式（3）所示，即實現由多通道響應信號d到對應光譜信息r的計算，確保對于給定的任意三維通道響應值d，均能重建得到其對應光譜數據r，其中f( )代表光譜重建所采用的具體方法。

1.2 基于寬度學習的光譜重建算法

基于BLS 的光譜重建方法的整體設計思路為：首先，將數碼相機獲得的三維響應值進行多項式拓展，為了提升重建的精度，大多方法通常會采用多項式拓展項數的方法，這種方法已在很多研究中被證實是有效的[11]。然后，將拓展后的設備響應值作為輸入數據，通過一些特征映射和稀疏表示轉化為隨機特征，作為網絡的特征節點，這些特征節點通過非線性激活函數進一步連接，形成增強節點。最后，所有映射的特征和增強節點直接連接到輸出端，即訓練樣本的光譜矩陣，其中該輸出層的權重將通過系統方程的快速偽逆或迭代梯度下降訓練算法來確定[12]，訓練過程見圖1。測試過程只需按步驟直接應用訓練好的權重矩陣即可通過設備響應值預測出其真實的光譜反射率，下面是基于BLS 的光譜重建方法的詳細描述，網絡結構見圖1。

圖1 基于寬度學習的光譜重建網絡結構圖Fig.1 Framework of spectral reconstruction network based on BLS

式中：Wm為連接特征節點和增強節點層與輸出層的權重。這里使用嶺回歸近似可以計算得出：

由此得到整個網絡的權重Wm。

最后測試樣本的響應值作為輸入，通過訓練好的權重生成相應節點即可估計出重建的光譜反射率，公式為：

2 實驗與分析

本研究采用廣泛應用于彩色成像設備顏色特性化的多項式模型作為相機響應值拓展的參考模型，d經多項式模型擴展為dex，樣本集輸入為N個拓展響應值的集合，矩陣表示為：

生成特征節點。對拓展后的響應值進行特征映射，對于n個特征映射，每個映射生成k個節點，用方程形式可以表示為：

式中：Zi為特征節點，且Zi∈RN×k；Wei和βei分別是隨機產生的權重系數矩陣和偏置向量；Z(n)為n個Zi串聯成的矩陣。為了獲得輸入數據的稀疏表示，減少新生成特征節點的線性相關程度，使得新生成的節點不至于過于“浪費”，可通過線性反向最優化求解對隨機初始化的權重矩陣Wei進行微調[13]，公式為：

2.1 實驗設置

模擬實驗采用孟塞爾亞光彩色譜（Munsell matt colors，MMC）數據集和Agfa IT8.7/2 （IT8.2）數據集[14]。 MMC 數 據 集 是 由 Jouni Hiltunen 用Perkin-Elmer lambda 9 UV/VIS/NIR 分光光度計從孟塞爾彩色亞光圖集的1 269 塊色塊上測量的，測量了380～800 nm 的光譜數據，采樣間隔為1 nm。IT8.2數據集是根據IT8.7 標準設計的，由Elzbieta Marszalec 用Minolta 分光光度計CM-2002 測得，測量了289 個色塊400～700 nm 的光譜數據，以10 nm 為間隔。實驗中為了統一取樣范圍和間隔，在MMC 中同樣取出400～700 nm 范圍，采樣間隔為10 nm 的數據。CIE L*a*b*色度圖中2 個光譜數據集的色度坐標見圖2，由CIE 1931 標準觀察者和CIE D65 標準照明體計算得出。

圖2 數據集的色度坐標分布Fig.2 Chromaticity coordinates distributions of datasets

基于式（2）中的成像模型，忽略真實相機系統的非線性因素，對數據集的相機響應進行了模擬。模擬成像裝置采用Nikon D7200 相機傳感器的光譜靈敏度函數，光源采用CIE 標準光源D65，相機光譜靈敏度函數和光源的光譜分布如圖3。彩色數碼相機的響應值通常是三維的，表示為[r g b]，在實驗過程中，我們發現僅僅是三維重建，寬度學習系統重建的效果并不理想，而將響應值拓展為二階項數之后，重建效果則明顯加強，重建為三階則幾乎不再提升，故本研究選擇二階多項式模型[1 r g b rg rb gb r2 g2 b2]來處理輸入數據。由于寬度學習系統的訓練過程中需要尋找隨機系數矩陣，可能會導致測試結果的微小差異，為了更可靠、更公平地測試模型，使用了十次十折交叉驗證的實驗方法來評估所提出的方法。將MMC 樣本集和IT8.2 樣本集分別隨機劃分為大約10 個大小相等的子集，在這10 個子集中，一個子集被保留為測試模型的驗證數據，其余9 個子集被用作每個折疊測試的訓練數據，相當于每個樣本隨機劃分循環驗證了100 次，計算100 次測試指標的平均數參與最終的對比評價[15]。

圖3 整體系統光譜靈敏度函數Fig.3 Spectral sensitivity functions of the whole system

2.2 結果與分析

表1 2 種樣本在不同算法下的光譜重建精度比較Tab.1 Comparison of spectral reconstruction precision between 2 different samples under different algorithms

圖4 MMC 中部分測試樣本3 種方法光譜重建擬合曲線Fig.4 Spectral reconstruction fitting curves of some test samples in MMC by 3 methods

3 結語

文中針對數碼相機的多光譜成像技術，將寬度學習系統應用于光譜重建，在重建的過程中采取了多項式拓展的方式以適應于寬度學習系統，提出一種新的全局訓練的光譜重建方法。該方法網絡結構簡單，訓練速度快，準確率高，重建結果在光譜精度和色度精度上都取得了較好的效果。與2 種現有的基于全局訓練的方法相比，文中方法的重建效果無論是在光譜誤差還是色度誤差方面都表現更佳，說明寬度學習系統在相對較少的訓練樣本的學習下，可以很好地適用于光譜反射率重建，在數碼相機的光譜成像領域有很好的應用前景。