基于B樣條曲線的投影圖像顏色校正方法

2022-07-12 14:03:48祁繼輝侯培國趙明宇

計算機應用與軟件 2022年6期

宋濤祁繼輝侯培國趙明宇李坤

1(燕山大學電氣工程學院河北秦皇島 066004) 2(秦皇島視聽機械研究所河北秦皇島 066004) 3(沈陽儀表科學研究院遼寧沈陽 110000)

0 引言

虛擬現實技術是20世紀末興起的一門計算機技術，能夠讓用戶實時、沒有限制地觀察三維空間內的場景與事物，沉浸在模擬環境中。隨著時代的發展，人們對虛擬世界要求越來越高，佩戴VR眼鏡會影響真實體驗感，因此，裸眼虛擬現實技術能夠為人們提供一個更好的VR體驗，多通道投影拼接技術把虛擬畫面投影到周圍的墻壁上，用戶在體驗該技術應用時，不需要佩戴任何輔助裝置，就能夠沉浸到畫面中并有身臨其境的觀感。但是，在實際應用中，由于投影幕顏色不均勻或者投影儀彼此型號不同等一系列因素，投影幕上的投影畫面難免會發生顏色扭曲，以至于投影畫面存在色差[1]。

文獻[2]與文獻[3]分別利用最小二乘法非線性優化與迭代顏色分布轉換進行顏色校正，但對于復雜的投影環境，函數擬合時間過長，并且不能保證復雜響應函數的校正精度。文獻[4]與文獻[5]分別利用亮度融合響應函數以及Alpha融合與Gamma校正來保證投影畫面彼此的拼接處亮度與顏色的連續性，但不能保證整體畫面顏色強度沒有發生畸變。文獻[6]提出了一種快速、可靠的系統，用于修正由相互反射、投影黑度和環境光引起的動態場景中的投影映射偽影，為了滿足低延遲投影映射系統的時間限制，對一些數據進行了預計算，與了解每個曲面點的精確顏色這一重要假設相結合，在運行時有效地執行來自不需要的照明的校正偽影，通過這些擴展，任何投影映射系統的感知質量都可以顯著提高。文獻[7]根據投影儀的特性、顯示器的表面光學特性等因素，建立了投影儀的通用顏色模型，再建立傳輸矩陣和顏色模型，生成顏色查找表，最后將顏色查找表與相應的亮度混合表相結合。文獻[8]提出了彩色編碼結構光的高精度解碼方法和多源層次化時序投影彩色物體三維重建方法，減少復雜因素對結構光解碼過程中產生的影響，同時進一步提高結構光解碼的精度和效率。這三種方法克服了復雜投影環境導致的困難，有效提高了顏色校正的精度，但針對顏色傳遞函數中響應關系相差較大的相鄰階段并沒有理想的控制。文獻[9]利用二次準均勻B樣條進行全局粗校正，再引入了帶多形參二次準均勻B樣條對投影曲面進行了融合帶局部細校正，但是由于顏色校正后投影畫面融合區域的顏色不連續性依然存在，顏色校正的誤差顯而易見，通過對顏色傳遞函數的整體檢驗，便可發現每個投影畫面經顏色校正后難免跟理想顏色強度存在偏移。

本文采用B樣條曲線構建投影圖像與原圖像之間的顏色傳遞函數，再通過分段貝塞爾曲線對校正不精確的色域進行補償。

1 基于B樣條曲線的顏色校正

1.1 B樣條曲線

1.1.1B樣條曲線概述

一條B樣條曲線由m條曲線段組成，每條曲線段的兩個端點被稱為節點，因此，m段的B樣條曲線存在m+1個節點。

對于n次m段的B樣條曲線，其數學模型表達式如下：

(1)

式中：Pi,n(t)表示第i段經n次B樣條曲線變換后的值，i=1,2,…,m；t表示B樣條曲線變換前的值，對于每個曲線段的點，均滿足0≤t≤1，t=0表示第i段的首端節點，t=1表示第i段的末端節點；pi+k-1表示第i段B樣條曲線的控制點，每段均由n+1個控制點來控制；Fk,n(t)表示n次B樣條曲線的分段混合函數。Fk,n(t)數學表達式如式(2)所示。

(2)

式中：0≤t≤1；k=0,1,2,…,n。

對于B樣條曲線的第i段，滿足第i段的首端節點與第i-1段的末端節點重合，第i段的末端節點與第i+1段的首端節點重合，其中，i=2,3,…,m-1。如果第1段的首端節點與第m段的末端節點重合，則該B樣條曲線為閉曲線，否則為開曲線。

1.1.2三次B樣條曲線

對于三次m段的B樣條曲線，其數學模型表達式如式(3)所示。

(3)

由此可知，第i段的變換結果由pi-1、pi、pi+1、pi+2四個控制點決定，如圖1所示。

圖1 三次B樣條曲線示意圖

Pi,3(0)表示第i段首端節點(即整條曲線第i個節點)的變換結果Bi，通過式(3)可推導出Bi由pi-1、pi、pi+1三個控制點決定，如式(4)所示。

(4)

由于三次m段B樣條曲線有m+1個節點，因此，式(4)中，i=1,2,…,m,m+1，并且需要m+3個控制點，即p0,p1,p2,…,pm,pm+1,pm+2。

對于三次m段B樣條開曲線，擬定p0=p1，pm+1=pm+2；對于三次m段B樣條閉曲線，擬定p0=pm+1，p1=pm+2。

1.2 顏色校正

1.2.1RGB顏色空間

RGB色彩就是常說的三原色，R代表紅色，G代表綠色，B代表藍色。自然界中肉眼所能看到的任何色彩都可以由這三種色彩混合疊加而成，因此也稱為加色模式。

計算機定義顏色時R、G、B三種成分的取值范圍是0～255，0表示沒有刺激量，255表示刺激量達最大值。R、G、B均為255時就合成了白光，R、G、B均為0時就形成了黑色，當兩色分別疊加時將得到不同的“C、M、Y”顏色，其中：C代表青色，M代表品紅，Y代表黃色。

1.2.2投影圖像與原圖像之間的顏色傳遞函數

將R、G、B三個顏色通道單獨提取分別求取各自的顏色傳遞函數，以R通道為例，依次生成所有像素點R通道的顏色強度分別為0、15、30、40、50、…、220、230、240、255的25幅圖像，另外G、B兩通道的顏色強度始終為0。

攝像機依次采集這25幅圖像的投影畫面，計算機提取這25幅投影圖像并分別計算各自R通道的顏色強度均值。

三次24段B樣條開曲線可表示顏色傳遞函數，原圖像25個顏色強度值可記為B1,B2,…,B25，代入式(4)便可求得p0,p1,p2,…,p26，再代入式(3)，以照片中投影圖像的顏色強度均值作為25個節點，記為T1,T2,…,T25，由此求得R通道的顏色傳遞函數，其余兩個通道的顏色傳遞函數同理，不再贅述。

1.2.3原圖像的顏色預扭曲變換

對原圖像的像素點進行顏色預扭曲變換才能使其投影畫面顏色強度達到理想值，對(R+1)×(S+1)大小的原圖像像素點的顏色預扭曲變換如式(5)所示。

(5)

式中：Cr,s,c表示原圖像(r,s)坐標像素點第c顏色通道變換后的強度值，其中，r=0,1,2,…,R，s=0,1,2,…,S，c=1,2,3；Ti,c表示第c顏色通道傳遞函數第i個節點，其中，i=1,2,…,24；Ir,s,c表示原圖像(r,s)坐標像素點第c顏色通道變換前的強度值；F(Ir,s,c)表示Ir,s,c對應的理想值，Ti,c≤F(Ir,s,c)≤Ti+1,c。

由于投影儀的自身性質及外界因素，必然存在式(5)中T1,c>0且T25,c<255。因此，Ir,s,c對應的理想值如式(6)所示。

(6)

對于多通道投影系統，投影儀彼此會存在色域差異，D通道投影系統的第d臺投影儀第c顏色通道的色域為[Ldc,Hdc]。為了統一色域，擬定每臺投影儀的色域均為[Lc,Hc]，其中Lc=max{L1c,L2c,…,LDc}，Hc=min{H1c,H2c,…,HDc}。因此，每臺投影儀對應原圖像像素點Ir,s,c的理想值如式(7)所示。

(7)

2 顏色誤差補償

2.1 顏色誤差

投影儀顏色響應曲線的復雜以及樣本數量的局限會導致三次B樣條曲線的4個控制點無法精確校正局部色域，因此，需要對顏色傳遞函數進行檢驗。

通過顏色傳遞函數分別對這25幅圖像進行顏色預扭曲并投影至投影幕，攝像機依次采集，計算機再進行提取并計算投影畫面該通道的顏色強度均值，根據原圖像顏色強度對應的理想值進行比較，對相差較大的區域通過貝塞爾曲線進行進一步校正。

2.2 貝塞爾曲線

n次貝塞爾曲線由n+1個控制點定義，其數學模型表達式如式(8)所示。

(8)

式中：pi為控制點；P(t)為貝塞爾曲線變換后的值，其中，0≤t≤1。

(9)

2.3 基于分段貝塞爾曲線的誤差補償

顏色傳遞函數曲線中顏色強度偏移量較大的區域如圖2所示，其中：T代表投影畫面顯示的顏色強度；Y代表對應圖像的顏色強度；實線代表B樣條響應曲線，虛線代表真實響應曲線。

圖2 顏色強度偏移區域的響應曲線

可以看出，若想使投影畫面顯示的顏色強度為t1，經B樣條響應函數將原圖像的顏色強度校正為y，將其投影至投影幕上的顏色強度卻為t2。

本文通過三次貝塞爾曲線的4個控制點對偏移區域B樣條響應曲線進行進一步扭曲，使其與真實響應曲線重合。

以校正偏差較大的樣本兩邊相鄰的節點作為端點，在二者之間選取R-1個顏色強度值生成圖像并進行B樣條響應校正后對其投影，攝像機記錄投影畫面的顏色強度值，貝塞爾曲線模型表達式如式(10)所示。

P=C·p

(10)

式中：C為(R+1)×4的矩陣，表示選取的R-1個顏色強度與兩個節點顏色強度的貝塞爾基函數；p為4×1的矩陣，表示4個控制點；P為(R+1)×1的矩陣，表示R+1個顏色強度經4個控制點變換的顏色強度值。

(11)

(12)

(13)

2.4 原圖像顏色預扭曲的校正與補償

若B樣條響應函數存在K處偏移區域，則原圖像對應區域的顏色預扭曲校正補償變換如式(14)所示。

PTk=Bk(B(F(Pk)))

(14)

式中：Pk為原圖像第k處偏移區域顏色預扭曲前的所有顏色強度集合，1≤k≤K；B()為B樣條曲線響應函數；Bk()為第k處偏移區域的貝塞爾曲線響應函數；PTk為原圖像第k處偏移區域顏色預扭曲后的所有顏色強度集合。

對于原圖像K處偏移區域以外的顏色強度，其顏色預扭曲校正補償變換如式(15)所示。

PT0=B(F(P0))

(15)

式中：P0為原圖像K處偏移區域以外顏色預扭曲前的所有顏色強度集合；PT0為原圖像K處偏移區域顏色預扭曲后的所有顏色強度集合。

因此，必然存在式(16)與式(17)。

(16)

(17)

式中：PB為原圖像顏色預扭曲前所有顏色強度集合；PT為原圖像顏色預扭曲后所有顏色強度集合。

由此可推導出式(18)。

(18)

式(18)為原圖像所有顏色強度值的顏色預扭曲校正補償變換。

3 實驗結果

原始圖像如圖3所示。

圖3 原始圖像

原始圖像的像素為1 240×404，長寬比例過大，若要將其投影至墻壁，需要雙通道投影系統。如果兩個不同型號的投影儀構成1×2陣列，那么未顏色校正的雙通道投影顯示圖像必然存在顏色畸變，而且兩個投影畫面的銜接處不會有完美的匹配，如圖4所示。

圖4 未顏色校正的雙通道投影顯示圖像

以R通道為例，兩個投影儀分別依次投影所有像素點R通道的顏色強度分別為25、30、35、…、235、240、245的45幅圖像，另外G、B兩通道的顏色強度始終為0。攝像機依次采集，計算機再進行提取并計算投影畫面R通道的顏色強度均值，再對同一個顏色強度的兩個投影畫面顏色強度進行比較，二者有明顯差異，其中顏色強度的最大差異高達35。

對兩個投影畫面對應的原圖像進行B樣條曲線顏色預扭曲，大部分顏色強度范圍已經得到良好的校正，顏色差異顯著減少，最大的顏色差異為11，減低至原來的31.4%。經B樣條曲線顏色校正的雙通道投影顯示圖像如圖5所示。