基于分水嶺分割的超光譜圖像虛擬重建方法

于翠萍，趙志剛

(1.遼東學(xué)院，遼寧 丹東 118001；2.齊魯工業(yè)大學(xué)(山東省科學(xué)院)，山東 濟(jì)南 250014)

1 引言

虛擬現(xiàn)實(shí)技術(shù)最早起源于美國軍事戰(zhàn)場的模型方法，是可以使體驗(yàn)者能夠在虛擬世界獲得真實(shí)感知的一種計(jì)算機(jī)方法。其主要工作原理是通過計(jì)算機(jī)操作方法將虛擬的環(huán)境現(xiàn)實(shí)化。首先通過計(jì)算機(jī)構(gòu)建現(xiàn)實(shí)環(huán)境中的三維立體模型，其次利用編碼將構(gòu)建的立體模型轉(zhuǎn)化成和現(xiàn)實(shí)中一樣可以感知的實(shí)物，以此構(gòu)建了一種沉浸式交互環(huán)境，使體驗(yàn)者在視覺、聽覺和觸覺等方面得到感知。

目前，虛擬現(xiàn)實(shí)技術(shù)的發(fā)展越來越成熟，在現(xiàn)實(shí)生活中的應(yīng)用也越來越廣泛。基于圖像虛擬重建方法也成了研究熱點(diǎn)。針對三維圖像虛擬重建，胡正乙[1]等人提出一種基于RGB-D的室內(nèi)場景實(shí)時(shí)三維重建算法，首先利用RGB-D相機(jī)收集RGB圖像，對研究圖像做哈里斯角點(diǎn)檢測，接著對檢測到的特征點(diǎn)進(jìn)行處理，從而生成64維特征描述子。然后將特征點(diǎn)集合信息和局部的近鄰特征點(diǎn)信息作為約束條件，初步將正確的匹配點(diǎn)對篩選出來，再經(jīng)過去除外點(diǎn)處理后，得到相機(jī)的姿態(tài)估計(jì)。最后利用RGB-D的深度圖像生成三維點(diǎn)云，實(shí)現(xiàn)室內(nèi)場景的三維重建。但是該方法的重建時(shí)間較長，穩(wěn)定性較差。溫佳[2]提出了更適用于干涉高光譜圖像的基于自適應(yīng)閾值的正交匹配追蹤算法(ATROMP)，首先采用分塊處理，然后挑選出干涉條紋塊，根據(jù)水平全變分值提取出圖像中的干涉條紋，進(jìn)行自適應(yīng)采樣，采用一個(gè)自適應(yīng)閾值來代替正則正交匹配追蹤(ROMP)算法中的二次選取，采用自適應(yīng)閾值不僅可以保障每次選取的原子的相關(guān)性足夠高，避免了后續(xù)匹配度更高原子的遺漏，稀疏重建的精度可以得到明顯的提高。

上述方法存在時(shí)效性差、精準(zhǔn)度低問題，無法在提升運(yùn)算速度基礎(chǔ)上提高重建質(zhì)量，因此所提提出了一種基于分水嶺分割的超光譜圖像虛擬重建方法，分水嶺算法對微弱邊緣具有良好的響應(yīng)，圖像中的噪聲、物體表面細(xì)微的灰度變化，都會(huì)產(chǎn)生過度分割的現(xiàn)象。為解決超光譜圖像數(shù)據(jù)量大導(dǎo)致傳輸和存儲困難的問題，將圖像進(jìn)行壓縮處理，同時(shí)為提高壓縮后圖像的成像質(zhì)量和視覺清晰度，將壓縮所得的圖像運(yùn)用分水嶺變化法進(jìn)行圖像分割。最后，以視覺傳達(dá)原理為基礎(chǔ)，總結(jié)出更適合所提方法的三大視覺傳達(dá)原則，結(jié)合空間指示函數(shù)完成超光譜圖像的虛擬重建。

2 超光譜圖像虛擬重建

2.1 超光譜虛擬重建框架

將VisualC++作為方法設(shè)計(jì)平臺，通過對超光譜圖像進(jìn)行分析，給出超光譜圖像虛擬重建構(gòu)架如圖1所示。

圖1 虛擬重建框架

在超光譜圖像[3]虛擬重建方法中，所提以FSL作為總線接口來完成設(shè)備之間的信息傳輸。FSL總線的運(yùn)行主要利用數(shù)據(jù)讀寫來完成的，經(jīng)寄存器和FIFO之間的循環(huán)讀寫過程來實(shí)現(xiàn)通信傳輸，該接口的主要特點(diǎn)為：

1)點(diǎn)對點(diǎn)的單向通信。

2)非共享的通信機(jī)制。

3)支持控制位與數(shù)據(jù)分離的通信。

4)基于FIFO的通信模式。

5)數(shù)據(jù)寬度可配置。

6)擁有超高速通信性能。

經(jīng)實(shí)驗(yàn)表明，數(shù)據(jù)在寄存器和儲存器之間的信息傳輸需要1個(gè)周期即可完成，其主設(shè)備數(shù)據(jù)寫入接口時(shí)序?yàn)閳D2。

圖2 FSL寫入操作接口時(shí)序圖

由圖2可以得到，數(shù)據(jù)在Write1和Write2區(qū)域中是寫入的過程。進(jìn)入Write3時(shí)，數(shù)據(jù)在存儲器中已經(jīng)飽和，寫入的過程也隨之停止，當(dāng)FSL再一次生成數(shù)據(jù)時(shí)，信號會(huì)逐漸減弱，使主設(shè)備重新啟用，并且再次進(jìn)行數(shù)據(jù)寫入。

數(shù)據(jù)讀出是將輸入FIFO的信息傳輸至寄存器完成的，需要2個(gè)周期才能夠完成。得出FSL進(jìn)行數(shù)據(jù)讀出時(shí)，操作接口的時(shí)序圖如圖3。

圖3 FSL讀出操作接口時(shí)序圖

FSL-S=Read為FSL從設(shè)備中所讀出的操作信號。從圖3可以得出，在Read1和Read2區(qū)域內(nèi)是數(shù)據(jù)讀出的過程，當(dāng)存儲器(FIFO)中沒有數(shù)據(jù)信息時(shí)，數(shù)據(jù)的讀出行為就會(huì)隨之停止，當(dāng)儲存器再次處于飽和狀態(tài)時(shí)，F(xiàn)SL也會(huì)再次對數(shù)據(jù)進(jìn)行讀出。

2.2 超光譜圖像預(yù)處理

2.2.1 超光譜圖像壓縮

超光譜圖像一種三維立體圖像，因其數(shù)據(jù)量巨大，導(dǎo)致圖像傳輸和儲存非常困難。因此，需要對超光譜圖像進(jìn)行壓縮[4]來解決以上問題。

當(dāng)圖像的相鄰像素之間相關(guān)性很強(qiáng)時(shí)，就可以利用前面的像素值來預(yù)測當(dāng)前的像素值，將實(shí)際值和預(yù)測值相減就可以得到預(yù)測誤差。對超光譜圖像序列進(jìn)行普間預(yù)測，首先，傳輸未經(jīng)壓縮的超光譜圖像序列1000，當(dāng)做參考幀。其次，輸入圖像1001，參考序列1000進(jìn)行普間預(yù)測，得到波段殘差圖像；最后將處理后的殘差圖像通過信道傳輸，接收到的殘差圖像參考前圖像，經(jīng)過逆預(yù)測后得到恢復(fù)圖像1001。接下來按照上述步驟將前一幀作為后一幀的參考幀，直到一組全部輸完。最后使得處理后的圖像主要剩下干涉條紋，加快了數(shù)據(jù)傳輸?shù)倪^程。

在實(shí)現(xiàn)的操作中，為減少圖像儲存空間，采用整數(shù)小波變換(IWT)的方法對圖像進(jìn)行處理。第二代小波主要的理論依據(jù)是在提升過程中不需要依賴于FOURIER變換，也不需要通過頻譜分析工具處理，可以在時(shí)域中完成對雙正交小波構(gòu)建，同時(shí)在不影響小波雙正交基本特征的基礎(chǔ)上，運(yùn)用提升和對偶提升[5]方法來提高小波以及其對偶性，滿足現(xiàn)實(shí)應(yīng)用需要。小波變化可以通過以下步驟實(shí)現(xiàn)。

設(shè)初始信號為sj，其中j∈Z+，利用Lazy小波變換將信號分為偶數(shù)序列[6]和奇數(shù)序列兩組，如下式

(1)

(2)

在此基礎(chǔ)上，構(gòu)造預(yù)測因子對小波進(jìn)行對偶提升。利用偶數(shù)序列對奇數(shù)序列進(jìn)行預(yù)測，得到的預(yù)測誤差如下

(3)

假設(shè)作M次對偶提升和基本提升可得：

(4)

(5)

綜上所述，用以下方案對圖像進(jìn)行壓縮，將超光譜圖像序列的前一幀作為后一幀的參考圖像，從而進(jìn)行普間預(yù)測，以消除普間的相關(guān)性。接著對處理后所獲得的殘差圖像進(jìn)行整數(shù)小波變換處理，運(yùn)用二值自適應(yīng)算術(shù)編碼對小波系數(shù)進(jìn)行去除空間相關(guān)性操作。得到壓縮框架圖如圖4。

圖4 圖像壓縮方案框架

運(yùn)用二值自適應(yīng)算術(shù)編碼對變換后的系數(shù)進(jìn)行壓縮，與其它編碼相比較，該方法能自動(dòng)控制進(jìn)位擴(kuò)散并且易于硬件實(shí)現(xiàn)。

2.2.2 超光譜圖像分割

圖像分割在圖像處理中起著至關(guān)重要的位置，也對計(jì)算機(jī)視覺領(lǐng)域中低層次視覺效果影響很大。因此，在超光譜圖像虛擬重建方法中，能有效的對圖像進(jìn)行分割處理也尤為重要。現(xiàn)階段關(guān)于圖像分割方法有很多，綜合考慮各方面因素，所提最終選用分水嶺變換法，傳統(tǒng)的分水嶺變換分割法[7]是以浸沒模擬為思路的，而所提采用其另一種“降水”體現(xiàn)方式。其一維模擬過程如圖5所示。

圖5 分水嶺變換模擬過程圖

該方法是一種能夠保持圖像較高灰度性能的分割方法。其實(shí)質(zhì)是在圖像高程表面中去尋找每個(gè)像元最陡的下游路徑。實(shí)現(xiàn)方式主要包括以下兩個(gè)步驟：

1)淹沒階段：選擇固定一水平面的閾值，對圖像進(jìn)行“淹沒”，得到部分初始洼地，減少了噪聲等因素產(chǎn)生的高頻率信息；

2)降水階段：針對沒有歸入上文初始洼地的所有像元，模擬出水滴從山坡滾落洼地的運(yùn)行軌跡，將軌跡下每個(gè)像元都視為同一類。處理過所有像元后，即完成分割。

對圖像分割之后，獲取亞基元。在亞基元基礎(chǔ)上，采用合并代價(jià)準(zhǔn)則函數(shù)對斑塊進(jìn)行合并。該函數(shù)是由合并圖斑[8]的光譜異質(zhì)性參量和形狀異質(zhì)性參量構(gòu)成的，其公式如下

f=w×hcolor+(1-w)×hshape

(6)

式中，w為權(quán)重，其區(qū)間為[0，1]。

光譜異質(zhì)性是通過將合并后的父圖斑標(biāo)準(zhǔn)差與合并前兩個(gè)子圖斑差之和相減得到的，按面積加權(quán)后可得

(7)

式中，c為波段總數(shù)，wc為用戶分配權(quán)重。形狀異質(zhì)性又分為緊致度異質(zhì)性和光滑度異質(zhì)性：

緊致度差異計(jì)算公式為

(8)

光滑度差異計(jì)算公式為

(9)

式(8)、(9)中，l表示為對象的實(shí)際周長，n表示為像元個(gè)數(shù)。b表示為外接矩形的周長。

在圖像合并的過程中，在重復(fù)計(jì)算父圖斑標(biāo)準(zhǔn)差時(shí)，計(jì)算效率較低，為此采用合并后標(biāo)本標(biāo)準(zhǔn)差的快速計(jì)算方式如下

+n1n2(m1-m2)2/nMerge·(nMerge-1)

(10)

確定初始小圖斑和合并代價(jià)函數(shù)后，采用“尺度參數(shù)[9]”控制合并過程，在合并過程中所有圖斑待合并代價(jià)都大于尺度參數(shù)的平方，則合并過程結(jié)束，從而完成整個(gè)圖像分割流程，反之，重新計(jì)算圖斑并使用圖5方法再次進(jìn)行合并，直到條件滿足。

圖6 分割流程圖

2.3 視覺傳達(dá)下超光譜圖像重建算法

傳播過程是一種說服過程，其中的五種基本要素：傳播者、信息、媒介、受傳者和傳播效果是傳播活動(dòng)得以發(fā)生的精髓。綜合5W模式的研究并以此為基礎(chǔ)，總結(jié)出更適用于本文超光譜虛擬重建方法的視覺傳達(dá)原則如下：

1)對視覺呈現(xiàn)過程進(jìn)行分析。人的視覺行為除了眼睛的參與，還包括大腦。大腦對看見的事物有什么特點(diǎn)，是否值得對其給予關(guān)注起著主導(dǎo)作用。因此，需要在設(shè)計(jì)中充分掌握事物的真實(shí)形態(tài)，實(shí)現(xiàn)具有主觀能動(dòng)性的視覺行為。同時(shí)要準(zhǔn)確體現(xiàn)出事物的色彩、亮度等屬性，來使其色彩具有恒常性。

2)視覺的最終呈現(xiàn)結(jié)果與視覺傳達(dá)的實(shí)際效果緊密相關(guān)。例如在立體空間知覺方面，三維物體在視覺上會(huì)表現(xiàn)出立體感和距離感，因此在對圖像虛擬重建的過程中，需要考慮到距離的遠(yuǎn)近會(huì)對人的視覺器官產(chǎn)生影響導(dǎo)致體驗(yàn)者的三維感知體驗(yàn)感發(fā)生改變。

3)在視覺認(rèn)知方面，重建方法應(yīng)考慮到受傳者主要的關(guān)注內(nèi)容、對相似視覺元素隱喻式的聯(lián)想，隱喻式聯(lián)想是通過已知事物認(rèn)識新事物的橋梁，現(xiàn)階段已經(jīng)成為了一種非常有效的人機(jī)交互[10]手段。

利用以上設(shè)計(jì)原則總結(jié)出了以下基于視覺傳達(dá)的超光譜圖像重建算法。

設(shè)V(p)為圖像I中的一組圖片，V*(p)作為經(jīng)過無用圖像閾值[11]處理后的圖片組，計(jì)算方法分別為

V*(p)={I|I∈V(p)，h(p，I，R(p))≤α}

(11)

式(11)中：p為面片；γα表示調(diào)整因子；R(p)為p的參考圖像。p的度量函數(shù)為

(12)

(13)

為得到更好的圖片組V*(p)，通過下式對其進(jìn)行面片過濾

(14)

式中，U(p)為不符合可見信息的所有圖片片面集合。如果設(shè)M為一個(gè)實(shí)驗(yàn)?zāi)Ｐ停瑒t在模型重建過程中所采用的空間指示函數(shù)[12]如下

(15)

3 實(shí)驗(yàn)分析

為證明所提虛擬重建方法的有效性，在VisualC++上搭建虛擬重建仿真平臺，同時(shí)完成方法的界面設(shè)計(jì)、算法編程及方法的集成。

圖7 白色矩形目標(biāo)分割檢測結(jié)果

由上圖可以看出，分水嶺算法通過合適的種子點(diǎn)選取，能夠準(zhǔn)確地對不同地面物體圖像進(jìn)行分割，避免了過分割現(xiàn)象的發(fā)生，并能夠分割兩個(gè)相鄰很近的相似物體。

將兩種方法進(jìn)行3次對比試驗(yàn)，將其重建的時(shí)間和加速比進(jìn)行比較。加速比是評價(jià)并行計(jì)算的最重要的性能指標(biāo)，是用來衡量串行運(yùn)算和并行運(yùn)算時(shí)間之間的關(guān)系，它表示為串行時(shí)間T串行與并行時(shí)間T并行的比：

(16)

式中，p表示線性加速度。

結(jié)果如下表所示：

分析表1可以得到所提重建方法的重建時(shí)間和加速比平均為15s、4.61，均優(yōu)于DICOM圖像虛擬重建方法，重建效率更高，速度更快。

表1 兩種方法重建時(shí)間和加速比對比

虛擬重建方法不僅需要高效率，還需要更高的重建精準(zhǔn)度和清晰度，將上述兩種算法，在3種不同實(shí)驗(yàn)條件下的精準(zhǔn)度和清晰度進(jìn)行對比分析，得到結(jié)果如表2所示。

表2 兩種方法的重建精度和清晰度對比

通過表2可以看出，所提方法重建精度始終在94%以上，且清晰度較高，證明所提重建方法的清晰度和精準(zhǔn)度遠(yuǎn)遠(yuǎn)優(yōu)于DICOM圖像虛擬重建方法算法。

最后為驗(yàn)證所提算法實(shí)際操作的穩(wěn)定性，將兩種算法的穩(wěn)定性進(jìn)行比較，結(jié)果如圖8所示中。

圖8 兩種方法穩(wěn)定性對比

通過圖8對比分析可得與DICOM虛擬重建方法相比所提算法穩(wěn)定性更強(qiáng)，算法穩(wěn)定性接近于100%。

綜上所述，所提提出的基于分水嶺分割的超光譜圖像虛擬重建方法的各項(xiàng)數(shù)據(jù)結(jié)果要優(yōu)于DICOM虛擬重建方法，整體有效性更高，更易于硬件操作，具有更高的應(yīng)用價(jià)值。

4 結(jié)論

針對虛擬重建方法的時(shí)效性差、精準(zhǔn)度低等問題，所提提出了一種基于分水嶺分割的超光譜圖像虛擬重建方法。

1)首先對超光譜圖像進(jìn)行研究分析，將VisualC++作為方法設(shè)計(jì)平臺，給出一個(gè)重建方法整體框架，以FSL作為總線接口來完成設(shè)備之間的通信傳輸。

2)為解決超光譜圖像數(shù)據(jù)量大傳輸和存儲困難的問題，采用普間DPCM和整數(shù)小波變換對圖像進(jìn)行壓縮，將壓縮后的圖像進(jìn)行圖像分割來提高精準(zhǔn)度。

3)最后，以視覺傳達(dá)原理為基礎(chǔ)，總結(jié)出視覺傳達(dá)的基本原則，采用空間指示函數(shù)來完成基于分水嶺分割的超光譜圖像虛擬重建方法的構(gòu)建。通過實(shí)驗(yàn)表明，重建時(shí)間和加速比平均為15s、4.61，重建精度始終在94%以上，且清晰度較高，所提方法穩(wěn)定性更強(qiáng)，算法穩(wěn)定性接近于100%，重建速度更快，精準(zhǔn)度更高，更具實(shí)際應(yīng)用價(jià)值。