基于時空顯著性檢測的3D視頻生成方法

蔡 凱，李新福，田學(xué)東

(河北大學(xué)網(wǎng)絡(luò)空間安全與計算機(jī)學(xué)院，保定 071000)

近年來，得益于計算機(jī)和影視科技的蓬勃發(fā)展，3D技術(shù)已經(jīng)應(yīng)用到人類日常生活中，如醫(yī)療[1]、電影[2]和無人駕駛[3]等領(lǐng)域。

目前，有兩種主流的3D內(nèi)容生成方法：一是研究人員使用電腦成像工具和同步相機(jī)生成3D圖像或視頻，但這種方法不僅費時，而且價格昂貴；二是通過使用深度圖(depth map)生成3D內(nèi)容，這種方法可以分為人工法、半自動法和全自動法。人工法是通過人工手動為圖像/視頻分配深度值，使用這種方法所生成的3D內(nèi)容質(zhì)量最高，但是所耗費的精力和財力都遠(yuǎn)超其他方法[4]。半自動法是通過人工干預(yù)計算機(jī)進(jìn)行2D-3D轉(zhuǎn)換，這種方法比人工法更具效率，但是同樣需要額外的人工和時間開銷[5]。全自動法需要少量或完全不需要人工干預(yù)就能生成3D內(nèi)容，全程由計算機(jī)負(fù)責(zé)，這樣不僅提高了速度，而且可以節(jié)省很多資源[6]。

為了更好地將2D-3D轉(zhuǎn)換技術(shù)應(yīng)用到日常生活當(dāng)中，研究人員在基于深度圖的全自動轉(zhuǎn)換方法上投入了大量的精力，但是，最重要的深度圖獲取問題依然沒有解決，因為在某些場景中獲取深度線索非常困難，甚至是不可能的。例如，在復(fù)雜場景中，由于圖像中夾雜著大量的合成部分和文本信息，這些信息相較于自然場景更難以獲得深度，因此為極其復(fù)雜的圖像分配深度值是十分困難的。

近年來，隨著深度學(xué)習(xí)的興起，研究人員使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)生成深度圖[7-9]。周武杰等[7]為了利用不同尺度的深度信息，使用殘差網(wǎng)絡(luò)進(jìn)行深度圖估計；Im等[8]使用融合了幾何變換的殘差光流計算深度圖，以解決在低亮度條件下深度圖像獲取不準(zhǔn)確的問題；Zhou等[9]提出一種使用三維幾何約束的無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，擺脫了對真實深度值和相對運動變化的依賴；文獻(xiàn)[10]并沒有使用深度圖生成3D內(nèi)容，而是在輸入一張圖像并將其作為左眼圖像后，通過CNN直接學(xué)習(xí)和預(yù)測另一幅圖作為右眼圖像。雖然在引入深度學(xué)習(xí)方法后預(yù)測精度相較于此前有所提高，但是沒有充分利用光流場等信息的方法依然無法生成高質(zhì)量的深度圖，而在模型中融合了光流信息的方法對硬件要求較高，并且十分耗時。

為了避開在生成3D內(nèi)容時深度圖獲取困難的問題，使用顯著性檢測進(jìn)行2D-3D轉(zhuǎn)換。顯著性檢測的任務(wù)是在一副圖像中檢測出最引人注意的目標(biāo)/區(qū)域，這種機(jī)制可以為基于視覺信息的處理任務(wù)提供很大幫助。因此，可以利用顯著性檢測的性質(zhì)與特點，將顯著圖作為另一種深度圖進(jìn)行2D-3D轉(zhuǎn)換，使顯著性高的物體更靠近觀察者，令人不感興趣的物體遠(yuǎn)離觀察者。雖然已有研究者[11]嘗試過將視覺注意力模型應(yīng)用到2D-3D轉(zhuǎn)換當(dāng)中，但是研究人員只說明了這種方法的可行性，并沒有更進(jìn)一步完善研究方法。為此，使用深度學(xué)習(xí)方法進(jìn)行顯著性檢測來提高性能，并在模型中融入時間信息，使本文方法更適用于動態(tài)3D內(nèi)容生成。在預(yù)測顯著圖的過程中，模型為每一幀使用多尺度空洞卷積進(jìn)行空間特征提取，并且在對時間序列分析時使用了改進(jìn)的雙向ConvLSTM(refine bidirectional convolutional long short-term memory，RB-ConvLSTM)，該模塊并沒有包含費時的光流檢測等模塊，因此在運行效率上也可以得到保證。

1 基本原理

使用顯著性檢測進(jìn)行2D-3D轉(zhuǎn)換的基本流程如圖1所示。主要側(cè)重點在于生成有利于進(jìn)行3D視頻生成的顯著圖，因此視差計算和3D圖像繪制的具體實現(xiàn)可以參考文獻(xiàn)[11-13]。

圖1 2D-3D轉(zhuǎn)換流程

1.1 顯著性檢測

1.1.1 結(jié)構(gòu)總覽

使用一種空洞卷積和卷積長短期記憶單元相結(jié)合的方法進(jìn)行顯著性目標(biāo)檢測(圖2)。整體模型主要分為兩部分；第一部分通過空洞卷積在多尺度下進(jìn)行空間特征提取，其作用是在不易丟失細(xì)節(jié)的情況下融合全局和局部特征；第二部分為改進(jìn)的雙向ConvLSTM模塊，ConvLSTM作為基本LSTM的增強(qiáng)變體，可以在視頻幀中同時提取時空信息，在ConvLSTM的基礎(chǔ)上融入了正序和倒序兩個方向的信息以進(jìn)一步提高模型的特征抽象能力。

圖2 網(wǎng)絡(luò)框架總覽

1.1.2 空間特征提取

在典型的卷積神經(jīng)網(wǎng)絡(luò)中，模型是由一組帶有非線性激活函數(shù)的卷積層和池化層構(gòu)成。雖然池化層可以有效地增大感受野，但是對像素級預(yù)測任務(wù)來說，使用池化層進(jìn)行下采樣會造成細(xì)節(jié)信息丟失，甚至?xí)?dǎo)致目標(biāo)較小的物體無法重建。最近，研究人員通過使用空洞卷積[14-15]作為替代品進(jìn)行特征提取，這種方法在任何尺度下計算特征時都不易造成細(xì)節(jié)丟失，原因是使用空洞卷積進(jìn)行計算時不需要池化層便能增大感受野，讓每個卷積輸出都包含較大范圍的信息。

多尺度特征提取方法是CNN中常用的提高模型精度的手段。由文獻(xiàn)[16-17]可知，多尺度自然信息對顯著性檢測至關(guān)重要。因此，決定使用一種金字塔空洞卷積結(jié)構(gòu)對視頻幀進(jìn)行空間特征提取。這種結(jié)構(gòu)通過使用不同空洞率的空洞卷積核提取不同尺度的空間特征，然后將這些特征圖連接起來并輸出最終的空間特征圖。

Fl=Cl?T

(1)

式(1)中：?表示空洞卷積操作。

由式(1)可以看出，在T保持不變的情況下，輸出特征圖只與空洞卷積核的尺寸和空洞率有關(guān)。雖然每一幅輸出特征圖的大小都是相同的，但是由于空洞率的不同，感受野的大小也各不相同，甚至有時感受野的大小會超過輸入圖像，這就像在不同的距離觀察圖像一樣，距離過遠(yuǎn)或過近都不會看到物體的全部信息，只有從合適的距離和背景下才能得到有效的顯著性物體/區(qū)域。

P=[F1,F2,…,Fl]

(2)

式(2)中：[,]代表連接操作；P為進(jìn)行連接操作后得到的特征圖。

文獻(xiàn)[18]研究發(fā)現(xiàn)深度網(wǎng)絡(luò)中存在一種退化問題，并通過深度殘差框架來解決了這一問題。深度殘差框架也同樣適用于本文模型，因此也將源輸入特征圖T加入到了連接操作當(dāng)中，即

P=[T,F1,F2,…,Fl]

(3)

1.1.3 時空特征提取

ConvLSTM對比傳統(tǒng)的LSTM[20]，在計算過程中添加了卷積操作，使得網(wǎng)絡(luò)模型在提取空間特征的同時又保存了時間信息，因此ConvLSTM在許多需要利用時空信息的任務(wù)中扮演著重要的角色[21-22]。ConvLSTM主要由四部分組成：記憶細(xì)胞ct、輸入門it、輸出門ot和遺忘門ft。ct是一種狀態(tài)累加器，由其他三部分it、ot和ft控制。當(dāng)輸入門處于打開狀態(tài)時，輸入的新數(shù)據(jù)就會累加入ct。同理，當(dāng)遺忘門被激活時，過去的細(xì)胞狀態(tài)ct-1就會被丟棄。最終的隱層狀態(tài)Ht-1是否會被當(dāng)前細(xì)胞狀態(tài)影響取決于輸出門ot。由上所述，ConvLSTM可以表示為

(4)

式(4)中：⊙表示卷積操作；*表示矩陣哈達(dá)馬乘積；σ(·)表示sigmoid激活函數(shù)。

(5)

式(5)中：Hf和Hb表示前向和后向ConvLSTM的隱層狀態(tài)；Yt表示在融合了雙向的時空信息之后所輸出的最終顯著圖；tanh(·)表示tanh激活函數(shù)。

為了提取出更為有效的時空信息，RB-ConvLSTM采用空洞卷積代替?zhèn)鹘y(tǒng)的卷積操作進(jìn)行多尺度特征提取，這樣時空特征提取模塊的名稱就可以叫做改進(jìn)的雙向ConvLSTM(RB-ConvLSTM)。采用兩組RB-ConvLSTM模塊用于在不同尺度下進(jìn)行特征提取。在RB-ConvLSTM中，使用?替換在式(4)中所使用的⊙運算符以表示空洞卷積操作，并且在不同的RB-ConvLSTM模塊中使用不同的空洞率，以便模型在不同大小的感受野下提取最適合任務(wù)的特征。時空特征提取模塊結(jié)構(gòu)圖如圖3所示。

P表示由空間特征提取模塊輸出的特征圖；Y表示經(jīng)過雙向ConvLSTM單元后連接而成的輸出圖

1.2 使用顯著圖進(jìn)行2D-3D轉(zhuǎn)換

在使用顯著圖進(jìn)行2D-3D轉(zhuǎn)換時，視差計算和基于顯著圖的圖像繪制與基于深度圖的方法的計算步驟基本相同，這是因為雖然顯著性檢測和深度圖預(yù)測是兩個不同的領(lǐng)域，但是由這兩種方法所生成的預(yù)測圖(顯著圖和深度圖)在圖像屬性上是相同的，即亮度為0～255的灰度圖像，并且在文獻(xiàn)[11]中已經(jīng)證明了顯著圖用于2D-3D轉(zhuǎn)換的可行性。需要說明的是，基于深度圖的2D-3D轉(zhuǎn)換方法是根據(jù)物體/區(qū)域距離攝像鏡頭的遠(yuǎn)近生成3D內(nèi)容，而基于顯著圖的方法則是根據(jù)人眼對目標(biāo)/區(qū)域感興趣與否進(jìn)行2D-3D轉(zhuǎn)換。

在進(jìn)行視差計算時，本文方法與傳統(tǒng)方法差別不大。令圖中像素點在(x,y)處的視差值為R(x,y)，則：

(6)

2 實驗

2.1 網(wǎng)絡(luò)實現(xiàn)及訓(xùn)練細(xì)節(jié)

2.1.1 實現(xiàn)細(xì)節(jié)

在實驗中，模型使用文獻(xiàn)[23]中的前5個卷積層作為基礎(chǔ)網(wǎng)絡(luò)，并在訓(xùn)練過程中對其進(jìn)行微調(diào)以適應(yīng)本次任務(wù)。每輸入一張尺寸為473×473的視頻幀S，基礎(chǔ)網(wǎng)絡(luò)就會輸出一張?zhí)卣鲌DT?R60×60×2 048，隨后將T輸送至下一模塊進(jìn)行空間特征提取。

RB-ConvLSTM的任務(wù)是從P中提取時空信息。兩組并聯(lián)的RB-ConvLSTM在兩個尺度下對P進(jìn)行特征提取，兩組的空洞率分別為1和2。值得注意的是，空洞率為1的卷積核沒有“洞”，可將其視為普通的卷積核。每一幀經(jīng)過兩組并聯(lián)的RB-ConvLSTM的計算后連接得到尺寸為60×60×64的特征圖，之后由一個1×1×1的卷積操作和sigmod函數(shù)激活后得到最終的顯著圖，最后通過上采樣將顯著圖恢復(fù)至與原視頻幀相同的尺寸。

2.1.2 訓(xùn)練細(xì)節(jié)

在本次實驗中，網(wǎng)絡(luò)訓(xùn)練被分為三步。首先，使用一個靜態(tài)圖像顯著性檢測數(shù)據(jù)集MSRA10K[24]和一個視頻顯著性數(shù)據(jù)集DAVIS[25]訓(xùn)練空間特征部分，通過隨機(jī)梯度下降(stochastic gradient descent，SGD)算法優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)為1×10-8。隨后將時空特征部分的學(xué)習(xí)率設(shè)置為1×10-6，再次利用上述兩個數(shù)據(jù)集訓(xùn)練整個模型。最后，固定空間特征部分的參數(shù)值使其保持不變，然后利用DAVIS對時空特征部分進(jìn)行微調(diào)，學(xué)習(xí)率為1×10-6。實驗所用的編程語言為Python，深度學(xué)習(xí)框架為Caffe toolbox。訓(xùn)練中動量和權(quán)重衰減率分別為0.9和5×10-4，視頻幀批量大小為5。

2.2 數(shù)據(jù)集及評價方法

2.2.1 數(shù)據(jù)集

對比實驗采用的數(shù)據(jù)集為DAVIS和FBMS[26]，DAVIS中包含了50個高質(zhì)量、具有挑戰(zhàn)性的視頻序列，這些視頻序列總共由3 455個視頻幀組成，并且每一個視頻幀都有一張與之相對應(yīng)的真值圖G。使用其中的30個視頻、共計2 079個視頻幀作為訓(xùn)練集，其余的20個視頻作為測試集。FBMS數(shù)據(jù)集由59個正常拍攝的視頻組成，使用其中29組視頻序列訓(xùn)練模型，將另外30組用于測試。

2.2.2 評價方法

在評價顯著性檢測模型的表現(xiàn)時，有三種應(yīng)用廣泛的度量標(biāo)準(zhǔn)，即精度-召回率曲線、F度量(F-measure)和平均絕對誤差(mean absolute error，MAE)。在精度-召回率曲線中，精度表示預(yù)測正確的顯著性像素所占的百分比，召回率表示真值圖中顯著性像素被正確預(yù)測的比例。F度量被用于衡量模型的總體表現(xiàn)，模型的F度量值越高，性能越好。

(7)

式(7)中：ωβ為以β為權(quán)重參數(shù)的F度量值；Aprecision和Arecall分別表示精度和召回率。根據(jù)文獻(xiàn)[27]將β值設(shè)置為0.3，原因是人們認(rèn)為精度比召回率更重要。MAE表示預(yù)測圖與真值圖絕對誤差，系統(tǒng)的MAE值越低，表現(xiàn)越優(yōu)。

(8)

2.3 實驗結(jié)果比較與分析

使用DSS[28]和FCNS[29]作為實驗對比對象。DSS是一種靜態(tài)圖像顯著性檢測網(wǎng)絡(luò)模型，該模型中使用嵌套邊緣檢測器(holistically-nested edge detector，HED)提取物體/區(qū)域邊緣，并在HED中加入了短連接以便提取多尺度特征。FCNS采取了一種聯(lián)立兩個全卷積網(wǎng)絡(luò)(fully convolutional neural network，F(xiàn)CN)的策略進(jìn)行視頻顯著性檢測，其中一個FCN用于空間特征提取，相應(yīng)的，時間特征提取的任務(wù)便由另外一個FCN承擔(dān)。在表1、圖4中給出了對比實驗的數(shù)據(jù)結(jié)果。

表1 不同算法在兩種數(shù)據(jù)集上的量化分析

從表1可以看出，無論在DAVIS還是FBMS中，本文方法在F度量和MAE上都領(lǐng)先于其他兩種模型。通過觀察圖4可以發(fā)現(xiàn)，本文方法的曲線在大部分情況下都位于另外兩條曲線的上方，由此也可以說明本文方法有更好的預(yù)測能力。值得一提的是，DSS作為靜態(tài)圖顯著性模型，在FBMS數(shù)據(jù)集上的定量評價要優(yōu)于FCNS。

圖4 不同算法在DAVIS和FBMS上的精度-召回率曲線

圖5列出了在測試集中本文方法、FCNS、DSS這3種方法的部分視覺效果對比圖。從圖5可以發(fā)現(xiàn)，由本文方法生成的顯著圖擁有更好的視覺效果，這種效果在進(jìn)行2D-3D轉(zhuǎn)換時是至關(guān)重要的，并且從效果圖中也可以看出本文方法在處理低對比度和多細(xì)節(jié)場景時具有很好的表現(xiàn)力。

圖5 不同算法生成的顯著圖的視覺效果對比

圖6展示了由本文方法在DAVIS數(shù)據(jù)集上生成的3D視覺效果圖。從圖6可以看出，在顯著性較高的區(qū)域/物體上有良好的3D視覺效果，說明本文方法在生成3D視頻時具有可行性。

圖6 紅-藍(lán)3D內(nèi)容

3 結(jié)論

(1)本算法在生成3D視頻時，使用顯著圖代替深度圖進(jìn)行視差計算和3D圖像繪制，從而避開了在傳統(tǒng)轉(zhuǎn)換方法中深度圖生成難的問題。

(2)在顯著性檢測模型中運用了深度學(xué)習(xí)的方法，這種方法可以從圖像中自動提取特征，此能力是傳統(tǒng)顯著性檢測方法所不具備的。在模型的空間特征提取模塊中應(yīng)用了多尺度空洞卷積，這對增強(qiáng)網(wǎng)絡(luò)模型的細(xì)節(jié)保存能力起到了重要的作用。在模型中還融合了時間信息提取模塊，這樣做可以使生成的3D視頻擁有更流暢的視覺效果。實驗表明本文算法在低對比度和多細(xì)節(jié)場景中表現(xiàn)良好，并且在兩個數(shù)據(jù)集的定量分析中優(yōu)于另外兩個知名算法，所產(chǎn)生的3D內(nèi)容也具有令人舒適的視覺效果，論證了將視頻顯著性檢測應(yīng)用于3D視頻生成的可行性。

(3)由于模型比較復(fù)雜，在低配置設(shè)備上進(jìn)行訓(xùn)練和測試相對困難，因此在以后的工作中將致力于在精簡模型的同時保證性能，以提高應(yīng)用的廣泛性。