基于多模態輸入的對抗式視頻生成方法

于海濤 楊小汕 徐常勝,

1(合肥工業大學計算機與信息學院 合肥 230031)2(模式識別國家重點實驗室(中國科學院自動化研究所) 北京 100190)

視頻的自動生成技術具有廣泛的應用前景，例如視頻編輯、增強現實、電影和游戲制作等.早期針對圖像視頻生成技術的研究主要集中在計算機圖形學領域展開[1-3].最先進的計算機圖形學算法能夠合成逼真的照片和視頻，但這些技術需要依賴于專用的設計軟件和大量專家的手工勞動，而且通常被限制在特定的人物、物體或者場景.近年來，隨著深度學習技術在物體檢測、行為識別等領域取得突破性進展[4-6]，視頻生成這一更具有挑戰性的問題逐漸走入了計算機視覺和多媒體等領域研究人員的視野.實現能夠自動生成真實視頻的人工智能算法是更完備的視覺表觀信息和運動信息理解的一個重要標志.

傳統的深度神經網絡分類模型需要監督式地在大規模標注樣本上進行訓練，而生成對抗網絡(generative adversarial network, GAN)[7]通過對抗式地訓練生成式網絡和判別器網絡來無監督地學習樣本的特征分布，進而可以根據隨機種子，生成真實樣本.基于這一思想，GAN在圖片風格化和圖像生成領域取得了優異性能[8-10]，同時也被應用于視頻生成并成為目前的主流方法[11-14].相比圖像生成算法，視頻生成是一項具有更多挑戰的任務.盡管視頻只比圖像數據多了一個時間維度，但因此帶來的運動信息的動態變化以及視覺內容的多樣性都使得可能生成的結果空間變得十分巨大.此外視頻是對執行各種動作的對象的視覺信息進行時空記錄，生成模型除了要學習對象的外觀模型外，還需要學習對象的物理結構.這些都是視頻生成的困難所在.Vondrick等人[15]把視頻表示為潛在隱空間中的特征點，可以訓練生成網絡來表示從隱空間到視頻片段的映射.Tulyakov等人[12]把視頻的潛在特征空間分解為運動子空間與內容子空間，大大減小了模型的復雜度.但由于這些方法是基于隨機噪聲生成視頻，生成的視頻存在視覺外觀模糊不清、運動信息規律性不強的問題.

針對上述問題，大量基于條件式生成對抗網絡的方法被提出.Li等人[14]提出用自然語言作為輸入條件來指導視頻生成.雖然自然語言對描述視頻中的關鍵內容和主要運動信息有很大的幫助，但是僅用語言作為條件，最終生成的視頻難以準確表達物體背景的細節信息以及長期的動態變化.在一些條件視頻生成[16-18]中，運動軌跡、人臉AUs(action units)值和語義圖等信息分別被作為輸入條件來指導視頻內容生成.雖然這些方法在特定領域的視頻上得到了較好結果，但這些輸入條件的標注仍然需要較為專業的技術人員才能提供.

本文我們希望建立更為簡單、有效的輸入條件來得到更加魯棒、可控的視頻生成模型.為了提供充足的視覺外觀信息，我們采用圖片作為輸入來表達視頻中包含的主要物體和場景信息.考慮到自然語言是人類用于描述事物或者表達意圖的最有效的工具，因此在運動信息方面，我們采用自然語言作為引導.基于以上討論，我們提出基于圖片和文本輸入的多模態對抗式視頻生成模型.一方面，我們將輸入的文本信息通過循環神經網絡進行編碼來提取語義特征.這些語義特征將被解碼為運動特征來輔助視頻中的視覺信息生成和運動信息生成.另一方面，考慮到視頻片段中的物體或者場景在較短時間內通常比較相似，我們學習輸入圖片到視頻幀的仿射變換來得到更為準確和連貫的視頻序列.由于缺乏運動信息的監督標簽，我們采用了生成對抗網絡捕捉幀與幀之間的運動信息，為特征提取網絡提供反饋，使其能夠生成連續有意義的運動特征.

本文的主要貢獻是提出了一個新的多模態對抗式視頻生成模型，將文本信息和圖片信息同時引入視頻生成，使得生成模型更加可控、生成結果更加魯棒.

1 相關工作

我們簡要地將相關工作分為兩大類:圖像生成和視頻生成，下面將分別圍繞這2個方面詳細介紹相關工作.

隨著深度學習在圖像分類和物體檢測領域取得突破性進展，如何生成真實的圖像在人工智能領域也得到了廣泛的研究和分析.最早在2014年Goodfellow等人[7]提出了GAN網絡的理論框架，利用GAN以無監督的方式生成圖像.雖然早期的GAN為圖像生成提供了一個獨特而有前景的方向，但是生成結果存在模糊不清、細節丟失等問題.為了得到高質量的圖像，Denton等人[19]進一步將拉普拉斯金字塔引入GAN.最近，Reed等人[20]利用GAN基于給定的文本描述進行圖像生成，實現了從字符級到像素級的翻譯.Zhang等人[21]將2個生成網絡疊加在一起，逐步渲染出逼真的圖像.CoupledGAN[8]構建了在不同域中生成圖像的模型，可以無監督地將一個域中的圖像轉換為另一個域中的圖像.InfoGAN[22]學習了一種更具解釋性的隱特征來表示圖像.Arjovsky等人[23]提出了一種更穩定的對抗網絡算法框架Wasserstein GAN.

視頻生成在計算機視覺領域并不是一個全新的問題.由于計算、數據和建模工具的限制，早期的視頻生成工作側重于生成動態紋理模式[1-3].近年來，隨著GPU(graphics processing unit)、網絡視頻和深度神經網絡的出現，越來越多的基于深度學習的視頻生成方法被提出.但要將對抗式圖片生成模型擴展到視頻，需要對空間和時間的復雜變化進行描述，這使得問題具有更多的挑戰.最早基于GAN的視頻生成模型是Vondrick等人[15]提出的，該算法采用時空3D反卷積分別生成前景與背景.最近，基于GAN的3D反卷積[13]被進一步分解為1D反卷積層和2D反卷積層來生成視頻.同時大量基于條件式生成對抗網絡的視頻生成方法被提出.Li等人[14]提出了用自然語言編碼來指導視頻生成.Marwah等人[24]采用了循環的VAE(variational autoencoder)和分層的注意機制來通過文本生成圖像序列.Pumarola等人[17]以人臉AUs值和圖片作為輸入，通過無監督的方式訓練，并借助連續變化的AUs值生成動態的表情視頻.Pan等人[18]提出基于語義圖的視頻預測，通過語義圖實現多樣化的圖片生成，同時使用VAE對視頻幀中的運動信息進行編碼，最終生成真實的街景視頻.

根據上述分析，本文的工作是提出了以圖片和文本作為輸入條件的對抗式視頻生成模型.與已有的基于條件對抗網絡的視頻生成方法相比，我們提出的多模態視頻生成方法的輸入條件更簡潔、有效.

2 多模態對抗視頻生成方法

圖1顯示了本文所使用的基于多模態輸入的條件視頻生成模型的框架圖.整個網絡結構由5個子網絡組成，包括文本特征編碼網絡RT、運動特征解碼網絡DV、圖片生成網絡GI、圖片判別網絡DI、視頻判別網絡DV.整個網絡基于GAN框架進行訓練.

Fig. 1 Framework of antagonistic video generation method based on multimodal input圖1 基于多模態輸入的對抗式視頻生成方法框架

文本特征編碼網絡DV用于提取輸入文本的語義特征，運動特征解碼網絡Rm根據文本的語義特征進一步生成運動特征來表達目標的運動信息.圖片生成網絡GI能夠根據輸入圖片和對應的運動特征生成最終的視頻幀.在對抗式訓練中，視頻判別網絡DV用于捕捉幀與幀之間的運動信息，從而為圖片生成網絡GI，文本特征編碼網絡RT和運動特征解碼網絡Rm提供反饋.而圖片判別網絡DI則專注于單幀圖片的視覺內容判別，為輸出更清晰的圖片增加更多的細節約束.每個模塊的實現細節將在后面章節進行詳細介紹.

2.1 文本特征編碼網絡RT和運動特征解碼網絡Rm

長短期記憶網絡(long short term memory, LSTM)是一種針對序列型數據而設計的前饋神經網絡，主要用來處理序列有關數.其通過在相鄰時刻的隱藏層神經元之間加入連接形成循環結構，LSTM可以重復利用之前時刻的歷史信息，為了提取文本的語義特征以及圖像序列的運動特征，本文采用LSTM搭建了文本特征編碼網絡RT和運動特征解碼網絡Rm.

本文提出的模型中，我們通過圖片輸入得到待生成目標的視覺內容信息.但要想生成視覺上連續變化的視頻序列，則還需要為模型引入運動信息.我們使用文本描述來提供運動信息.由于LSTM處理序列數據時的優勢，在自然語言處理(natural language processing, NLP)領域常被用于機器翻譯[25]和句子語義特征提取.類似地，我們采用LSTM搭建了一個編碼-解碼結構.為了處理變長的文本輸入信息，我們用一個LSTM網絡來對文本信息進行編碼，將輸入的文本信息編碼為一個定長向量.同時為了產生前后關聯的運動編碼信息，使用另一個LSTM對定長向量進行解碼，得到一系列的運動編碼信息.具體如下.

首先，描述語句分詞后被表示為詞向量并依次輸入文本特征提取網絡RT，網絡RT是初始狀態為h0的LSTM.最終文本描述語句(W1,W2,…,WK)被表示為最后一個單元對應的隱藏層特征(記為M0).其中網絡RT的初始狀態h0用全0向量表示，Wi為第i個詞向量，K為句子長度.文本特征提取網絡的輸出M0將用于運動特征解碼網絡Rm的輸入.運動特征解碼網絡Rm由另一個LSTM構成.以文本特征M0作為初始狀態，全0向量作為初始輸入，以后每一次的輸入為前一層的輸出，Rm網絡將M0解碼為生成每幀圖像所需的運動特征(M1,M2,…,Mk)，Mi表示第i幀的運動特征，k表示生成視頻的長度，在實驗中我們固定k=16.

2.2 基于圖片和運動特征的視頻幀生成網絡GI

根據Hao等人[16]的研究表明:視頻生成任務需要預測的輸出幀中大部分像素都可以直接從第1幀復制,這些像素只在位置上發生了一定的偏移.而第1幀中的少數像素區域由于被遮擋和劇烈運動等因素，需要用算法重新生成.基于以上分析，本文的視頻生成網絡GI采取與Hao等人類似的分治方法，把要預測的視頻幀分解為變換圖和新生成圖.其中變換圖由輸入圖片根據光流特征扭曲變換得到，而新生成圖由圖片和文本特征直接解碼得到，最后通過合并變換圖和新生成圖得到最終的輸出結果.視頻生成網絡GI的結構如圖2所示.具體實現過程將在下面詳細展開介紹.

Fig. 2 Video generation network based on pictures and motion features圖2 基于圖片和運動特征的視頻幀生成網絡GI

給定圖片I0∈RW×H×N和運動特征Mi∈RDM,i=1,2,…,k，視頻生成網絡GI將輸出當前時刻的視頻幀O∈RW×H×N.對于圖片I0，我們首先用一個具有9個3×3卷積層和3個池化層結構的卷積網絡得到(W8)×(H8)尺度的視覺特征.Mi是一個DM維向量，其在輸入后將被擴展為Mi∈Ri=1,2,…,k，每個大小為(W8)×(H8)的特征通道上的值都相同，以適應圖片的卷積特征的尺度.W和H分別表示圖片的寬和高，N為輸入圖片的通道數.最終擴展后的運動特征將與圖片卷積特征按通道進行合并.

基于合并后的圖片視覺特征和運動特征，我們首先用一個具有9個3×3卷積層和3個反卷積層結構的卷積網絡進行上采樣.最后通過3個不同的卷積層生成3個子圖，包括稠密光流圖D、掩模圖M和新生成圖Oh.其中稠密光流圖D用于描述原始輸入圖片中每個像素的位移情況，掩模圖M用于描述輸入圖片中哪些區域因為遮擋或者目標快速移動需要新生成像素，新生成圖Oh則表示新生成的圖片像素信息.

在得到稠密光流圖D之后，我們采用一個可微分的扭曲變換將輸入圖片I0做仿射變換得到變換圖Of.具體來說，變換圖Of的(x,y)位置的像素值是從原始圖片I0的(x0,y0)=(x+Δx,y+Δy)位置變換得來，其中Dx,y=(Δx,Δy).由于Dx,y生成結果是實數，因此采用雙線性插值來計算變換圖Of中的每個像素值：

(1)

其中,(i,j)是(x0,y0)的四鄰域.

最終輸出圖片可以通過合并變換圖Of和新生成圖Oh來得到:

(2)

2.3 視頻判別器DV和圖片判別器DI

傳統的GAN網絡由2個網絡組成:生成網絡和判別網絡.生成網絡的目的是生成盡可能真實的圖像，而判別網絡的目的是盡可能區分真實圖像和模型生成圖像.這2個網絡在一個最大最小的博弈游戲中不斷優化，共同提升.在實際應用中，生成網絡和判別網絡都被實際化為卷積神經網絡.其目標函數為

(3)

在本文模型中我們在生成圖像的同時還要保證視頻序列之間的動態連貫性.因此我們的網絡框架包含了2個判別器：視頻判別器DV和圖片判別器DI.這2個判別器與生成網絡協同訓練，使得模型能夠提供更為高質量的生成結果.同時我們采用改進的WGAN[23]來穩定模型的訓練.本文模型的優化目標可以表示為

(4)

圖片判別網絡DI采用常規的包含4個3×3卷積層(每層都包含一個池化操作)和1個全連接層的2D卷積網絡來實現.訓練時，當輸入真實圖片時使其輸出1，當輸入由網絡生成的圖片時使其輸出0.而視頻判別網絡DV則采用包含4個3×3卷積層(每層都包含一個池化操作)和1個全連接層的3D卷積網絡來實現.這是因為DV的輸入是連續的k幀圖片，而3D卷積能夠提取其中的時域信息.同樣，當輸入真實視頻時使其輸出1，當輸入由模型生成的視頻時使其輸出0.視頻判別網絡可以捕捉幀與幀之間的動態變化信息，為文本特征編碼網絡RT和運動特征解碼網絡Rm提供反饋.

我們將總損失函數定義為

(5)

其中:

Ii為真實的第i幀圖片，該項使得生成圖片與真實圖片更接近，加快模型收斂速度.

2.4 訓練方式

與傳統的GAN網絡框架相同，我們先訓練圖片判別網絡DI、視頻判別網絡DV，再對抗式地訓練文本特征編碼網絡RT、運動特征解碼網絡Rm、圖片生成網絡GI.我們使用Adam優化器進行訓練，batch size為16，學習率為0.000 5,β1=0.9,β2=0.99.

3 驗證與實驗結果

本文所用數據集示例如圖3所示:

Fig. 3 Dataset examples圖3 數據集示例

3.1 實驗使用數據集介紹

SBMG(single-digit bouncing MNIST gifs)數據集為了驗證模型的有效性，我們采用了和Mittal等人[26]一樣的方法合成動態的手寫數字視頻樣本.SBMG是包含單個數字運動的視頻，每個視頻樣本是由手寫數字數據集MNIST[27]中隨機采樣的圖像生成.對于給定大小為64×64的數字圖像，根據指定運動描述語句(例如數字7上下移動)移動手寫數字對應的白色像素點來模擬生成數字的運動視頻.我們生成了60 000個視頻樣本，每個視頻樣本都對應著一個描述語句.圖3(a)顯示了由數字7構造生成的視頻以及對應的描述語句.實驗中，我們隨機選取50 000個視頻用于訓練，10 000個用于測試.

TBMG(two-digit bouncing MNIST gifs)數據集也是由MNIST數據集中的數字圖片生成.區別在于TBMG是包含2個數字同時運動的視頻.采用MNIST數據集中的2張圖片，按照描述語句移動2張圖片的白色像素區域并疊加得到視頻樣本.TBMG數據集包含30 000個視頻樣本.圖3(b)顯示了由數字4和8構造生成的視頻以及對應的描述語句.實驗中，我們隨機選取25 000個視頻用于訓練，5 000個用于測試.

KTH(kungliga tekniska h?gskolan human actions)數據集為了在更真實的數據集上評估本文模型的性能，使用了KTH數據集[28].這個數據集包含超過2 000個視頻序列，是通過拍攝25個人執行6種不同的動作得到.我們選取人物步行的視頻序列來進行實驗.通過把人物步行的視頻進行切分和人工標記，我們得到了200個包含“從右向左走”和“從左向右走”2種行為的視頻.每個視頻有16幀，視頻幀大小為64×64.圖3(c)顯示了人物“從左向右走”的視頻和其對應的描述語句.實驗中，我們隨機選取175個視頻用于訓練，25個用于測試.

3.2 與現有對比模型評估

為了評估我們的模型，我們與現有的模型Cap2vid[24]和Sync-DRAW[26]進行了比較.Cap2vid通過學習文本與視頻幀之間的長期和短期依賴關系，通過LSTM建模以增量的方式生成視頻.Sync-DRAW使用一個循環的變分自編碼器(R-VAE)和一個分層的注意機制來創建一個隨時間逐漸變化的視頻幀.

Fig. 4 Comparison of effects of different models on SBMG圖4 不同模型在SBMG上的效果對比

圖4顯示了不同方法在SBMG數據集上的數字視頻生成結果.

由圖4可以看到Cap2vid生成的視頻中數字外觀上前后有一定差異.而Sync-DRAW和本文的方法基本保持了原有的內容.

圖5展示了不同方法在TBMG數據集上的數字視頻生成結果.

Fig. 5 Comparison of the effects of different models on TBMG datasets圖5 不同模型在TBMG數據集上的效果對比

由圖5可以看到，Cap2vid僅通過文本生成視頻，生成結果雖然能保持數字的運動，但是數字在前后幀的變化過大.而我們的方法生成的視頻具有更好的清晰度和連貫性.Sync-DRAW方法生成的結果同樣不夠清晰，而我們通過對輸入圖片進行變換得到視頻幀，能夠為生成任務提供更多的細節，同時保證了視頻內容在前后幀的連貫性.

圖6顯示了不同方法在KTH數據集上的結果對比.

Fig. 6 Qualitative comparison of models on KTH圖6 模型在KTH上的定性對比

由圖6可以看到Cap2vid生成的人物姿態過于單一，未能模擬人物行走的完整動作，而Sync-DRAW的生成結果同樣不夠清晰.我們的方法生成的視頻結果在人物的清晰度以及動作的完整性上都有更好的表現.

由于Cap2vid與Sync-DRAW為無監督方法，無法計算定量指標，我們基于模型生成的結果進行了定性比較，同時我們將本文提出的方法與Hao等人[16]提出的方法進行了定量比較.從表1來看，PSNR，SSIM(2個指標值越大越好)都有所提升，其中BMG為SBMG和TBMG的合并.

Table 1 Model Contrast Analysis表1 模型性能量化分析

3.3 模型變體的定性與定量評估

為了驗證本文模型各個組件的有效性，我們設置了模型變體進行對比實驗：圖7(a)基于文本輸入(將圖片輸入置0)的視頻生成方法；圖7(b)基于圖片和文本特征直接解碼生成視頻幀，不采用變換圖與新生成圖合并的方式；圖7(c)本文提出的完整生成模型.

如圖7所示，通過3個方法的實驗對比我們可以看到，僅輸入文本的模型圖7(a)能生成一部分運動信息，但由于缺乏目標的視覺信息，生成視頻過于模糊.模型圖7(b)雖然能夠生成可辨識的視頻結果，但由于生成結果是直接通過解碼圖片和文本特征得到，因此細節信息不如完整模型圖7(c)通過合并變換圖和新生成圖得到的結果.

Fig. 7 Comparison of model variants on KTH datasets圖7 模型變體在KTH數據集上的結果對比

下面我們通過計算預測視頻幀和真實視頻幀之間的PSNR和SSIM[29]指標進一步評估不同模型性能.如表2所示，通過比較SSIM和PSNR，可以看到完整模型圖7(c)在BMG數據集和KTH數據集上的結果都優于模型變體圖7(a)和圖7(b)的結果.圖6和表2中的實驗對比都表明我們提出的多模態輸入更有益于得到魯棒可控的視頻結果.此外，通過把視頻生成結果分解為由輸入圖片變換得到的內容與新生成內容，可以得到更清晰、連貫的視頻序列.

Table 2 Quantitative Analysis of Model Variation and Complete Model

圖8顯示了我們模型更多的生成結果.由圖8可以看出我們的模型在清晰度以及動作的連貫性上都有不錯的表現.

Fig. 8 Model generation results圖8 模型生成結果

4 總結與展望

基于生成對抗網絡的視頻生成算法近年來得到了研究人員的廣泛關注.本文提出一種新的基于多模態輸入的條件式視頻生成模型.一方面基于圖片信息輸入為生成視頻提供更多細節，并基于仿射變換來預測視頻幀;另一方面使用文本特征編碼網絡和運動特征解碼網絡得到運動信息，進而輔助生成網絡輸出連貫的視頻序列.在SBMG，TBMG，KTH數據集上的實驗結果表明，我們的模型在運動連貫性和內容前后一致性上都優于現有的模型.我們的方法使得生成模型更加可控、生成結果更加魯棒.但本文提出的視頻生成算法仍然有很大的改進空間，在未來我們將繼續探索更有效的模型，以適應更為復雜環境下的視頻生成需求.