全相關約束下的變分層次自編碼模型

陳亞瑞，胡世凱，徐肖陽，張 奇

(天津科技大學人工智能學院，天津300457)

深度學習的發展需要探索數據特征并解釋其內在規律。在深度學習領域對學習揭露數據特征內在規律的可解釋性表示的研究并不多。這種可解釋性表示可以讓人們觀察到原始數據的特征表示并能夠捕捉與最終任務相關的潛在(抽象或高級)生成因素，同時忽略不合理或無用的因素。這種可解釋性表示在機器學習算法和深度學習算法的研究中發揮著重要作用[1]。這種表示不僅對監督學習和強化學習等標準下游任務有用，而且對那些人類擅長而機器不擅長的任務也有非常大的幫助，比如遷移學習和零樣本學習等[2]。

解耦表示學習是深度學習領域中學習數據特征的可解釋性表示的探索研究。假設數據由多個維度且數量固定的獨立生成因子生成，其中一個維度的變化只對應一個數據的變化[3]。解耦表示學習旨在按照人類能夠理解的方式從真實數據中對具有明確物理含義的生成因子(如類別、位置、外觀、紋理等)進行解耦，并給出其對應的獨立表示。解耦表示學習不僅在探索數據的可解釋性方面存在顯著優勢，而且應用場景廣闊，比如圖像編輯、圖像生成和3D 建模等。解耦表示學習逐漸成為深度學習領域的重要研究方向并引起國內外眾多學者的廣泛關注[4]。

早期的解耦表示學習研究可以追溯到獨立成分分析(independent component algorithm，ICA)。該方法假設信號是由多種獨立成分線性疊加而成，線性解耦方法的應用范圍和深度都極為有限[4]。隨著深度學習研究的不斷深入，基于神經網絡的深度生成模型在數據(尤其是圖像)解耦表示學習方面顯示出巨大的前景，比如在推薦領域中的挖掘用戶多樣偏好。在解耦表示學習的發展初期，研究者們大多以監督學習或者半監督學習的方式在帶有標簽或者少量標簽的數據集上進行解耦表示學習的研究。由于數據量的不斷擴大導致人工標注的成本不斷增加，同時人工標簽還存在可能與實際數據不一致或遺漏人類難以識別的因素等缺點，因此研究者們越來越注重以無監督的方式進行解耦表示學習的研究。

隨著相關研究的不斷深入，越來越多無監督方式的解耦表示學習算法被提出，其中兩種主流的研究思路是以生成對抗網絡(generative adversarial nets，GAN)[5]和變分自編碼(variational auto-encoder，VAE)模型[6]作為基礎進行解耦研究。基于GAN 的解耦表示學習模型有信息最大化生成對抗網絡(information maximizing generative adversarial nets，Info-GAN)和信息蒸餾生成對抗網絡(information-distillation generative adversarial network，ID-GAN)。GAN 模型只注重數據生成過程而缺乏推理過程，并且還存在模型坍塌的問題，這些都妨礙了GAN 模型在解耦表示學習領域的發展。VAE 模型有完整的推理過程和生成過程，這為解耦表示學習的研究打下了良好的基礎。

Higgins 等[9]在2017 年提出了β-VAE 模型，它是在VAE 模型損失函數的KL 項上添加一個額外的并且大于1 的超參數β，這可以使模型學習到具有統計獨立性的隱變量，從而使模型具有一定的解耦表示學習能力。但是，大于1 的超參數β 會降低重構誤差的權重，導致模型重建數據的能力較差，即生成圖片的質量較低。Burgess 等[10]通過在訓練過程中逐漸增加隱變量的信息容量，解決了β-VAE 模型不能很好地平衡重建數據質量和解耦表示學習能力的問題。Chen 等[11]提出了β-TCVAE(β-total correlation variational auto-encoder)模型，它將VAE 模型的KL 項分解為3 項，其中的全相關項(total correlation，TC)是模型解耦能力大小的關鍵。β-TCVAE 模型通過一個大于1 的超參數β 加大TC 項在模型訓練中的權重，使模型的解耦表示學習能力得到大幅度提高。在計算TC 項時，β-TCVAE 模型基于重要性采樣的思想對批量樣本進行加權采樣，這種方式具有簡單、高效且模型訓練穩定的優點。

Kim 等[2]提出的Factor-VAE 模型將VAE 模型損失函數的KL 項分解為兩項，分別為數據與隱變量之間的互信息、隱變量的聚合后驗分布和先驗分布之間的KL 散度。本課題組認為加重第二項的權重可以顯著提升模型的解耦表示學習能力，但不同的是本研究并沒有直接加重第二項的權重，而是在VAE 模型損失函數不變的情況下，加入一項TC 項作為約束隱變量的正則化項，這同樣可以促使隱空間中各維度之間互相獨立，從而激勵模型學習更好地解耦表示學習能力。這類通過探索隱空間進行解耦表示學習研究的模型可以總結為基于非結構化先驗的解耦表示學習模型。

對于解耦表示學習，Montero 等[12]提出了不同的思路，他們認為設計由人類認知過程啟發的高度顯示結構化的網絡模型對解耦表示學習進行研究尤為重要。通過現實世界中許多自然數據本身所特有的成分分層特性，設計搭建了層次深度梯形網絡模型，通過組合較低層的語義特征獲得較高層的語義特征表示[4]，這可以總結為基于結構先驗的解耦表示學習模型。典型的模型有S?nderby 等[13]將層次深度梯形網絡與變分自編碼器結合，提出了層次變分自編碼(ladder variational auto-encoders，LVAE)模型。與傳統VAE 模型不同，LVAE 模型提出推理與生成模型共享自頂向下的依賴結構，使模型的推理過程只用簡單的先驗分布，將優化過程變得更加容易。

LVAE 建立的層次網絡結構有局限性：如果這些模型可以訓練為最優，那么第一層的信息就足以重建數據分布，而第一層之上的層可以忽略。Zhao 等[14]提出變分層次自編碼(variational ladder autoencoders，VLAE)模型。該模型將不同層次的隱變量與具有不同表達能力(深度)的網絡連接，鼓勵模型在頂部放置高層次、抽象的特征(如身份特征等)，在底部放置低層次、簡單的特征(如邊緣特征等)。這種模型設計使得越高層、越抽象的特征需要越復雜的網絡捕獲，在不需要特定先驗知識的情況下，能夠學習高度可解釋的、解耦的層次特征[4]。

本文在基于VLAE 模型框架下提出了全相關約束下的變分層次自編碼(variational ladder autoencoder based on total correlation，TC-VLAE)模型，該模型融合了基于非結構先驗和結構先驗兩種方法。TC-VLAE 模型基于層次化的變分自編碼模型，層次化的網絡模型可以實現層次之間的解耦。在每一層的隱空間中都加入非結構先驗的TC 項作為正則化項，TC 項可以促進每一層隱空間中各個維度的隱變量之間相互獨立，從而實現單個層內部的解耦。TCVLAE 模型同時實現了層級之間和層級內部的解耦。TC-VLAE 模型在訓練時使用漸進式的訓練算法訓練模型，如Karras 等[15]和Wang 等[16]的工作。漸進式的訓練算法通過分步訓練，將多層隱變量逐步加入模型訓練中，充分發揮層次化模型的優勢，有利于模型的穩定訓練。同時，使用隨機梯度下降算法求解模型參數。為了驗證模型的有效性，分別在3Dshapes 數據集、3Dchairs 數據集、CelebA 數據集和dSprites 數據集上設計實驗，驗證TC-VLAE 模型具有更好的解耦表示學習能力。

1 變分層次自編碼模型

變分層次自編碼模型(VLAE)是在變分自編碼模型的基礎上引入層次化結構先驗，將隱變量分解到不同層次上，利用層次結構進行解耦表示學習。

VLAE 將隱變量 z 分解為 L 部分 z={z1,z2,…,zL}，每部分隱變量構成模型的一層，其具體網絡結構如圖1 所示。圖1 是一個有L 層隱變量的VLAE 模型的網絡架構，其中x 代表可觀測數據，z 表示隱變量，菱形表示確定性的節點，hl和分別表示相應層深度神經網絡的確定性輸出。

圖1 VLAE網絡結構Fig.1 VLAE network structure

模型的推理過程為

其中：l=1,… ,L，表示VLAE 模型的隱變量層次，gl、μl、σl表示每層所用的神經網絡，令 h0≡x。

模型的生成過程為

其中：fL作為解碼器是參數化的神經網絡，[；]表示兩個向量的連接，vl、ul表示神經網絡。

模型的推理過程：模型的輸入數據x 通過神經網絡 g1得到 h1，如式(1)所示。h1一方面向左通過神經網絡μ1、σ1得到第1 層的隱變量 z1，如式(2)所示；另一方面向上通過神經網絡 g2得到 h2。在第2 層 h2執行與第1 層相同的操作，得到第2 層的隱變量 z2和 h3。以此類推直到第L 層，得到L 層的隱變量z1,z2,…,zL。

模型的生成過程：從網絡結構的最頂層第L 層開始，首先是第L 層的隱變量 zL經過采樣等操作再通過神經網絡 fL得到，如式(3)所示。第L-1 層的隱變量zL-1也經過采樣等操作再通過神經網絡vL-1，得到的結果vL-1(zL-1)與相連接并再次通過神經網絡uL-1得到zL-1，如式(4)所示，直到求出。此時的就相當于VAE 中的隱變量，對其進行采樣、重參數化等操作即可重構圖像數據x。VLAE 模型在訓練時使用傳統VAE 模型的損失函數。

2 本文模型

TC-VLAE 模型在變分層次自編碼模型基礎上，通過在每層隱變量增加TC 正則化先驗約束，促使每一層的隱變量都具有解耦表示學習能力，然后通過網絡結構將所有隱變量的解耦表示學習能力疊加。同時，采用漸進式方式進行模型訓練，提升整個模型的解耦效果。

2.1 模型結構

TC-VLAE 模型以多層次的變分層次自編碼模型的網絡結構為基礎，并在每一層的隱變量中引入TC正則化先驗約束。令x ∈RD表示觀測向量，z ∈RM表示低維連續隱向量。假設圖像數據x 是由隱變量z生成，采用具有L 層的多層次網絡結構將隱變量分為L 層，即z={z1,z2,…,zL}，是經神經網絡得到的確定性的節點，l=1,2,…,L 。模型定義為

其中：p (zl)=N(zl;0,I)表示隱變量的先驗概率分布，l=1,2,… ,L，I 表示單位矩陣，f1,f2,… ,fL為神經網絡；表示條件概率分布。

圖像數據通過較少的卷積神經網絡得到的隱變量只包含比較低層次的粗粒度特征信息，比如圖片的背景、物體的大小等特征信息。圖像數據通過較多的卷積神經網絡得到的隱變量包含較高層次的細粒度特征信息，比如物體的顏色、形狀和紋理等特征信息。VLAE 模型的多層次網絡結構可以在不同層次捕捉不同的數據特征信息。

在此模型中每一層的隱變量都引入一個TC 項作為約束項[11]，促使模型具有更好的解耦表示學習能力。TC 項為

其中：()q z 是聚合后驗，也就是隱空間；i 是隱空間中隱變量的維度。KL 散度代表了兩個分布之間的距離，上式的TC 項越小，聚合后驗分布與隱空間中各維隱變量分布乘積之間的距離就越小，兩個分布就越相似，隱空間中各維隱變量之間就越獨立，模型就具有了更強的解耦表示學習能力。

完整模型網絡架構如圖2 所示，其中x 為可觀測數據，h1,h2,…,hL和為確定性的節點，z1,z2,…,zL為隱變量；紅色虛線框是TC 項，梯形框是神經網絡。

圖2 TC-VLAE網絡結構Fig.2 TC-VLAE network structure

在模型推理過程中，數據x 經過卷積神經網絡得到 h1，h1向下通過神經網絡得到隱變量 z1；h1再向右經過卷積神經網絡得到 h2，h2再通過神經網絡計算得到 z2；以此類推到第L 層。不同層次的隱變量包含了不同層次的數據信息，較低的層次包含了粗粒度的數據特征信息，較高的層次包含了細粒度的數據特征信息。

本文在L 層隱變量中的每一層都引入TC 項作為正則化項(如圖2 中紅色虛線框所示)約束隱變量。這使每一個層次的隱變量都具有一定的解耦表示學習能力，低層次的隱變量具有解耦粗粒度特征的能力，高層次的隱變量具有解耦細粒度特征的能力，再通過模型的生成過程將所有隱變量的信息包含在一起，生成新的數據，最終使模型既能夠解耦粗粒度特征，又能夠解耦細粒度特征。

2.2 模型損失函數

為了避免直接修改傳統模型損失函數對模型生成質量的影響，本文在保持傳統模型損失函數不變的基礎上在每一層隱變量中都加入一個帶有超參數的TC 項作為正則化項，用來約束此層的隱變量，模型有幾層就加幾個。這樣既可以使模型具有解耦表示學習能力，又不影響模型的重構質量。模型的損失函數包括：

模型的重構誤差 Lre，為

KL 項 LKL，為

所有層的隱變量的TC 項和控制其權重的超參數積的和 Lregular，為

其中：j 是每層隱變量的維度，β1,β2,…,βL是超 參數。

TC-VLAE 模型損失函數為

在本文模型訓練時引入一種漸進式的訓練方式，漸進式的訓練方式將整個模型訓練分為L 步，即模型結構有幾層隱變量訓練就分為幾步，每一步都是一個完整的模型訓練過程，訓練結束后得到模型參數。漸進式的訓練方式如圖3 所示。

圖3 漸進式的訓練方式Fig.3 Progressive training style

第1 步，訓練時隨機初始化參數，在訓練過程中只使用第L 層的隱變量訓練模型，第1 層到第L-1層的隱變量不參加模型訓練，訓練完成后得到模型參數，缺少的參數使用隨機數或0 代替。第2 步，訓練時將第1 步的結果作為本步的初始參數開始訓練，訓練時使用第L 層與第L-1 層的隱變量訓練模型，第1層到第L-2 層的隱變量不參加模型訓練，訓練完成后得到本步的模型參數，缺少的參數使用隨機數或0代替。第3 步，訓練時將第2 步的結果作為本步的初始參數開始訓練，訓練時使用第L 層、第L-1 層和第L-2 層的隱變量，其他層的隱變量不參加訓練。以此類推，直到最后一步所有的隱變量都參加模型訓練并完成模型訓練。

關于模型優化求解，首先對含有期望的損失函數使用蒙特卡洛采樣和重參數化策略估計，然后再使用隨機梯度下降的方法進行參數更新。

3 實 驗

針對常見的解耦數據集設計對比實驗，證明TCVLAE 模型與TC-VAE 模型、VLAE 模型相比具有更強的解耦表示學習能力。具體包括3 個實驗：在3Dshapes 數據集上比較3 個模型TC-VLAE、TCVAE 和VLAE 的解耦表示學習能力，在3Dchairs 數據集和CelebA 人臉數據集上驗證TC-VLAE 模型與單獨基于非結構化先驗模型在解耦表示學習方面的優勢，在dSprites 數據集上驗證TC-VLAE 模型與單獨基于結構化先驗模型在解耦表示學習方面的優勢。最后，通過互信息差(mutual information gap，MIG)定量衡量模型在數據集上的解耦表示學習能力。

3.1 數據集

實驗使用當下常見的用于評估模型解耦表示學習能力的數據集3Dshapes 數據集[17]、3Dchairs 數據集[18]、CelebA 人臉數據集[19]和dSprites 數據集[9]。

3Dshapes 數據集[18]是由6 個真實獨立的潛在因素生成的三維形狀數據集，該數據集中的潛在因素有地板顏色、墻壁顏色、物體顏色、物體尺寸、物體形狀和物體角度。該數據集由480 000 張大小為(64，64，3)的RGB 圖像組成。數據集可視化如圖4 所示。

圖4 3Dshapes數據集可視化Fig.4 Visualization of 3Dshapes datasets

3Dchairs 數據集[19]由1 000 個不同的3D 椅子模型的渲染圖像組成，是解耦表示學習研究中經常用到的數據集。數據集可視化如圖5 所示。

圖5 3Dchairs數據集可視化Fig.5 Visualization of 3Dchairs datasets

CelebA 人臉數據集[20]是香港中文大學開源的一個數據集，它包含了10 177 個名人身份的202 599 張大小為(64，64，3)的RGB 圖像。數據集可視化如圖6 所示。

圖6 CelebA數據集可視化Fig.6 Visualization of CelebA datasets

dSprites 數據集[9]是一個二維形狀數據集，由5個真實獨立的潛在因素生成。這些因素包括精靈的形狀、比例、旋轉和物體的橫向、縱向的位置。數據集共有737 280 張大小為(64，64)的圖像。數據集可視化如圖7 所示。

圖7 dSprites數據集可視化Fig.7 Visualization of dSprites datasets

3.2 在3Dshapes數據集上的比較

TC-VLAE 模型在3Dshapes 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為15，批大小為100，模型的神經網絡架構為3 層，每層隱空間維度為3，訓練中的超參數β=(8,8,8)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。實驗結果如圖8 所示。

圖8 TC-VLAE 模型在3Dshapes 數據集上解耦生成效果Fig.8 Disentanglement generation effect of TC-VLAE model on the 3Dshapes datasets

TC-VAE 模型[20]在3Dshapes 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為15，批大小為100，隱空間維度為9，訓練中的超參數8β=，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。實驗結果如圖9 所示。

圖9 TC-VAE模型在3Dshapes數據集上解耦生成效果Fig.9 Disentanglement generation effect of TC-VAE model on the 3Dshapes datasets

VLAE 模型[21]在3Dshapes 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為15，批大小為100，模型的神經網絡架構為3 層，每層隱空間維度為3，訓練中的超參數β=(8,8,8)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。實驗結果如圖10 所示。

圖10 VLAE模型在3Dshapes數據集上解耦生成效果Fig.10 Disentanglement generation effect of VLAE model on the 3Dshapes datasets

如圖8 所示，TC-VLAE 模型解耦生成效果自下而上分別為：z1— z3對應第1 層隱變量，這一層模型重構生成的圖像并沒有完全解耦，每一維度至少都有2 個數據特征在變化，比如第1 維度地板的顏色和物體的形狀同時在變；z4— z6對應第2 層隱變量，這一層模型學習到比較低級層次的數據特征，實現了粗粒度解耦，比如第4 維度學習到物體的尺寸逐漸由大變小，而其他的特征則相對不變，第5 維和第6 維分別學到物體朝向的角度和物體形狀；z7— z9對應第3層隱變量，這一層模型學習到高層次的數據特征，實現了細粒度的解耦，第3 層的3 個維度分別學習到物體的顏色、地板的顏色和背景的顏色。圖9 中TCVAE 模型在3Dshapes 數據集上沒有學習到有用的特征信息。圖10 中VLAE 模型在 z7— z9學習到有用的特征信息。

上述實驗結果表明，基于結構化先驗的 TCVLAE 模型和VLAE 模型在3Dshapes 數據集上具有一定的解耦表示學習能力。這代表多層次的網絡結構在形狀規則的數據集(比如3Dshapes 數據集)上有較強的解耦表示學習能力。TC-VLAE 模型在多層次的網絡結構的基礎上引入了基于非結構化的TC 項，所以比VLAE 模型能夠學習到更多有用的特征信息，具有更強的解耦表示學習能力。

3.3 TC-VLAE 模型與基于非結構化先驗模型TCVAE的比較

3.3.1 在3Dchairs 數據集上的比較

TC-VLAE 模型在3Dchairs 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為15，批大小為100，模型的神經網絡架構為3 層，每層隱空間維度為3，訓練中的超參數β=(8,8,8)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

TC-VAE 模型在3Dchairs 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為15，批大小為100，模型隱空間維度為9，訓練中的超參數8β=，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

實驗結果如圖11 所示。

圖11 在3Dchairs數據集上解耦生成效果Fig.11 Disentanglement generation effect on the 3Dchairs datasets

在圖11(a)中，z1— z3對應第1 層隱變量，這一層解耦效果并不明顯，更多的是沒有發生變化；z4—z6對應第2 層隱變量，這一層模型學習到一些數據特征，比如第4 維學習到椅子的類型，第5 維學習到椅子腳的類型，雖然第6 維依舊學習到的是椅子的類型，但是該維度椅子類型的變化與第4 維學習到的椅子類型并不相同；z7— z9對應第3 層隱變量，這一層學習到更加復雜的數據特征，第7 維和第8 維都學習到椅子朝向的角度，但兩者又有所區別，并不完全相同，第9 維學習到椅子的尺寸。

在圖11(b)中TC-VAE 模型的實驗結果有9 個維度，但并不是每個維度都學習到有意義的數據特征變化。雖然實驗結果表示該模型在3Dchairs 數據上能夠學習到椅子朝向的方向(第9 維)、椅子的類型(第8 維)和椅子腳的類型(第6 維)等多個數據特征，但是通過兩圖的對比可以看出，在3Dchairs 數據集上，TC-VLAE 模型不僅比TC-VAE 模型生成圖片的質量高，而且能夠學習到更加豐富且有意義的數據特征，具有更好的解耦表示學習能力。

3.3.3 在CelebA 人臉數據集上的比較

TC-VLAE 模型在CelebA 人臉數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為10，批大小為128，模型的神經網絡架構為4 層，每層隱空間維度為7，訓練中的超參數β=(5,5,5,5)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

TC-VAE 模型在CelebA 人臉數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為10，批大小為128，模型的隱空間維度為28，訓練中的超參數5β=，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

實驗結果如圖12 所示。本文模型在CelebA 人臉數據集上的實驗結果表明：模型在第1 層沒有學習到有意義的數據特征，在第2 層學習到人微笑的特征變化，在第3 層學習到人的性別(第4 行，自上而下)、人的發型(第3 行)以及人臉朝向的角度變化(第1 行和第2 行)，在第4 層從上到下分別學習到頭發的顏色、人臉的顏色和圖片背景的顏色。對比本文模型與TC-VAE 模型的實驗結果可以發現，雖然TCVAE 模型也能夠學習到人臉朝向的角度、背景顏色和人的性別等數據特征，但本文模型不僅生成的圖像質量好，而且能夠學習到更豐富、更細膩的數據特征。

圖12 在CelebA數據集上解耦生成效果Fig.12 Disentanglement generation effect on the CelebA datasets

上述實驗結果表明，將結構化先驗與非結構化先驗相結合的TC-VLAE 模型在3Dchairs 數據集和CelebA 數據集上的解耦效果比單獨基于非結構化先驗的TC-VAE 模型更好。

3.4 TC-VLAE 模型與基于結構化先驗模型VLAE的比較

TC-VLAE 模型在dSprite 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為10，批大小為128，模型的神經網絡架構為3層，每層隱空間維度為 2，訓練中的超參數β=(5,5,5)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

VLAE 模型在dSprite 數據集的實驗設置為：推理模型和生成模型均采用卷積神經網絡，訓練迭代次數為10，批大小為128，模型的神經網絡架構為3層，每層隱空間維度為 2，訓練中的超參數β=(5,5,5)，模型訓練過程中使用Adam 優化訓練，學習率為0.000 1。

實驗結果如圖13 所示。

圖13 dSprite在數據集上解耦生成效果Fig.13 Disentanglement generation effect on the dSprite datasets

在圖13 中，自下而上分為3 層，z1—z2對應第1 層隱變量，z3— z4對應第2 層隱變量，z5— z6對應第3 層隱變量。結果表明：本文模型能夠在第1 層學習到物體的方向，在第2 層學習到物體的類型和物體的大小，在第3 層學習到物體的位置移動。圖13(b)顯示VLAE 模型在此數據集上并沒有明顯的解耦表示學習能力。

上述實驗結果表明，將結構化先驗與非結構化先驗相結合的TC-VLAE 模型在dSprite 數據集上的解耦效果要比單獨基于結構化先驗的VLAE 模型更好。

3.5 定量的解耦評估指標

互信息差是一種可以定量衡量無監督模型的解耦表示學習能力的度量方式[11]，它是0～1 之間的一個數，數值越大表示模型解耦表示學習能力越強。理論上一個無監督模型的解耦表示學習能力不會到1。在解耦表示學習領域中，模型的解耦評估指標一直是一個重要的研究方向，許多研究者都提出了自己的解耦評估指標，比如Kim 等[2]的工作，互信息差是其中使用較為廣泛的一個。

將本文模型TC-VLAE 和TC-VAE 模型、VLAE模型在3Dshapes 數據集、3Dchairs 數據集、CelebA人臉數據集和dSprites 數據集上的互信息差進行匯總，結果見表1。

表1 各個模型在各個數據集上的互信息差Tab.1 Mutual information gap of each model on the datasets

TC-VLAE 模型比任何一個單思路的模型都具有更大的互信息差，說明TC-VLAE 模型具有更強的解耦表示學習能力。

4 結語

本文提出了TC-VLAE 模型。TC-VLAE 模型是基于層次化的變分自編碼模型，使模型實現不同層級間的特征解耦。在多層次模型結構中的每一層隱空間中都加入TC 項作為正則化項，使模型實現各層級隱空間內部的特征解耦。訓練時使用漸進式的訓練方式充分發揮層次化網絡模型的優勢，同時使用蒙特卡洛法采樣、重參數化策略以及隨機梯度下降算法求解優化問題。本文在4 個常用解耦數據集上進行對比實驗，結果表明：將層次化結構與TC 先驗相結合的TC-VLAE 模型的解耦表示學習能力比單一的層次化結構模型和只有TC 先驗的非結構化模型都更優異。