基于單向流模型的自適應張量鏈式學習算法

馬寶澤，李國軍，邢隆，葉昌榮

（1.重慶郵電大學光電工程學院，重慶 400065；2.重慶郵電大學超視距可信信息傳輸研究所，重慶 400065）

0 引言

隨著傳感器的廣泛應用和物聯網的迅猛發展，泛在的實時信號和數據不斷產生，并催生了大數據智能、信息流處理、泛在感知等新興研究熱點，推動新生業態的數字、信息技術飛速發展。在數字經濟賦能各行各業的大背景下，人們對高維實時/在線數據流自適應處理的需求處于持續增長狀態[1]。特別是，大量的應用程序在某一維度上隨著時間的推移將產生龐大的在線信號，及時有效地分析基于單向流模型的海量實時數據信息，實現信號在線自適應處理成為當前研究的熱點[2]。然而，信號流的數據規模越來越大、傳輸速度越來越快、潛在成分越來越復雜，這些固有的問題都給實時信號流處理帶來了挑戰。此外，信息技術的飛速發展使數據形式逐漸趨向高維化，通常需用張量的形式表征[3]。因此，利用張量分析的相關技術處理實時的信號流數據成為一種潛在研究手段。

張量分解技術已經得到了廣泛的應用，成為解決高維信息分析處理的有效方法[4-5]，并成功應用于神經科學[6-7]、無線通信[8-9]、社交網絡[10-11]等諸多領域。當使用張量表示信號/數據流時，張量分析技術通常被稱為張量跟蹤或自適應在線/實時流張量分解。CP（CANDECOMP/ PARAFAC）分解[12]和Tucker分解[13]作為經典的張量分解方法，均為張量奇異值分解（SVD,singular value decomposition）的擴展形式。為了解決CP分解中的秩估計難題和克服Tucker分解中的數據維度災難缺點，Cichocki 等[14-15]擴展了2 種典型的多維張量分析模型，對張量網絡進行了全面的研究。其中，張量鏈式（TT,tensor train）分解[3,16]表現出處理高階張量的強大能力，成為多維信號處理和大規模數據分析領域的有效分析手段。然而，傳統張量分解方法均屬于批處理范疇，并不能對單向流模型下的多維信號流數據進行有效處理。

面向多維信號流數據的自適應分解問題，Nion 和Sidiropoulos[17]在傳統CP 分解的基礎上提出了基于同步對角化和加權最小二乘準則的2 種解決方案，為后續自適應張量學習算法的分析研究奠定了理論基礎。隨后，Mardani 等[18]提出了一種基于核范數正則化的指數加權最小二乘準則的在線子空間估計方法，通過跟蹤低秩子空間揭示了潛在的高階結構。Zhou 等[19]提出了一種有效的高階在線學習算法，可實現具有任意階數的動態張量CP 分解，突破了張量階數對自適應算法的限制。Nguyen 等[20]針對單向流的三階張量，提出了基于交替最小二乘法結合牛頓型優化技術的快速自適應CP 分解算法。Kasai[21]假設數據位于低秩線性子空間中，提出了基于張量CP 分解的在線低秩子空間跟蹤算法。文獻[17-21]均是在傳統CP 分解的基礎上探究的自適應張量分解方法，為克服CP 分解中的秩估計難題，Liu 等[22]針對TT 分解框架介紹了一種增量TT 學習算法用于分解切塊隨時間遞增的張量模型；Wang 等[23]則研究了能夠分解工業物聯網張量流的 TT 方法。然而，上述2 種改進的TT 分解技術可以歸納為增量式批處理學習方法，缺乏對張量切片數據的自適應處理能力，并且存在跟蹤時變張量流數據較敏感的問題。

為了解決單向流模型中的高階張量實時分析問題，同時解決CP 秩選取難題且具備計算時變切片增量的在線分析能力，本文研究了一種自適應TT 學習算法。該算法在理論上可以處理任意階數的單向張量流數據，推導出時變增量對時序TT 核張量估計及TT 非時序核張量更新的影響，構造具有遺忘因子和正則項的指數權重最小二乘目標函數，利用塊坐標下降（BCD,block coordinate descent）學習策略依次估計出時序TT核并對非時序TT 核進行更新，從而實現對切片和切塊等增量式實時數據的自適應分析研究。在模擬數據實驗中，采用隨機生成的四階張量分別驗證了所提算法在增量大小、不同TT 秩、噪聲強度和時變強度等條件下的重構性能，并且利用三階張量進行了平均相對誤差和平均運算時間的對比實驗。此外，通過實測視頻數據驗證了多種算法對人體運動圖像/視頻實時分析的能力。

1 問題描述

1.1 傳統TT 分解模型

TT 分解對高階張量數據的處理具有以下優點：1) 給定任意張量X，能夠找到一系列TT 核和TT 秩滿足TT 分解的要求；2) 相對于CP 秩的確定難題，TT 分解可以穩定有效地估計TT 核張量；3) TT 分解為高階張量提供了一種節省內存的表示方式，并且能夠克服張量的維度災難缺點。然而，傳統的TT 分解屬于全量式批處理框架，在分析增量式自適應數據時存在重復計算和效率不高等問題。因此，在傳統TT 分解算法的基礎上開發能夠處理在線數據流的自適應張量分解方法具有重要的研究意義。

1.2 單向流模型

一般來說，時序增量 Yt可以表示為

其中，Lt表示時序增量的低秩成分，Nt表示噪聲張量，σ表示噪聲強度。低秩項Lt可以用向量、矩陣、核張量等形式表示，能夠應用于靜態和時變場景。綜上所述，單向流張量跟蹤問題可形式化表達如下：在第t時刻給定時序增量 Yt和 Xt-1的先前估計（核張量或張量因子），則需要及時跟蹤得到新的估計。

1.3 自適應TT 分解模型

在單向流模型中，實時張量 Xt在含噪聲環境下的TT 分解形式可以表示為

圖1 TT 張量流分解示意

2 算法說明

2.1 構建目標函數

由于在線數據流固有的時變性和非平穩性，傳統批處理TT 分解方法在計算復雜度和數據存儲方面沒有優勢，故需要研究一種能避免重復計算且有效跟蹤的自適應高階數據流分析方法。在自適應TT分解框架中，核張量的估計是研究重點。不考慮噪聲的情況下，估計TT 核張量的廣義目標函數可表示為

根據式(2)和自適應策略[17,20]可以將式(6)目標函數改寫為指數權重最小二乘的形式[18,21]，表示為

其中，ρ∈(0,1]表示遺忘因子，旨在降低觀測數據間距離的影響，并提高在動態環境中的跟蹤速度；μ表示正則化參數，旨在控制相鄰的連續時刻對應TT 核的時變程度。當ρ=1且μ=0時，式(6)和式(7)中的2 個目標函數是等價的。

2.2 核張量的學習策略

其中，A 和B 為虛擬張量，分別定義為

2.3 具體步驟

2.3.1估計時序TT 核

在給定時序張量 Yt和解析張量 Ut-1的情況下，

2.3.2依次計算非時序TT 核

其中，ρ∈(0,1]表示遺忘因子，μ表示正則化參數。為方便計算，將式(15)改寫為矩陣形式，可表示為

3 實驗分析

3.1 模擬數據仿真

令四階張量的維度為[10 15 20 1000]，且假設最后一個維度時變，可稱為時序點數，TT秩固定為[5 5 5]，噪聲強度固定為σ=10-3，時變強度固定為ε=10-3，增量大小分別為J={7,5,3,1}，并在時序點數為550 時增加突變干擾，即此刻的突變強度為1。不失一般性，鑒于參數選取不是本文研究的重點內容，故設定所提算法的遺忘因子ρ=0.5，正則化參數η=1，μ=1，且仿真結果均是算法迭代30 次的平均值。非平穩條件下，增量大小對算法性能的影響如圖2所示。由圖2 可知，算法在J=1時比在J={7,5,3}時的相對誤差收斂速度更快且穩態誤差更小。隨著時序增量的增加，張量分解相對誤差收斂速度變慢、穩態誤差也隨之變大，說明所提算法在處理時序切塊方面的性能還有待提升。此外，所提算法表現出對張量切片較強的學習能力，符合自適應算法對數據逐點處理的要求，故其余實驗均采用張量切片J=1作為時序增量。

圖2 增量大小對算法性能的影響

固定時序增量為時序切片，選取TT 秩分別為[2 2 2]、[4 4 4]、[6 6 6]和[8 8 8]，其余實驗條件和參數不變。TT 秩對算法性能的影響如圖3 所示。由圖3 可知，當TT 秩為[8 8 8]時，所提算法在時序突變后出現了難以收斂的情況，說明較大的TT 秩會限制TT 分解的低秩表征能力。此外，當TT 秩較小時，算法雖然收斂速度快但穩態誤差不理想波動較大。因此，綜合考慮收斂速度和穩態誤差兩方面因素，TT 秩的選取不宜過大或過小，需根據張量最小維度值選擇，故令模擬數據仿真實驗中的TT 秩為[5 5 5]。

圖3 TT 秩對算法性能的影響

為了驗證所提算法的抗噪性，分別選取噪聲強度σ={10-4,10-3,10-2,10-1}進行魯棒性實驗，其余仿真條件和參數不變。噪聲強度對算法性能的影響如圖4所示。由圖4 可知，選取的4 個噪聲強度對算法的收斂速度影響不大，其收斂曲線基本一致。但當σ=10-1時，算法的穩態誤差明顯比其他噪聲強度大，說明在噪聲強度為σ={10-4,10-3,10-2}時所提算法表現出了較好的魯棒性。此外，所提算法對較大的噪聲強度敏感，當噪聲強度較小時算法性能變化不大，并且不同噪聲強度下算法在突變前收斂速度也比較接近。

圖4 噪聲強度對算法性能的影響

固定實驗的其余仿真條件和參數，分別選取時變強度ε={10-4,10-3,10-2,10-1}驗證所提算法性能。時變強度對算法性能的影響如圖5 所示。由圖5 可知，時變強度越大，算法的穩態誤差也越大，且在突變干擾后收斂速度主要受強時變的影響，如ε=10-1。當ε={10-4,10-3}時，算法的性能比較理想，因此不斷提升算法的抗時變能力是自適應張量分解研究的優化方向。

圖5 時變強度對算法性能的影響

上述實驗分別從增量大小、TT 秩選取、噪聲強度和時變強度幾個方面驗證了所提算法的性能，接下來將4 種自適應張量分解方法作為對比算法，分別為PARAFAC-RLST[17]、PARAFAC-SDT[17]、TeCPSGD[18]和SOAP[20]，來分析隨機生成的在線三階張量。其中，張量維度為[150 200 1200]，噪聲強度和時變強度均固定為 10-3，增量J=1，在時序點數為600 時增加突變干擾，且對比算法的秩均為10，所提算法的TT 秩為[10 10]。5 種算法估計張量流的相對誤差對比如圖6 所示。由圖6 可知，PARAFAC-RLST 和PARAFAC-SDT 具有相似的收斂速度和穩態誤差，突變后的穩態誤差均不理想，但突變前后的收斂速度較快。TeCPSGD 收斂速度最慢，且穩態誤差較大，算法收斂困難。SOAP 在突變前表現出與PARAFAC-RLST 和PARAFAC-SDT 相似的算法性能，但突變后相對誤差幾乎不變，說明SOAP 方法不適用于存在突變的數據分析或者信號處理應用。相較于對比算法，所提算法在突變前后均表現出了良好的收斂速度和穩態誤差。

圖6 5 種算法估計張量流的相對誤差對比

不同算法處理模擬數據的平均運算時間如圖7所示。由圖7 可知，PARAFAC-RLST 平均運算時間最長，其次分別為 TeCPSGD、SOAP 和PARAFAC-SDT，所提算法平均運算時間最短，說明BCD 學習策略中僅處理時序增量的方式在算法運算時間方面具有優勢。綜上所述，不同于對比算法僅能處理三階張量，所提算法能夠處理任意階數的張量數據。此外，綜合考慮相對誤差指標和平均運算時間可知，所提算法更新非時序TT 核張量的并行學習策略不僅能夠縮短算法運算時間，而且可以獲取穩健的估計性能。

圖7 不同算法處理模擬數據的平均運算時間

3.2 實測數據實驗

將視頻信號[24]作為實測數據驗證算法張量重構性能，選取數據庫中名為‘eli_wave1’的視頻作為自適應張量算法的輸入信號。其中，視頻屬性包括：數據時長為5 s，幀率為25 frame/s，幀的高度為144，幀的寬度為180，每個像素的位數為24，視頻格式為RGB24，則視頻流中的幀數為125。為了更公平地驗證算法性能，將每個視頻幀數據對應的RGB 圖像轉換為灰度圖像，故輸入信號的維度為144×180×125。將視頻幀作為時序增量，不同算法處理視頻數據的平均相對誤差如圖8 所示。由圖8 可知，PARAFAC-RLST收斂速度較快，但相對誤差較大；PARAFAC-SDT收斂速度最慢，在90 幀左右才收斂；所提算法性能明顯優于對比算法，其次是 SOAP 和TeCPSGD。對比圖6 可知，實測數據的時變強度小，因而所有算法的性能曲線均波動小且平滑，且算法的相對誤差明顯變差。

圖8 不同算法處理視頻數據的平均相對誤差

不失一般性，選取各算法重構后張量的第80 幀進行可視化，人體運動部分以虛線橢圓形標注，可視化灰度圖如圖9 所示。所提算法重構的可視化灰度圖與原始視頻幀的灰度圖最接近，基本可以分辨出人體輪廓。而SOAP 算法僅能識別出人體位置，難以辨別動作狀態，其余3 種對比算法可視化灰度圖較差。圖9 的可視化結果與圖8 中虛線方框對應，即當相對誤差ξ＞10-1時，自適應張量分解算法重構的張量切片可視化不理想，難以識別人體動作，不能應用于人體運動圖像/視頻實時分析。此外，所提算法在實測視頻數據的實驗中表現出了優于對比算法的張量切片重構能力。

圖9 第80 幀的可視化灰度圖

4 結束語

由于泛在的實時信號/數據大多呈現高維結構，將給傳統批處理張量分解方法和受階數限制的自適應張量分析方法帶來挑戰，因此本文研究了一種基于單向流模型的自適應TT 學習算法。通過推導單向流時序增量對TT 核更新的影響，將核張量分為時序和非時序兩類，并構造相應的目標函數利用BCD 學習策略分別估計更新。實驗表明，所提方法能夠處理三階和四階的模擬數據，在平均相對誤差和平均運算時間方面優于對比算法，且在視頻實時分析研究中重構張量數據具有一定的意義。此外，在現有工作基礎上研究基于多向流模型的自適應張量學習算法將是下一步重點探究方向。