自動編碼器在流場降階中的應用

葉舒然,張 珍,宋旭東,杜特專,王一偉,*,黃晨光,陳耀松

(1.中國科學院力學研究所 流固耦合系統力學重點實驗室,北京 100190；2.中國科學院大學 工程科學學院,北京 100049;3.北京大學 工學院,北京 100871)

0 引 言

機器學習作為計算機科學領域中一個備受關注的研究方向，其核心主要是使用算法解析數據，并利用計算機的大信息處理能力從原始數據中提取模式。近來，機器學習在許多領域得到蓬勃發展，例如在自然語言處理和各類圖像識別等方面已經得到廣泛應用[1]。機器學習在流體力學中的應用也開始逐漸浮現，Tracey等[2]利用神經網絡擬合Spalart-Allmaras湍流模型并證明了其能夠優化計算流體力學中得到的結果；Ling等[3]提出使用嵌入伽利略不變性的多層網絡預測雷諾應力張量，并取得了更為精確的結果。至此，機器學習在流體力學中的初步嘗試主要是通過前饋神經網絡構建湍流模型。

由于流場的復雜性，除了關注于傳統前饋網絡學習算法，利用機器學習中的各種方法來探索流場識別、提取、降階也是一個非常重要的方向。以卷積神經網絡為代表的深度網絡在流體力學中有了一些新的嘗試。Storfer等[4]使用卷積神經網絡成功識別了流動特征，并且識別出的特征能夠與相似特征進行區分。Jin等[5]構建了一個捕捉繞流圓柱表面壓力系數時空信息的卷積神經網絡，能夠成功捕捉壓力脈動特征并預測速度場信息。對于流場建模，除了直接尋找數據間的映射關系，基于無監督思想下的尋找數據之間的特征提取技術也是一種建模與降階技術[6]。例如Kaiser 等[7]提出了一種無監督學習下用以識別流場物理機制的CROM方法，這種方法在三維鈍體湍流尾跡和空間演化的不可壓混合層的速度場都進行了成功的應用。考慮到自動編碼器作為一種典型的數據壓縮與降維方法，在圖像和自然語言處理等方面有很好的實踐，因此探索自動編碼器在流場降階中的應用。將自動編碼器引入流場，建立流場速度場的編碼和解碼模型，能夠將原始高維數據進行壓縮，并且能夠對流場實現一種通用的降階方法。

本文以圓柱澆流流場的速度場為輸入，建立了自動編碼器模型，對全場的速度場分量進行編碼和數據降維，最后與流場特征量構建的網絡進行了誤差分析，分析了自動編碼器的數據降維和特征提取的合理性。該方法在一定范圍內的速度入口和雷諾數條件下，能夠為流場數據的表示提供合適的編碼函數。并且，結合深度學習技術，能夠得到相關的流場特征識別與提取結果。

1 自動編碼器原理與設計

自動編碼器是一種神經網絡，這種網絡的特點是在經過訓練后能夠將輸入復制到輸出[8]。作為無監督的一種網絡模型，自動編碼器能夠從輸入數據中學習到隱含的數據特征，并且由這些特征重構出原始數據。因此，自動編碼器在數據降維和特征學習等方面有著廣泛的應用。

1.1 前饋網絡結構

自動編碼器可以被看作是前饋網絡的一個特例[9]。因此，首先建立一個全連接的前饋網絡，其網絡結構如圖1(a)所示，分為輸入層、隱層、輸出層，上一層的任何神經元與下一層的每個神經元都有連接[10]。神經元模型的概念來自于生物神經中，通過電位變化傳遞信息[11]。對于神經網絡模型中的神經元模型，其權重函數和偏置向量，用方程表示為：

f(x;w;b)=xTw+b

(1)

式中，w為權重系數，b為偏置向量。

神經網絡將輸入層數據通過映射轉換到隱層，再逐層轉化到輸出層。網絡的輸出和真實值之間的差異用損失函數衡量[13]，對于常見的回歸問題,一般取為網絡預測值和參考值之間的均方根誤差：

(a)網絡結構

(b)神經元圖1 前饋神經網絡Fig.1 Feedforward neural network

(2)

1.2 自動編碼器設計

前饋神經網絡，如果其只有一個隱藏層h，則該網絡可以看作為從輸入到隱層的映射函數h=f(x)和隱層到輸出的映射函數y=g(h)。由于自動編碼器的特點是能夠將輸入復制到輸出，所以在網絡中將輸出設計成與輸入相同，并將隱層的節點數設置成比輸入輸出的節點數少，通過訓練調整權重系數，得到每一層的參數，便可以獲得原始數據在小維度上的表示。對于該網絡而言是一個編碼和解碼的過程，即將原始數據進行壓縮，再從壓縮的數據中還原。

圖2是自動編碼器的網絡結構，在該網絡中輸出與輸入相同，即y=x。自動編碼器的訓練方式和一般前饋神經網絡完全相同，即使用小批量的梯度下降算法，使輸出y逐漸貼近輸入x[15]。網絡訓練完成后，能夠得到一個輸入到隱層的編碼模型和一個隱層到輸出的解碼模型，隱層的節點信息即為最后的編碼結果。考慮到編碼的稀疏性，在自動編碼器的基礎上加上稀疏性約束，編碼結果中只有一小部分神經元被激活，大部分節點為0[16]。

圖2 自動編碼器網絡Fig.2 Autoencoder network

2 圓柱繞流自動編碼模型建立

2.1 圓柱繞流算例

選取圓柱繞流的案例，構建流場并獲取流動數據[17]。流場幾何設置如圖3(a)。考慮圓柱后41×17的速度場作為輸入。由于是二維算例，對于每個點都有U={u,v}兩個速度分量。流場的速度入口，考慮了帶有擾動的拋物速度入口條件，其中3個速度入口作為訓練，第四個速度入口作為測試。每個速度入口考慮雷諾數從200到2000的10組雷諾數，所有工況下均每隔0.005 s時間步長輸出一組數據，共取300組數據。速度入口條件為基本拋物線速度入口乘以擾動因子P再歸一化，基本拋物線速度入口為：

(3)

其中um=1.5。擾動因子P見表1。

表1 圓柱繞流流場不同速度入口條件Table 1 Different inlet velocity conditions of the flow around the cylinder

(a)幾何尺寸和邊界條件

(b)圓柱后流場41×17的速度采樣點分布

(c)圓柱上32個壓力系數采樣點分布圖3 二維圓柱繞流算例Fig.3 2D cases in the flow around the cylinder

網絡分為自動編碼器和驗證網絡兩部分，自動編碼器考慮將41×17×2個速度分量通過自動編碼，壓縮為32個數據。驗證網絡將用編碼后的數據與流場特征典型量相聯系，討論壓縮處理后的數據是否抓住了原始數據中的主要特征。

2.2 自動編碼器結構

對于圓柱繞流流場，采取上述的速度場進行描述，考慮到是二維流場，則在41×17個空間位置上共有1394個速度分量，對于其余的研究而言速度信息的維度過大，因此，尋找一種將1394維的流場速度數據進行壓縮的方法十分重要。自動編碼器結構能夠將數據進行壓縮，并且能夠利用網絡將數據還原。考慮到自動編碼器的這個優勢，使用自動編碼器將流場速度分量壓縮為只有32個值。因此對于網絡，輸入和輸出選擇各為1394個節點，中間隱層選擇為32個節點，網絡中通過選取不同的激活函數來添加約束，使得重構后的數據與原始數據非常接近但又有一些不同，以此強制模型考慮輸入數據中哪些量需要被優先復制，達到增強網絡性能的目的。

2.3 編碼器驗證與應用方法

對于自動編碼器得到的縮減結果，一個很好的驗證方式是，將經過解碼后的數據與原始數據比較，得到兩者間的均方根誤差(Root Mean Square Error,RMSE)。由于流場信息的復雜性，想要探究縮減后的結果對于原始數據是否具有代表性，另一個驗證方法是建立編碼后數據與原始流場的對應關系。如果編碼后的數據能夠代替原始范圍內的速度場信息，那么可以建立函數關系Cp=F(Uencode)，其中Cp是用入口平均速度無量綱化的壓力系數，Uencode為編碼后的低維流場。基于這種考慮，建立了全連接的神經網絡，輸入層為編碼后的流場速度，輸出層為圓柱表面壓力系數。如圖3(c)所示，圓柱表面壓力系數選取為圓柱一圈32個離散點的值進行表示。由于訓練集和測試集選取了不同的速度入口，為了防止入口速度變化對圓柱前緣處壓力系數影響較大，在32個點中舍棄圓柱了迎著來流的6個點。圓柱表面壓力采樣點排列順序是以迎來流最前端為第一個點順時針等間距排列，因此在序號上體現為舍棄前后端的三個，并對剩下的26個點按照相同的順序重新編號為1～26。這些點仍能覆蓋圓柱表面大部分壓力情況，并且不會使得速度入口所產生的誤差對整體誤差起到了主導作用。驗證網絡選取了單隱層的128個節點的驗證網絡1，和隱層的數量為2層、每層30個節點的驗證網絡2，并加了dropout層以防止過擬合。驗證網絡結構見表2。

表2 驗證網絡的網絡結構Table 2 Network layers of the verification network

3 圓柱繞流自動編碼器的應用

輸入訓練數據完成網絡訓練后，需要應用測試數據測試網絡的可靠性。本文的自動編碼器在流場中的應用主要分為兩個方面，一方面關注了自動編碼器編碼解碼過程中的精度，是否能生成與原始流場精度差異較小的重構流場，另一方面也考慮到編碼過程是否能夠對原始流場進行成功的壓縮降階，并通過關聯流場中的某些敏感關注量考察編碼器能否代替原始流場。具體流程見圖4。

圖4 自動編碼器應用流程圖Fig.4 Flow chart of the application of the autoencoder

3.1 自動編碼器的表現

上述圓柱繞流案例有10組雷諾數，每組雷諾數每隔0.005s取一組數據，共計算了300步數據。為了防止訓練集對于速度入口過擬合，共考慮了4個不同的速度入口，3組進行訓練，1組進行測試，即訓練樣本數為9000，測試樣本數為3000。

自動編碼器的結構采用的是2.2節中所描述的網絡結構。圖5可以看出，隨著訓練步數的增加，訓練過程中的均方根誤差即損失函數在逐漸下降，經過100步的迭代誤差已經降到1.2×10-2，并有繼續下降的趨勢。

網絡訓練完成后，將測試數據的速度場輸入網絡模型，即可得到測試數據在自動編碼后的系數，其均方根誤差δRMSE為1.45×10-2。可以認為測試數據在經過編碼和解碼之后能得到與原始數據誤差較小的結果。隨機選取Re數為700的一個速度場進行研究，從速度云圖上看,其中圖6(a)為原始速度場的速度u分量的速度云圖，圖6(b)為重構速度場的速度u分量的速度云圖，可以看出該編碼解碼過程誤差較小，說明編碼后的數據能夠包含大部分流場信息。

同時，我們將編碼維數增加一倍，使用自動編碼器將流場速度分量壓縮為64個值，并使用64維數據重構流場，如圖6(c)。可以看出編碼維數的增加，能夠使得重構出的流場更好地呈現原始流場的流動特征，例如在核心區外圍的情況能夠將流場信息把握得更好。

圖5 網絡的訓練誤差Fig.5 Training error of network

(a)原始流場

(b)重構流場1

(c)重構流場2圖6 速度分量u的速度場云圖Fig.6 Velocity contour of velocity component u

3.2 基于壓力回歸的網絡驗證

自動編碼器訓練和測試完成后，進一步利用前述的壓力回歸方法對編碼器表現進行驗證。對于驗證網絡，訓練集和測試集的數據來源依舊是上述雷諾數和速度入口組合下的工況。對于每組數據，輸入由原始的1394個速度分量縮減為編碼后的32個組合值，輸出則考慮到需要對原始流場信息進行表征，因此選取了圓柱表面26個點的壓力系數。分別用2.3節所述的兩種網絡結構進行了驗證，其中編碼后數據在驗證網絡上的表現如表3所示。

表3 訓練集和測試集分別在驗證網絡上的均方根誤差Table 3 RMSE for the train set and the test set on verification network

3.3 與隨機取點對比

為了驗證自動編碼的效率，將流場的41×17×2個速度分量中隨機選取32個點作為對照組，其中隨機選取的過程保證所取點在訓練數據和測試數據中代表的意義相同，即在固定空間位置上的相同速度分量。

通過對比2.3節所建立網絡與隨機取點，分別得到了單層編碼結果和隨機取點在驗證網絡上的均方根誤差。表4中對比了兩種網絡上測試集的誤差。圖7選取了某時刻預測的壓力系數與實際值的對比。自動編碼器的殘差約為隨機取點網絡的一半，說明了自動編碼器的壓縮算法能夠更有效表達原流場的信息。

表4 單層編碼和隨機取點在驗證網絡上的均方根誤差Table 4 RMSE for the encoded result and the random-sampling on verification network

圖7 單層編碼與隨機取點在驗證網絡上預測結果與CFD參考值結果中圓柱壓力系數分布的比較Fig.7 Comparison of pressure coefficient distributions on the cylinder between the CFD result,the model predictions of the encode result and the random sampling

4 編碼層層數影響分析

4.1 網絡結構

前文中采用的是基本的單層編碼器和解碼器，但實際上對于復雜問題，深度的編碼器和解碼器也具有一定優勢，能夠更好地體現深層網絡的可控性，在擬合數據過程中較大地降低訓練的計算成本和所需的訓練量。例如，Hinton等[18]提出在實驗中，深度自編碼器能夠比相應淺層的編碼器擁有更好的壓縮效率。

對于速度場信息壓縮的問題，為了探究自動編碼器網絡對編碼效率的影響，提出了一個隱層數為5的網絡，新的編碼器網絡結構如表5。在該網絡中，編碼器和解碼器均為3層網絡。

表5 自動編碼器的網絡結構Table 5 Network Layers of the autoencoder

4.2 結果對比與討論

訓練深度編碼模型，其本質是訓練具有更多中間層的網絡。對于流場速度場數據，網絡的輸入是1394維特征，與單層編碼不同的是，深度編碼網絡中三個隱含層維度分別為256、64和32，即通過逐步降低輸入數據的維度，得到最終編碼后的32維的低維數據。表6對比了單層編碼和深層編碼在編碼網絡(AE-Net)和驗證網絡(Verif-Net)上的均方根誤差，可以看到，在最終維度相同的情況下，深層編碼與單層編碼相比，重構出的數據誤差更小，且能夠更好地捕捉數據的特征，壓力回歸測試均方根誤差小于0.1。但由于目前算例相對簡單，深度編碼器體現出的優勢并不十分明顯。

表6 單層編碼和深層編碼網絡的均方根誤差Table 6 RMSE for the single layer encoded result and the multi-layer encoded result

5 結 論

本文提出了一種將自動編碼器應用在流場中的方法。該方法通過將高維的原始速度場編碼為少量點的低維數據，并對數據解碼，能夠對原始流場進行重構。對非均勻來流圓柱繞流算例建立的典型單層自動編碼器模型，重構流場與原始流場速度均方根誤差小于0.02。

本文證實了通過自動編碼器將原始高維流場進行降階和數據壓縮，可以將壓縮后數據與原流場中的敏感輸出值相關聯。對此基于圓柱繞流流場自動編碼器的應用，建立了利用降維后編碼數據來回歸圓柱表面壓力分布的神經網絡測試。結果表明編碼數據能夠較好地回歸到圓柱的表面壓力系數，且回歸精度明顯高于利用同等數量隨機測點進行回歸的對照模型。

最后考慮到更復雜流場的編碼需求，討論了編碼層層深對于編碼效果的影響。典型的不同結構編碼器對比結果表明，五層結構的深層編碼器比淺層編碼器在編碼網絡上的誤差更低，編碼精度更高；同時在與流場敏感輸出值相關聯時網絡預測誤差能夠達到0.1，對原始數據的代表性也更好。

未來，本文所建立的基于機器學習的自動編碼器方法有條件應用于更復雜的流場結構的識別與降階，應用的范圍與方式值得進一步討論研究。此外，如將自動編碼器與潛變量模型理論結合，則可進一步應用于流場生成模型的構造，值得進一步探索。