基于改進輕量級秩擴展網(wǎng)絡的人臉表情識別方法

鄭偉鵬，羅曉曙，蒙志明

（1.廣西師范大學 電子工程學院，廣西 桂林 541000；2.廣西師范大學 創(chuàng)新創(chuàng)業(yè)學院，廣西 桂林 541000）

0 概述

面部表情是人類情緒的一種最直接的外部表現(xiàn)，而賦予機器感知人類情緒的能力是實現(xiàn)人機交互的重要目標之一。隨著人工智能的迅速發(fā)展，人臉表情的自動識別成為研究熱點。人臉表情識別（Facial Expression Recognition，F(xiàn)ER）的研究在心理學、疲勞駕駛檢測、課堂教學效果評價、智能醫(yī)療、公安測謊系統(tǒng)、車載安全系統(tǒng)等領域得到廣泛關注［1-2］。

近年來，隨著深度學習在計算機視覺和模式識別領域的廣泛應用，F(xiàn)ER 取得了顯著的進展［3-4］。但是FER 不同于其他模式識別任務，F(xiàn)ER 數(shù)據(jù)中的有用信息相對較少。FER 在背景簡單和人臉端正等實驗室環(huán)境下的準確率相對較高。在自然環(huán)境下，受頭部姿態(tài)變化、遮擋、光照等因素以及不同個體對情感表達的影響，網(wǎng)絡在人臉表情的識別過程中會產(chǎn)生大量的冗余信息，導致FER 準確率降低。為解決該問題，網(wǎng)絡架構(gòu)（如VGG［5］、AlexNet［6］、ResNet［7］等被作為基礎網(wǎng)絡）廣泛應用于FER，并對其進行優(yōu)化，以提高FER 的準確率。例如，文獻［8］在VGG19的基礎上，通過優(yōu)化網(wǎng)絡結(jié)構(gòu)和參數(shù)，并利用遷移學習技術克服訓練樣本的不足，提高FER 的準確率。文獻［9］將丟棄層引入到ResNet 網(wǎng)絡中，并移除softmax 層，通過對全連接層進行修改，減少網(wǎng)絡參數(shù)量，同時將SE 模塊添加到網(wǎng)絡中，以提高識別準確率。文獻［10］提出一種結(jié)合殘差網(wǎng)絡與目標掩膜的特征提取方法，通過3D ResNet 網(wǎng)絡對連續(xù)的微表情序列進行訓練和識別。文獻［11］構(gòu)建基于域適應的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，以較少的參數(shù)量獲得較高的識別準確率。文獻［12］引入深度可分離卷積以減少網(wǎng)絡參數(shù)，嵌入壓縮網(wǎng)絡來學習網(wǎng)絡特征權(quán)重，并通過加入空間金字塔池化增強網(wǎng)絡的魯棒性。文獻［13］采用多層小尺度核卷積塊代替大卷積核，減少參數(shù)量，在相同感受野的條件下加深網(wǎng)絡并精簡網(wǎng)絡結(jié)構(gòu)，利用softmax 分類器獲得表情分類結(jié)果，并對數(shù)據(jù)進行增強處理，提升網(wǎng)絡泛化能力并且減小識別誤差。同時，僅通過對基礎網(wǎng)絡的淺層設計修改難以充分地增強表情識別性能。因為在自然環(huán)境下的圖像質(zhì)量不一致，容易產(chǎn)生大量噪聲，而且表情間存在復雜的抑制共生問題，即不同表情間可能都會對嘴、眼睛、眉毛、鼻子有類似的動作，所以當人臉存在部分遮擋的情況時，不同表情的類似動作會造成表情識別錯誤。文獻［14］通過重新標記標簽加權(quán)訓練，增強對準確率較低的噪聲、模糊、相似表情間的加權(quán)再學習，并且增加額外噪聲數(shù)據(jù)集對網(wǎng)絡進行訓練，增強網(wǎng)絡對噪聲數(shù)據(jù)的抗干擾能力。文獻［15］通過對輸入的Gabor 特征進行重新描述，并微調(diào)權(quán)重來細化訓練過程中構(gòu)建的模型，通過對覆蓋部分的特征進行壓縮，在眼睛、嘴巴和下臉遮擋的情況下，獲得較高的表情分類準確性。文獻［16］基于重建部分遮擋的面部表情數(shù)據(jù)庫，提出一個20 層的“VGG+殘差”卷積神經(jīng)網(wǎng)絡，該網(wǎng)絡對部分遮擋的表情具有較高的準確度。文獻［17］通過關鍵點區(qū)域隨機將輸入表情圖像切分為若干個區(qū)域，通過卷積神經(jīng)網(wǎng)絡進行區(qū)域的特征提取，在自注意力模塊中采用全連接層和Sigmoid 函數(shù)將注意力權(quán)重分配到各個區(qū)域。通過上述分析，基礎網(wǎng)絡設計的方式存在特征表達瓶頸問題，同時，通過建立人臉表情局部和全局特征之間的有效聯(lián)系成為表情解析的關鍵。

本文提出一種基于改進輕量級秩擴展網(wǎng)絡（Rank Expansion Network，ReXNet）［18］的人臉表情識別方法。以ReXNet 網(wǎng)絡融合坐標注意力機制［19］作為改進的基礎架構(gòu)，將位置信息嵌入到通道注意力中。在第一次粗分類后引入細化模塊，從分類的角度提取全局上下文信息，從而獲得更精確的分類結(jié)果。

1 本文方法

本文從基礎網(wǎng)絡的特征提取性能、計算量和復雜度角度，將坐標注意力機制融合到網(wǎng)絡架構(gòu)中，以改進的輕量級秩擴展網(wǎng)絡（ReXNet）作為基礎網(wǎng)絡架構(gòu)，引入細化模塊以優(yōu)化FER 模型。本文網(wǎng)絡架構(gòu)如圖1 所示。首先，將訓練集中的人臉表情樣本作為模型的輸入，通過改進的主干網(wǎng)絡ReXNet 提取特征，從而獲得高層次的情感特征，在主干網(wǎng)絡之后增加一個坐標注意力模塊，增強對表情特征的提取，以建立局部表情特征之間的長距離依賴關系；其次，將獲得的特征圖送入分類器中得到粗分類結(jié)果，為進一步改進ReXNet，引入細化模塊來修正粗分類結(jié)果中一些錯誤的樣本，細化模塊根據(jù)每種表情的粗分類結(jié)果計算不同類別的類中心和每種表情的注意力類別特征；最后，將注意力類別特征和原始特征圖相連接，以獲得最終人臉表情的精細分類。

圖1 本文網(wǎng)絡架構(gòu)Fig.1 Architecture of the proposed network

1.1 秩擴展網(wǎng)絡改進

現(xiàn)有網(wǎng)絡通常采用按階段設計通道數(shù)的方式，同時在跨階段時進行分辨率下采樣、通道數(shù)倍增操作，在最終分類層之前將其通道數(shù)逐漸擴展到1 000以上。這種網(wǎng)絡架構(gòu)設計方案存在表達瓶頸的問題，因此，本文在表情識別過程中引入ReXNet，在網(wǎng)絡設計過程中采用通道數(shù)漸進遞增方式，同時引入Swish-1 激活函數(shù)。本文對大小為112×112×16 的淺層特征進行4 倍的卷積下采樣，隨后與高級語義特征相加并融合，增強對局部特征的關注。本文對網(wǎng)絡進行裁剪，將冗余的瓶頸層刪除，同時輸出的特征圖大小由原來的1 280 轉(zhuǎn)為185，參數(shù)量由6.8×104減少至5.8×104，達到更輕量化的效果。對于任意數(shù)據(jù)集，本文將人臉表情圖像統(tǒng)一設為224×224 像素，并將其輸入到網(wǎng)絡中。改進的ReXNet 網(wǎng)絡由卷積核為3×3、步長為2 的卷積層、兩層瓶頸卷積模塊（卷積層+正則化層+Swish-1 激活函數(shù)［13］）、通道注意力模塊組成的瓶頸層、全局池化層、用于表情分類的全連接層組成。改進的ReXNet 網(wǎng)絡結(jié)構(gòu)如圖2 所示。網(wǎng)絡依據(jù)下采樣以及漸進式的通道遞增規(guī)則逐步進行特征提取，最終輸出1×1×185 的特征圖，用于最后的表情分類。

圖2 改進的ReXNet 結(jié)構(gòu)Fig.2 Structure of improved ReXNet

1.2 坐標注意力模塊

坐標注意力（Coordinate Attention，CA）［19］是利用精確的位置信息對通道關系和長期相關性進行編碼，形成一對方向感知和位置敏感的特征圖。特征圖能夠增強感興趣的目標表示。一個CA 模塊可以看作一個用于增強特征表示能力的計算單元，它可以將中間張量X=[x1，x2，…,xc]∈RC×H×W作為輸入，并輸出一個具有同樣尺寸的增強表示能力Y=[y1，y2,…,yc]。CA模塊主要分為坐標信息嵌入、坐標注意力生成和輸入-輸出殘差連接3 個步驟。坐標注意力模塊結(jié)構(gòu)如圖3所示。

圖3 坐標注意力模塊結(jié)構(gòu)Fig.3 Structure of coordinate attention module

1.2.1 坐標信息嵌入

坐標信息嵌入將全局池化分解為兩個一維特征編碼，使得注意力模塊能夠捕獲具有精確位置信息的空間長期相關性。針對輸入X，坐標信息嵌入使用尺寸（H，1）和（1，W）的池化核沿著水平坐標方向和豎直坐標方向?qū)γ總€通道進行編碼，因此，高度為h的第c個通道的輸出表述如式（1）所示：

同理，寬度為w的第c個通道輸出如式（2）所示：

式（1）和式（2）的變換是沿著2 個空間方向進行特征聚合，返回一對方向感知特征圖。這2 種變換使得注意力模塊捕捉到沿著1 個空間方向的長期相關性，并保存沿著另一個空間方向的精確位置信息，有助于網(wǎng)絡更準確地定位感興趣的目標。坐標信息嵌入操作對應圖3 中X軸平均池化層和Y軸平均池化層。

1.2.2 坐標注意力生成與輸入-輸出殘差連接

為充分利用坐標信息嵌入模塊的全局感受野和精確位置信息的表示，坐標注意力模塊首先級聯(lián)坐標信息嵌入模塊生成的兩個特征圖，然后使用一個共享的1×1 卷積進行變換F1，如式（3）所示：

其中：［，］為特征向量沿空間維度的拼接運算；δ為非線性激活函數(shù)；生成的f∈RC/r×(H+W)為空間信息在水平方向和豎直方向的中間特征圖，r為下采樣比例，用于控制模塊的大小。坐標注意力模塊沿著空間維度將f分為兩個單獨的張量f1∈RC/r×H和f2∈RC/r×W，再利用兩 個1×1 卷積Fh和Fw將特征圖fh和fw變換為與輸入X相同的通道數(shù)，得到結(jié)果如式（4）和式（5）所示：

其中：σ為Sigmoid 函數(shù)。注意力坐標機制對fh和fw進行拓展，并作為注意力權(quán)重，通過輸入-輸出殘差連接操作得到CA 模塊的最終輸出結(jié)果，如式（6）所示：

CA 模塊同時關注了水平方向和豎直方向的注意力，同時將輸入與注意力輸出相加形成殘差學習方式，防止梯度消失，同時增強模塊的學習能力。

坐標注意力機制簡單靈活且高效，通過2D 全局池化計算通道注意力，在較低的計算成本下提高網(wǎng)絡性能，將改進的注意力機制加入到輕量級的ReXNet 網(wǎng)絡中，使網(wǎng)絡更加專注于人臉有效特征的提取。

1.3 細化模塊

細化模塊又稱注意力類特征（Attention Class Feature，ACF）模塊。由于在實際應用過程中人臉表情特征間具有共享特性，即不同類別的特征差異性不明顯，因此本文通過上下文信息與粗分類進行特征細化操作，從而增強人臉表情的精細化分類。細化模塊是根據(jù)人臉表情特征計算并自適應地感知整個樣本的不同類別中心，并通過特征聚合來提高識別準確率。細化模塊分為類中心模塊和類別細化模塊。

類中心模塊用于描述每個訓練批次樣本中每個類別的全局性表征，每個標簽類的類中心都聚合該類別表情樣本的所有特征。類中心模塊利用類別上下文信息計算每個類的類中心。類中心模塊結(jié)構(gòu)如圖4 所示。

圖4 類中心模塊結(jié)構(gòu)Fig.4 Structure of class center module

本文給定表情粗分類結(jié)果Pcoarse∈RN×E和特征圖F∈RB×C，其中，B是表情樣本數(shù)量，N是類別數(shù)，C是通道數(shù)。本文通過全連接層對特征圖F進行通道縮減操作，將通道數(shù)量縮減到C'，將Pcoarse維度重塑得到Pcoarse∈RN×E，之后進行矩陣乘法和歸一化，計算得到類中心Fclass∈RN×C。每個類別的類中心都表達了該類別的全局信息，在訓練時有助于模型學習到每個類別中具有鑒別力的特征，從而糾正之前被錯分的人臉表情類別。

類別細化模塊將粗分類結(jié)果作為類中心特征圖的注意力并計算類別細化特征。如果粗分類將表情圖片錯誤分類，粗分類需要更加關注那個錯誤的類別，以檢查特征是否具有一致性。類別細化模塊如圖5 所示。

圖5 類別細化模塊結(jié)構(gòu)Fig.5 Structure of class refine module

本文給定類中心Fclass∈RN×C和粗分類結(jié)果Pcoarse∈RN×E，對Fclass和Pcoarse轉(zhuǎn)置進行矩陣乘法，計算每張圖片的類別細化特征Fa。圖片j的類別細化特征計算如式（7）所示：

1.4 損失函數(shù)

本文實驗是一個多分類的問題，常用的損失函數(shù)主要有0～1 損失函數(shù)、均方誤差損失函數(shù)和交叉熵損失函數(shù)。0～1 損失函數(shù)雖然可以用于度量誤分類問題，但是該函數(shù)曲線是非凸的，呈現(xiàn)階躍和間斷現(xiàn)象，在求最優(yōu)解時過于復雜。均方誤差損失函數(shù)通過求解數(shù)據(jù)間最小距離的平方獲得最優(yōu)解，常用于最小二乘法中。當應用于深度學習訓練時，均方誤差損失函數(shù)使多個訓練點到最佳直線的距離最小化。當均方誤差損失函數(shù)與Sigmoid 激活函數(shù)一起使用時，輸出層神經(jīng)元的學習速率減慢。交叉熵損失函數(shù)是對數(shù)函數(shù)，曲線呈單調(diào)性趨勢，使梯度隨損失函數(shù)單向變化，有利于梯度下降反向傳播，從而更好地更新每一層的參數(shù)，以縮短預測值和實際值之間的距離。因此，本文采用的損失函數(shù)為交叉熵損失函數(shù)。交叉熵損失函數(shù)預測分布離真實值越遠，交叉熵損失越大，預測分布越接近真實值，交叉熵損失越小，其得到分類結(jié)果越準確。具體的表達如式（8）所示：

其中：yn為真實值；pn為預測值；N為類別個數(shù)。

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)集

本文采用RAF-DB 數(shù)據(jù)集［20］和FERPlus 數(shù)據(jù)集［21］。RAF-DB 數(shù)據(jù)集提供了經(jīng)由40 人標注的29 672 類表情圖片，這些圖片包含7 類基本表情類別的子集和11 類復合表情類別的子集。本文利用其中6 種基本表情和中性表情的圖片，共有15 339 張，將其中12 271 張圖片作為訓練集，另外3 068 張圖片作為測試集。FERPlus 數(shù)據(jù)庫是對FER2013 數(shù)據(jù)庫的擴展，并對其重新標簽，由28 709 張訓練圖片、3 589 張驗證圖片和3 589 張測試圖片組成，該數(shù)據(jù)集有7 種標記的表情。

2.2 實驗設置

本文實驗環(huán)境是在Ubuntu16.04 系統(tǒng)下使用Intel?UHD Graphics 630 GPU 運 行，以Pytorch 作 為基礎學習框架來編寫程序，在SCN 網(wǎng)絡的源代碼基礎上搭建本文模型。本文根據(jù)圖1 所示的網(wǎng)絡框架對整體網(wǎng)絡進行建模和相關庫的優(yōu)化，在訓練過程中使用隨機Adam 優(yōu)化交叉熵損失，初始學習率設置為0.01，在FERPlus 和RAF-DB 數(shù)據(jù)集中總批次均設置為100 次。

RAF-DB 和FERPlus 數(shù)據(jù)集有不同的制作標準。RAF-DB 數(shù)據(jù)集為研究者提供了裁剪好的人臉圖片，而FERPlus 數(shù)據(jù)集僅提供48×48 的灰度值矩陣。本文實驗的所有圖片都是通過人臉對齊算法檢測，并調(diào)整到224×224 像素。

2.3 實驗結(jié)果

2.3.1 與現(xiàn)有方法對比

本文將原始ReXNet、VGG16、VGG19、ResNet18、ResNet34 和ResNet50 主干網(wǎng)絡與改進ReXNet 網(wǎng)絡進行對比，在RAF-DB 數(shù)據(jù)集上訓練和測試不同網(wǎng)絡的性能。網(wǎng)絡的輸入圖片尺寸均為224×224 像素。在RAF-DB 數(shù)據(jù)集上不同主干網(wǎng)絡的準確率對比如表1 所示。

表1 不同主干網(wǎng)絡的準確率對比Table 1 Accuracy comparison among different backbone networks

從表1 可以看出，相對于VGG 和ResNet 系列網(wǎng)絡，ReXNet 網(wǎng)絡以少量的參數(shù)能夠達到更高的人臉表情識別率，同時改進ReXNet 網(wǎng)絡較原始的ReXNet 網(wǎng)絡能夠更好地適應表情識別任務，表明改進后的ReXNet 網(wǎng)絡具有更少的參數(shù)量和較低的計算復雜度。相比其他主干網(wǎng)絡，改進的ReXNet 作為特征提取器更合適，并具有較優(yōu)的識別精度。

在RAF-DB 數(shù)據(jù)集上，使用改進ReXNet 網(wǎng)絡的表情識別方法與DLP-CNN［22］、gACNN［23］、RAN［24］、SCN［25］方法的準確率對比如表2所示。從表2可以看出，本文方法的FER 準確率達到88.43%。因此，本文方法優(yōu)于這些最新的方法。說明本文提出的改進網(wǎng)絡在RAF-DB 數(shù)據(jù)集上能夠有效改進FER 識別效果。

表2 在RAF-DB 數(shù)據(jù)集上不同方法的人臉表情識別準確率對比Table 2 Accuracy of facial expression recognition comparison among different methods on RAF-DB dataset %

在FERPlus 數(shù)據(jù)集上，本文方法與目前主流方法VGG16-PLD［26］、SHCNN［27］、ResNet+VGG［28］、RAN［24］進行準確率對比，結(jié)果如表3 所示。從表3 可以看出，本文方法的FER 準確率達到88.80%。與現(xiàn)有主流方法相比，本文方法具有較優(yōu)的泛化能力，并且對人臉表情的識別具有更高的準確率。

表3 在FERPlus 數(shù)據(jù)集上不同方法的人臉表情識別準確率對比Table 3 Accuracy of facial expression recognition comparison among different methods on FERPlus dataset %

2.3.2 注意力圖可視化

為進一步驗證改進ReXNet 網(wǎng)絡的有效性，本文采用加權(quán)梯度類激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）［29］方法獲得網(wǎng)絡模型的分類結(jié)果，使模型更關注人臉圖像區(qū)域的表情特征。Grad-CAM 方法使得任何目標特征經(jīng)過最后一個卷積層后生成大致的局部特征圖，凸顯出圖像中對表情預測分類重要的區(qū)域。本節(jié)在RAF-DB 數(shù)據(jù)集上利用Grad-CAM 方法生成可視化注意力熱圖。部分測試圖像的可視化注意力熱圖如圖6 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版）。

圖6 部分測試圖像的可視化注意力熱圖Fig.6 Visual attention heat map of some test images

從圖6 可以看出，對于各類基本表情，熱力圖紅色區(qū)域基本集中在人臉的眼睛、眉毛和嘴巴等周圍的關鍵區(qū)域。通過Grad-CAM 方法對測試圖像中驚訝表情預測的概率分別為0.895 4 和0.994 2（第一行和第二行），對恐懼表情預測的概率分別為1.000 0和0.985 4（第一行和第二行），對厭惡表情預測的概率分別為0.825 1 和0.984 7（第一行和第二行），對開心表情預測的概率分別為0.995 1 和0.825 1（第一行和第二行），對傷心表情預測的概率分別為1.000 0和0.912 5（第一行和第二行），對生氣表情預測的概率分別均為1.000 0（第一行和第二行），對中性表情預測的概率分別為1.000 0 和0.857 8（第一行和第二行）。本文方法能夠有效地挖掘表情局部和全局信息之間的關系，降低表情間共享特征的影響，使表情學習到區(qū)分性更明顯的人臉表情特征。

2.3.3 魯棒性對比

在人臉表情識別的相關研究中，最終的識別效果往往受諸多因素的干擾，特別是人臉中的遮擋因素。本文從RAF-DB 數(shù)據(jù)集中挑選具有遮擋的圖像，構(gòu)建帶有遮擋的遮擋RAF-DB 測試子集，測試本文方法對遮擋條件下表情識別的魯棒性。在RAF-DB 數(shù)據(jù)集和遮擋RAF-DB 數(shù)據(jù)集上，原始方法（ReXNet 網(wǎng)絡）和本文方法的人臉表情識別準確率對比如表4 所示。從表4 可以看出，在遮擋RAF-DB數(shù)據(jù)集上本文方法對于遮擋的表情識別具有較優(yōu)的魯棒性。

表4 在不同數(shù)據(jù)集上不同方法的人臉表情識別準確率對比Table 4 Accuracy of facial expression recognition comparison among different methods on different datasets %

2.3.4 消融實驗

為進一步驗證坐標注意力模塊和細化模塊的有效性，以改進的ReXNet 為基礎架構(gòu)，本文在RAF-DB 和FERPlus 數(shù)據(jù)集上進行消融實驗。消融實驗結(jié)果如表5 所示。改進的ReXNet 網(wǎng)絡融合坐標注意力機制CA 和細化模塊ACF 后，準確率均有一定的提升。在RAF-DB 和FERPlus 數(shù)據(jù)集上加入CA 和ACF 模塊后整體網(wǎng)絡的FER 準確率比基礎網(wǎng)絡（沒有坐標注意力機制CA 和細化模塊ACF）分別提高了0.93 和0.8 個百分點。這說明坐標注意力有助于模型更精準地定位和識別感興趣的目標，從而提高有效特征的提取能力，同時說明細化模塊在一定程度上解決不同人臉表情類別間的差異性問題，通過上下文信息與粗分類進行特征細化操作，增強模型對人臉表情的精細化分類。因此，注意力機制和細化模塊能夠有效提高網(wǎng)絡性能，具有較優(yōu)的特征提取和模型優(yōu)化性能，提高表情識別的準確率。

表5 消融實驗結(jié)果Table 5 Ablation experimental results %

2.3.5 特征可視化結(jié)果

本文采用t-SNE［30］對2D 空間上可視化基線方法（僅采用ReXNet 網(wǎng)絡）和改進ReXNet 網(wǎng)絡進行特征提取。提取表達特征的可視化結(jié)果如圖7 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版）。對于不同的面部表情，基線方法提取的表情特征難以區(qū)分，本文方法提取的特征可以有效地減少類內(nèi)差異，增強不同表情的類間可分性。因此，本文方法對恐懼與驚訝、厭惡與悲傷表情之間的分類更為明顯。

圖7 提取表達特征的可視化結(jié)果Fig.7 Visualization results of extracted expression features

3 結(jié)束語

本文提出一種基于改進輕量級秩擴展網(wǎng)絡的人臉表情識別方法。將改進的ReXNet 作為基礎架構(gòu)，同時融合坐標注意力模塊，增強表情局部特征的表達能力，從而減少計算開銷。在此基礎上，將細化模塊引入到改進的網(wǎng)絡架構(gòu)中，從分類的角度提取全局上下文信息，結(jié)合粗分類結(jié)果對表情間的關系進行細化分析，改進類間分化效果，從而提高模型的表情分類能力。在RAF-DB 和FERPlus 數(shù)據(jù)集上的實驗結(jié)果表明，與DLP-CNN、gACNN、RAN等方法相比，本文方法能夠有效挖掘表情局部與全局信息之間的關系，具有較高的人臉表情識別準確率。后續(xù)將在GPU、CPU 等通用計算平臺上通過模型壓縮算法減少模型參數(shù)量，以滿足實際部署中低功耗、高性能的需求，使模型適用于更加復雜的應用場景中。