基于均方誤差的8位深度神經(jīng)網(wǎng)絡(luò)量化

馮鵬程，禹 龍，田生偉，耿 俊，龔國良

(1.新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046；2.新疆大學(xué) 網(wǎng)絡(luò)中心， 新疆 烏魯木齊 830046； 3.新疆大學(xué) 軟件學(xué)院，新疆 烏魯木齊 830008； 4.新疆大學(xué) 軟件工程技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830008； 5.中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100083)

0 引 言

網(wǎng)絡(luò)壓縮能夠有效減少深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)量并加快模型推理速度。目前常見的網(wǎng)絡(luò)壓縮方法有網(wǎng)絡(luò)剪枝、矩陣分解、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與搜索、量化。考慮到邊緣設(shè)備部署的簡易性，工業(yè)界常用量化作為實(shí)際網(wǎng)絡(luò)部署的網(wǎng)絡(luò)壓縮方法。在量化方法中，低比特定點(diǎn)量化和整數(shù)量化更加契合硬件設(shè)計(jì)，英偉達(dá)的TensorRT中詳細(xì)闡述了低比特量化的流程，提出了8位作為計(jì)算資源消耗與模型性能的平衡點(diǎn)，由該方法得到低比特量化模型精度損失在1%～2%左右，然而該方法對(duì)激活函數(shù)的量化消耗大量的計(jì)算資源。本文提出的量化方法致力于對(duì)深度神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)量化，使用QMSE+USP的方法尋找最合適的量化系數(shù)并且恢復(fù)網(wǎng)絡(luò)損失的性能。該過程僅需使用一定批次的無標(biāo)記數(shù)據(jù)進(jìn)行前向推理，不涉及網(wǎng)絡(luò)重訓(xùn)練，最終得到的量化模型與原始的32位浮點(diǎn)網(wǎng)絡(luò)模型精度損失在0.5%以內(nèi)。本文的主要貢獻(xiàn)如下：

(1)分析了imagenet網(wǎng)絡(luò)中權(quán)重的分布，并且針對(duì)該分布提出了一種基于量化均方誤差(QMSE)為指標(biāo)，選取量化系數(shù)的量化方案，具體分析了量化操作中四舍五入與截?cái)嗖僮鲗?duì)網(wǎng)絡(luò)性能的影響。

(2)針對(duì)小型網(wǎng)絡(luò)量化后的性能損失，提出了一種更新統(tǒng)計(jì)參數(shù)(USP)的方法，在不進(jìn)行重訓(xùn)練的情況下，實(shí)驗(yàn)結(jié)果表明，QMSE+USP的方法能夠?qū)⒛Ｐ途葥p失控制在0.5%以內(nèi)。

1 相關(guān)研究

現(xiàn)有的深度學(xué)習(xí)中，模型的訓(xùn)練與測試均采用單精度浮點(diǎn)數(shù)完成，它們?cè)趫D像分類、模式識(shí)別、目標(biāo)檢測等各領(lǐng)域取得極大成功的同時(shí)，伴隨著的是越來越深的卷積累積和大量的參數(shù)，由此，探索高效模型的研究從未停止。采用低精度表示[1-4]來壓縮神經(jīng)網(wǎng)絡(luò)模型得到了廣泛的研究，一些研究采用三值甚至二值化[5-9]的方式將模型進(jìn)行極端量化，將模型中的浮點(diǎn)乘加運(yùn)算轉(zhuǎn)化為加法運(yùn)算，極大壓縮了模型的大小，并且使得網(wǎng)絡(luò)推理速度大大的提高，因此帶來的性能損失也是不可避免的。Jacob等[10]提出了一種僅采用整數(shù)計(jì)算進(jìn)行網(wǎng)絡(luò)推理的量化方法，在可接受的精度損失情況下，完成了對(duì)Resnet50、Inception v3、MobileNet v1的8bit量化。對(duì)網(wǎng)絡(luò)進(jìn)行定點(diǎn)量化[11-15]比較切合實(shí)際硬件部署的需求，在取得高精度的同時(shí)，優(yōu)化了模型的推理速度。Lu Q等[16]找到一個(gè)在給定的硬件規(guī)范下可以實(shí)現(xiàn)的最高精度的量化體系結(jié)構(gòu)。Nagel M等[17]利用激活函數(shù)的尺度等方差特性來均衡網(wǎng)絡(luò)中的權(quán)重范圍。Krishnamoorthi R[18]對(duì)常見的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了8 bit量化，將指數(shù)移動(dòng)平均應(yīng)用于激活量化，動(dòng)態(tài)計(jì)算激活的界限，這需要遍歷整個(gè)數(shù)據(jù)集，計(jì)算非常昂貴。Meller E等[19]通過因式分解的方法降低模型量化引起的網(wǎng)絡(luò)性能退化。為了保證模型性能，相關(guān)研究進(jìn)行量化時(shí)沒有完全量化模型(如第一層與分類層保持浮點(diǎn))，使其難以應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的加速器芯片部署；另一方面，相關(guān)研究需要通過重訓(xùn)練來降低量化后的精度損失，這給算法的芯片化部署與產(chǎn)品開發(fā)帶來不利影響。本文提出的量化策略，能夠有效解決以上問題。

2 量化推理與確定量化系數(shù)

2.1 通用量化策略

考慮到硬件適用性，本文采用的量化方案為均勻?qū)ΨQ量化。均勻量化指的把輸入信號(hào)的取值域等間隔分割的量化，對(duì)于實(shí)數(shù)r，其量化值可表示為

(1)

其中，r是要量化的實(shí)數(shù)值，s代表量化步長(即量化系數(shù))，可表示為s=(b-a)/M，M表示量化級(jí)數(shù)，M=2k，k為量化位寬，量化時(shí)應(yīng)考慮到符號(hào)位，實(shí)際量化級(jí)數(shù)M為M-1。 |·| 表示四舍五入， clip(·) 函數(shù)表示將變量值裁剪到 [a,b] 區(qū)間之內(nèi)。Z_adj表示量化后0點(diǎn)的表示。對(duì)于均勻量化，可分為均勻非對(duì)稱量化與均勻?qū)ΨQ量化，對(duì)均勻非對(duì)稱量化，a=0,b=max|r|,Z_adj=-127， 對(duì)均勻?qū)ΨQ量化，a=min(r),b=max(r),Z_adj=0。

2.2 前向推理

2.2.1 卷積層量化推理

為了簡化表示，本文將矩陣運(yùn)算特殊化為單個(gè)數(shù)的乘加運(yùn)算，對(duì)于卷積層可簡單表示為式(2)

y=w×x+b

(2)

對(duì)其中的權(quán)重、輸入、偏置均勻量化后，有

(3)

(4)

(5)

其中，w,x,b分別表示原始的浮點(diǎn)值權(quán)重、輸入和偏置，s表示量化系數(shù)，q表示浮點(diǎn)值量化后的整數(shù)，z表示量化后的0點(diǎn)， clip(·) 函數(shù)與式(1)一致，權(quán)重、輸入和偏置分別用下標(biāo)進(jìn)行區(qū)分。卷積神經(jīng)網(wǎng)絡(luò)中權(quán)重通常采用均值為0的高斯分布或者均勻分布來進(jìn)行初始化，網(wǎng)絡(luò)訓(xùn)練結(jié)束后的網(wǎng)絡(luò)權(quán)重基本上在0點(diǎn)兩端呈對(duì)稱分布。MobileNet v1中兩層網(wǎng)絡(luò)權(quán)重可視化如圖1所示。

圖1 部分MobileNet v1權(quán)重分布

從圖1可以看出，訓(xùn)練完成后網(wǎng)絡(luò)的參數(shù)呈現(xiàn)基本對(duì)稱的分布，因此，本文對(duì)網(wǎng)絡(luò)采用均勻?qū)ΨQ量化，對(duì)于均勻?qū)ΨQ量化，可將z值置零，對(duì)偏置的量化系數(shù)，可設(shè)置為sb=sw×si。 則卷積可表示為

y=swqw×siqi+swsiqb

(6)

qw,qi,qb均為整型，根據(jù)文獻(xiàn)[10],任意浮點(diǎn)數(shù)可表示為[0.5,1)區(qū)間的數(shù)M乘以2n， 數(shù)M如果也采用上述的均勻?qū)ΨQ量化，將系數(shù)sw×si利用此操作進(jìn)行轉(zhuǎn)換，則卷積層的浮點(diǎn)數(shù)運(yùn)算可近似轉(zhuǎn)換為整數(shù)間的乘法和移位操作。

2.2.2 批量歸一化

對(duì)于常用的CNN，卷積之后通常接批次歸一化層(BN)與激活。針對(duì)卷積層的批次歸一化操作，可以將BN融合進(jìn)上一層的卷積中，具體計(jì)算公式如下：

批次歸一化

(7)

將(7)代入(2)

(8)

分離變量與常量

(9)

通過式(9)，將BN層的參數(shù)融合進(jìn)卷積層的參數(shù)(權(quán)重與偏置)中，即可在網(wǎng)絡(luò)推理時(shí)省略BN的計(jì)算。

2.2.3 激活與重量化

對(duì)于卷積的結(jié)果采用32位存儲(chǔ)中間結(jié)果，對(duì)中間結(jié)果y，使用式(1)中的均勻?qū)ΨQ量化，有

(10)

其中，y表示中間結(jié)果，sy表示重量化系數(shù)，該系數(shù)由網(wǎng)絡(luò)通過一定批次的訓(xùn)練數(shù)據(jù)集，統(tǒng)計(jì)其參數(shù)分布計(jì)算求得，qy表示重量化后的整型值。式(6)中的量化系數(shù) (sw×si) 與重量化的系數(shù) (sy) 可一起處理為整數(shù)乘法和移位操作。之后網(wǎng)絡(luò)經(jīng)過激活函數(shù)，常見的激活函數(shù)RELU與RELU6，激活為線性變換，對(duì)于線性對(duì)稱量化無影響。至此，網(wǎng)絡(luò)卷積層量化完畢。網(wǎng)絡(luò)的輸出傳入下一層時(shí)，網(wǎng)絡(luò)的輸入無需進(jìn)行再次量化，可直接進(jìn)行卷積操作。

2.3 QMSE確定量化系數(shù)

由2.1節(jié)可知，網(wǎng)絡(luò)的量化系數(shù)由式(1)可得。而根據(jù)圖1的MobileNet v1權(quán)重分布圖可以看出，訓(xùn)練完成得到的網(wǎng)絡(luò)參數(shù)大部分按層統(tǒng)計(jì)呈現(xiàn)均值在0附近的情況。MobileNet v1中權(quán)重幅值差距懸殊，特別是第二層的3×3卷積。Depthwise卷積層與Pointwise卷積層的權(quán)重幅值差距較大。權(quán)重幅值的大小將會(huì)極大影響網(wǎng)絡(luò)量化參數(shù)的選取。特別地，MobileNet v1中Pointwise卷積層的權(quán)重比較符合正態(tài)分布。為了確定量化系數(shù)，常用的有max準(zhǔn)則、百分比準(zhǔn)則。max準(zhǔn)則可表示為

(11)

其中，s表示max準(zhǔn)則產(chǎn)生的量化系數(shù)， 2p-1表示量化步長，對(duì)于8位量化，取值128， max|·| 取該參數(shù)分布中的最大值。max準(zhǔn)則中的量化系數(shù)由數(shù)據(jù)分布中的最大值決定，當(dāng)網(wǎng)絡(luò)參數(shù)存在離群值時(shí)，由max準(zhǔn)則確定的量化系數(shù)將存在較大的誤差，進(jìn)而影響網(wǎng)絡(luò)的性能。百分比準(zhǔn)則是按照規(guī)定百分比保留的數(shù)據(jù)，是一種優(yōu)化的max準(zhǔn)則。在一定程度上緩解了網(wǎng)絡(luò)參數(shù)中離群值對(duì)于量化參數(shù)選取的影響。對(duì)于穩(wěn)定的網(wǎng)絡(luò)權(quán)重系數(shù)，可進(jìn)行統(tǒng)計(jì)得到該值。以上方法對(duì)于參數(shù)分布比較穩(wěn)定，參數(shù)較多情況，可得到較好的效果。

使用max準(zhǔn)則將極易受到網(wǎng)絡(luò)參數(shù)離群值的影響，百分比準(zhǔn)則如何確定量化參數(shù)選取范圍受不同的網(wǎng)絡(luò)的影響。這兩種方法確定量化系數(shù)時(shí)只用到了網(wǎng)絡(luò)參數(shù)的最大值，沒有考慮到網(wǎng)絡(luò)參數(shù)中其它的值在量化中產(chǎn)生的誤差，使用以上準(zhǔn)則選取量化系數(shù)能夠較好量化分布均勻的參數(shù)，而常用的網(wǎng)絡(luò)參數(shù)大部分服從正態(tài)分布。為了充分利用量化產(chǎn)生的誤差，選取更加合適的量化系數(shù)。本文提出了一種使用量化均方誤差(QMSE)來衡量量化誤差的方法。均方誤差可表示為

mse=mean((r-Q)2)

(12)

其中，r表示浮點(diǎn)數(shù)，Q為通過式(1)量化得到的整數(shù)。 mean(·) 為求均值操作。通過對(duì)一定范圍內(nèi)的scale(量化系數(shù))進(jìn)行搜索，得到一個(gè)使原數(shù)據(jù)分布與量化后數(shù)據(jù)分布均方誤差最小的量化系數(shù)。根據(jù)式(1)可知，量化操作包含了舍入誤差和截?cái)嗾`差，而這兩種誤差在給定量化位寬(8 bit)的情況下，其量化誤差有著完全不同的情況。由此，本文分別分析了量化操作中四舍五入、截?cái)嘁约皟烧呓Y(jié)合的均方誤差關(guān)系，如圖2～圖4所示。

圖2 舍入操作產(chǎn)生的均方誤差

圖3 截?cái)嗖僮鳟a(chǎn)生的均方誤

圖4 量化系數(shù)與量化均方誤差的關(guān)系

由圖2可知，量化系數(shù)實(shí)際代表了量化的最小精度，當(dāng)量化系數(shù)變大，量化的位寬越大，舍入誤差隨之增大。從圖3可以看出，截?cái)嗖僮鲙淼恼`差主要是量化系數(shù)過小，導(dǎo)致參數(shù)超出8 bit能表示的范圍，從而產(chǎn)生較大的截?cái)嗾`差，該操作在量化系數(shù)較小時(shí)，對(duì)均方誤差的影響是決定性的。從圖4可以看出，引入兩種操作后，最終的均方誤差圖與截?cái)嗖僮鳟a(chǎn)生的誤差圖相似。因此，根據(jù)網(wǎng)絡(luò)權(quán)重和特征圖的數(shù)據(jù)分布可以計(jì)算相應(yīng)的量化值，通過最小化量化值與原數(shù)據(jù)的均方誤差，得到最佳的量化系數(shù)。

為了更加具體分析模型性能與量化操作中舍入操作與截?cái)嗖僮鞯年P(guān)系，本文引入了一個(gè)超參數(shù)，來衡量舍入操作與截?cái)嗖僮鳟a(chǎn)生的量化誤差對(duì)模型性能的影響，即QMSE，公式如下

QMSE=errround+α*errclip

(13)

通過超參數(shù)α來控制四舍五入和截?cái)嗖僮鳟a(chǎn)生的誤差對(duì)量化誤差的影響程度，從而更加精確選取量化系數(shù)。

圖2～圖4的實(shí)驗(yàn)數(shù)據(jù)分布為隨機(jī)初始化的正態(tài)分布，且限定范圍為[-1,1]，量化位寬固定為8 bit，數(shù)據(jù)幅值與分布情況的改變，也將會(huì)影響量化系數(shù)的選定，本文的策略主要針對(duì)網(wǎng)絡(luò)權(quán)重參數(shù)進(jìn)行量化，由于網(wǎng)絡(luò)的特征圖分布一般比較均勻，使用max系列準(zhǔn)則量化效果更佳，在實(shí)驗(yàn)部分會(huì)驗(yàn)證采用QMSE量化權(quán)重，max準(zhǔn)則量化特征圖具有更好的效果。

2.4 USP恢復(fù)網(wǎng)絡(luò)性能

在網(wǎng)絡(luò)中添加BN層能有效加快網(wǎng)絡(luò)收斂，通常在每個(gè)卷積層之后，激活函數(shù)之前，計(jì)算該層特征圖的均值和方差，并且進(jìn)行歸一化，同時(shí)設(shè)置了兩個(gè)可學(xué)習(xí)變量λ、β， 保證網(wǎng)絡(luò)的非線性。訓(xùn)練結(jié)束后，批次歸一化層中的可學(xué)習(xí)變量與統(tǒng)計(jì)參數(shù)(均值和方差)固定，推理時(shí)使用確定的參數(shù)進(jìn)行前向傳播。文獻(xiàn)[17]中提出權(quán)重的量化誤差可能在相關(guān)的輸出端引入偏置誤差，這會(huì)改變下一層的輸入分布，導(dǎo)致不可預(yù)測的影響。

對(duì)于量化后的網(wǎng)絡(luò)特征圖，仍然使用浮點(diǎn)網(wǎng)絡(luò)中訓(xùn)練時(shí)得到的均值和方差進(jìn)行批次歸一化是不合理的。針對(duì)這一問題，本文提出更新批次歸一化層中的統(tǒng)計(jì)參數(shù)(均值和方差)，即USP方法，通過重新計(jì)算量化后網(wǎng)絡(luò)中批次歸一化層中的均值和方差，校正網(wǎng)絡(luò)各層特征圖的分布。與重訓(xùn)練不同的是，該過程僅需要將一定批次(200左右)的無標(biāo)記數(shù)據(jù)通過網(wǎng)絡(luò)的前向計(jì)算，不涉及反向傳播，無需進(jìn)行損失函數(shù)計(jì)算。

針對(duì)MobileNet v1此類小網(wǎng)絡(luò)，由于網(wǎng)絡(luò)參數(shù)量小，使得網(wǎng)絡(luò)各層的參數(shù)分布不均勻，其逐通道卷積每個(gè)通道上僅有9個(gè)數(shù)字，數(shù)據(jù)分布已經(jīng)丟失了對(duì)稱性，對(duì)該類網(wǎng)絡(luò)采用均勻?qū)ΨQ量化，量化過程中必將導(dǎo)致網(wǎng)絡(luò)參數(shù)分布改變，網(wǎng)絡(luò)的性能也將明顯下降，由此，本文使用更新統(tǒng)計(jì)參數(shù)的方法。具體操作如圖5所示，使用一組訓(xùn)練集中的數(shù)據(jù)，將其送入網(wǎng)絡(luò)前向推理，并且使用指數(shù)滑動(dòng)平均的方法對(duì)BN層的均值與方差進(jìn)行更新。在進(jìn)行參數(shù)更新的時(shí)候，需要保證送入的數(shù)據(jù)集具有多樣性，能夠盡可能包含大部分類型的種類，這對(duì)特征圖的量化后性能十分重要。

圖5 USP方法流程

3 實(shí)驗(yàn)分析

在本節(jié)，本文將使用常用的ILSVRC圖像分類數(shù)據(jù)集對(duì)一些常用的網(wǎng)絡(luò)如VGG系列、Resnet系列和輕量級(jí)網(wǎng)絡(luò)MobileNet v1進(jìn)行量化，并進(jìn)行相應(yīng)的評(píng)估。其中，ILSVRC圖像分類數(shù)據(jù)集包括120萬訓(xùn)練圖片和5萬驗(yàn)證圖片。若無特殊說明，本文對(duì)所有網(wǎng)絡(luò)進(jìn)行8 bit量化，包括網(wǎng)絡(luò)的第一層和最后一層以及進(jìn)行網(wǎng)絡(luò)推理所需要的所有參數(shù)。所有實(shí)驗(yàn)結(jié)果表示ILSVRC圖像分類數(shù)據(jù)集top1準(zhǔn)確率，單位為百分比。

3.1 量化準(zhǔn)則實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的均方誤差準(zhǔn)則確定量化系數(shù)的有效性，使用max準(zhǔn)則與其進(jìn)行對(duì)比實(shí)驗(yàn)，并且分別進(jìn)行逐通道和逐層量化，F(xiàn)p32表示原始浮點(diǎn)網(wǎng)絡(luò)的精度。得到的對(duì)比實(shí)驗(yàn)結(jié)果見表1。

表1 max準(zhǔn)則與QMSE準(zhǔn)則確定量化系數(shù)結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果表明，使用max準(zhǔn)則與QMSE準(zhǔn)則對(duì)于Resnet系列的網(wǎng)絡(luò)進(jìn)行8 bit量化都能取得很好的效果，使用QMSE確定量化系數(shù)更加有效。

為了分析四舍五入與截?cái)嗖僮鲗?duì)模型性能的影響，本文使用Resnet34、Rsenet50和Vgg11進(jìn)行了實(shí)驗(yàn)，該實(shí)驗(yàn)限定了逐層量化，使用QMSE準(zhǔn)則確定權(quán)重量化系數(shù)，max準(zhǔn)則確定特征圖量化系數(shù)。實(shí)驗(yàn)結(jié)果見表2。

表2 四舍五入與截?cái)鄬?duì)模型性能實(shí)驗(yàn)結(jié)果對(duì)比

由表2可知，在α值大于1時(shí)，模型性能更好，由此可知，截?cái)嗖僮鲗?duì)模型量化系數(shù)的選取重要性更明顯。

由表3可知，對(duì)網(wǎng)絡(luò)進(jìn)行逐通道與逐層量化的結(jié)果表明，網(wǎng)絡(luò)進(jìn)行逐通道量化會(huì)得到較好的結(jié)果，原因是網(wǎng)絡(luò)進(jìn)行逐通道量化時(shí)能夠更加契合網(wǎng)絡(luò)參數(shù)的原始分布，相比逐層量化，逐通道量化將會(huì)帶來額外的參數(shù)計(jì)算與存儲(chǔ)，采用逐層量化性能相比逐層量化差距在0.5%以內(nèi)，可從硬件資源和模型性能上考慮采用相應(yīng)的量化方式。

表3 逐通道與逐層量化結(jié)果對(duì)比

為了驗(yàn)證采用QMSE方法量化權(quán)重、max準(zhǔn)則量化特征圖的有效性，本文對(duì)Resnet34網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表4。

表4 混合量化策略有效性結(jié)果對(duì)比

從表4可以看出，max量化特征圖、QMSE量化權(quán)重的量化策略取得的效果最好。

3.2 更新統(tǒng)計(jì)參數(shù)實(shí)驗(yàn)結(jié)果

對(duì)小型網(wǎng)絡(luò)如MobileNet v1進(jìn)行量化時(shí)，網(wǎng)絡(luò)性能明顯下降，本文針對(duì)它驗(yàn)證更新統(tǒng)計(jì)參數(shù)的有效性，具體方法是對(duì)權(quán)重和特征圖量化后，從訓(xùn)練集中隨機(jī)挑選一定批次(200 batch左右)的圖片，并將其送入網(wǎng)絡(luò)進(jìn)行前向推理，更新批次歸一化層的統(tǒng)計(jì)參數(shù)，從而達(dá)到校準(zhǔn)網(wǎng)絡(luò)參數(shù)分布的目的。表5實(shí)驗(yàn)結(jié)果表明，對(duì)量化后的網(wǎng)絡(luò)更新統(tǒng)計(jì)參數(shù)能夠有效對(duì)網(wǎng)絡(luò)訓(xùn)練得到的特征進(jìn)行修復(fù)，使網(wǎng)絡(luò)在進(jìn)行8 bit整型量化后，能夠恢復(fù)至FP32條件下同樣標(biāo)準(zhǔn)的精度。對(duì)MobileNet v1此類小型網(wǎng)絡(luò)進(jìn)行逐通道量化時(shí)，模型性能低于逐層量化，原因是MobileNet v1中單個(gè)通道的參數(shù)極少，網(wǎng)絡(luò)權(quán)重參數(shù)對(duì)稱性分布被打破，采用對(duì)稱量化勢必不能取得較好的效果。

3.3 與其它方法的比較

在本節(jié)中，將本文提出的QMSE+USP方法與其它研究中的方法進(jìn)行比較，大部分參考文獻(xiàn)中使用的模型有MobileNet v1和Resnet50。使用文獻(xiàn)[18]中的方法對(duì)MobileNet v1進(jìn)行逐層量化會(huì)導(dǎo)致模型失去分類能力。

表5 更新統(tǒng)計(jì)參數(shù)結(jié)果對(duì)比

由表6可知，使用QMSE+USP對(duì)MobileNet v1、Resnet50模型量化之后，模型性能優(yōu)于其它的算法。

表6 與其它研究方法結(jié)果對(duì)比

4 結(jié)束語

本文提出了一種QMSE量化準(zhǔn)則來確定量化系數(shù)的方法，分析了量化操作中四舍五入與截?cái)嗖僮鲗?duì)網(wǎng)絡(luò)性能的影響，通過設(shè)置合適超參數(shù)對(duì)量化網(wǎng)絡(luò)性能進(jìn)行微調(diào)，并且針對(duì)小型網(wǎng)絡(luò)量化性能下降嚴(yán)重的問題，進(jìn)一步提出了USP，校準(zhǔn)網(wǎng)絡(luò)參數(shù)分布，從而減小量化所帶來的性能損失。使用QMSE+USP能夠?qū)⒊Ｓ玫纳疃壬窠?jīng)網(wǎng)絡(luò)進(jìn)行8 bit整型量化且達(dá)到與Fp32條件下同樣標(biāo)準(zhǔn)的性能，且該方法不需要對(duì)網(wǎng)絡(luò)進(jìn)行重訓(xùn)練。筆者模擬了常用的深度神經(jīng)網(wǎng)絡(luò)量化推理的性能，并將網(wǎng)絡(luò)在推理過程中的浮點(diǎn)數(shù)計(jì)算全部轉(zhuǎn)換成了整數(shù)之間的運(yùn)算和移位操作，大幅度加快了網(wǎng)絡(luò)的推理速度，同時(shí)節(jié)省接近4倍的硬件資源，并且模型的性能下降在0.5%內(nèi)。