基于VGG-16的電商評論圖像審核

李蘭，潘浩

（青島理工大學信控學院，山東青島，266000）

0 引言

如今，隨著互聯(lián)網(wǎng)的高速發(fā)展，以京東，淘寶等為主的電商平臺迅速崛起，網(wǎng)上購物免去了很多交通和時間成本，給人們的生活工作帶來了極大的方便。但是隨著電商平臺的商品種類和數(shù)量的不斷擴大，商品質量也變得參差不齊，因此消費者對于商品質量的售后評價成為了衡量商品質量和平臺綜合服務的重要標準，而評價對于后續(xù)購買該商品的消費者來說具有極大的參考價值，不僅可以保障消費者的權益也有利于督促商家不斷提高商品質量。

上傳商品點評圖像是商品點評的重要環(huán)節(jié)，真實的商品圖像往往比商品描述文字，語言更有說服力，更能協(xié)助消費者觀察商品整體情況從而判斷商品是否適合自己，然而點評信息并不都是有效的，部分用戶為了圖簡單，隨意填寫，隨便上傳圖片，甚至惡意上傳大量無效圖像，這類無效點評不僅影響用戶的使用體驗也使得平臺公信力下降，因此電商平臺會通過人工在后臺對點評信息進行審核，篩選并剔除大量的無效評論圖像和內容。

隨著大數(shù)據(jù)和人工智能的發(fā)展，利用神經(jīng)網(wǎng)絡對圖像進行識別分類已經(jīng)在各個領域得到了很好的應用，張建華等學者[1]利用VGG卷積神經(jīng)網(wǎng)絡實現(xiàn)對棉花病害圖像對識別，從而通過機器對棉花病害做出診斷；徐昭洪等人[2]通過神經(jīng)網(wǎng)絡對預編碼對建筑圖像進行了語義分割；王菽裕等學者[3]通過VGG16框架實現(xiàn)了對名人面孔圖像的識別。陳英義[4]以及田佳鷺等[5]學者團隊，分別基于VGG-16通過遷移學習實現(xiàn)了對與魚類和猴子圖像等分類識別，并取得了較高的準確率。本文在前人研究的基礎上，基于傳統(tǒng)的VGG-16網(wǎng)絡建立起圖像識別模型，并優(yōu)化了梯度下降算法，解決了模型過擬合問題，該模型可以根據(jù)已有電商平臺用戶上傳的點評圖像快速準確判斷圖像對應類型，完成圖像分類，預測，審核，提高了平臺審核效率。

1 模型算法

1.1 VGG-16卷積神經(jīng)網(wǎng)絡

如今大數(shù)據(jù)的不斷發(fā)展使得深度學習在數(shù)據(jù)處理方面得到廣泛應用，Hinton提出的深度置信區(qū)間以及硬件設備GPU性能的不斷優(yōu)化大幅提高了神經(jīng)網(wǎng)絡的訓練速度。在圖像識別應用中，卷積神經(jīng)網(wǎng)絡（Convolution Neural Network，CNN）可以在短時間內訓練大量圖像數(shù)據(jù)。隨著卷積神經(jīng)網(wǎng)絡的發(fā)展，一些學者科研團體或者企業(yè)組織開始構造較為通用的普適性模型，VGG[6]模型便是其中之一，由Simonyan等人提出并研發(fā)，其命名來源于牛津大學視覺幾何組（Visual Geometry Group）的縮寫。本文采用在圖像分類任務中表現(xiàn)較為出色的VGG-16卷積神經(jīng)網(wǎng)絡模型進行研究。

作為卷積神經(jīng)網(wǎng)絡中分類性能優(yōu)良的網(wǎng)絡模型，VGG-16提出卷積塊的概念，使模型的感受野更廣闊，并且減少網(wǎng)絡參數(shù)；VGG-16通過多次使用ReLU激活函數(shù)，實現(xiàn)更多的線性變換，從而提高學習能力。VGG-16網(wǎng)絡模型一共由包括13個卷積層、5個最大池化層、3個全連接層和1個輸出層(Softmax)等22個層級結構組成。

VGG-16網(wǎng)絡通過將3×3卷積核和2×2最大池化層排列組合，以提取出輸入圖像中大量細節(jié)特征。通過堆疊組合3×3卷積核不但實現(xiàn)了與其他類型卷積核相同的效果，而且使模型具備更好的非線性特征。

1.2 模型優(yōu)化

在進行圖像分類任務時，影響分類效果和系統(tǒng)性能的主要指標包括識別精度和仿真速度，這兩點分別影響著模型的識別準確率和效率，為了進一步提高識別效果，我們對傳統(tǒng)VGG-16網(wǎng)絡進行優(yōu)化。優(yōu)化模型的方法有很多，包括梯度下降、拓展數(shù)據(jù)集、降低過擬合以及遷移學習等等，其中梯度下降優(yōu)化算法在卷積神經(jīng)網(wǎng)絡中的應用較為廣泛。本文采用了隨機梯度下降的優(yōu)化算法[7]，它可以在每次更新權重的同時更新每個樣本的梯度；在實際公司業(yè)務中，數(shù)據(jù)的大量冗余在所難免，相對于其他梯度下降算法，該算法可以在數(shù)據(jù)冗余時，更加有效地利用數(shù)據(jù)信息。每當更新參數(shù)時，算法僅使用一個樣本x及其所對應的標簽進行梯度運算，公式如式(1)：

網(wǎng)絡模型訓練完成后，需要評估其識別性能和損失值[8]。本模型中的損失值通過運用對數(shù)損失函數(shù)計算，其運算公式如式(2)：

1.3 防止過擬合

模型對訓練集與驗證集的識別準確率差距較大的現(xiàn)象叫做過擬合，出現(xiàn)過擬合的模型泛化性能不強，極大影響識別效果。通過降低過擬合方法主要包括Dropout方法、數(shù)據(jù)集擴增方法以及遷移學習方法。

Dropout方法[9]通過隨機地丟棄訓練所得的信息，從而減少模型過擬合。該方法應用于激活層之后，每次反向傳播時按一定比例對激活層的隱藏節(jié)點隨機采樣，使得全連接網(wǎng)絡稀疏化，從而減輕了不同特征的協(xié)同效應；由于隱含節(jié)點都是以一定概率隨機出現(xiàn)，因此兩個神經(jīng)元不會每次同時出現(xiàn)，減少了神經(jīng)元之間的共適應關系，提高了魯棒性。

卷積神經(jīng)網(wǎng)絡對于同一圖像數(shù)據(jù)不同情況下的形態(tài)，都可以進行穩(wěn)健的分類，因此利用基本變換可以有效擴充數(shù)據(jù)集。即通過裁剪、旋轉、錯切等圖像變換手段處理原始圖片樣本集，不僅獲得了更多的訓練樣本圖片，還提高了模型的抗干擾能力，解決了模型因數(shù)據(jù)不足導致的表達能力差、過度擬合等問題。

遷移學習[11]是將已經(jīng)過完整訓練的通過模型應用到新的任務中，大幅降低了模型的研發(fā)成本。由于本文所需數(shù)據(jù)集的采集難度較高，現(xiàn)有數(shù)據(jù)量難以支撐訓練任務，利用遷移學習可以有效解決這一問題。利用VGG-16在ImageNet數(shù)據(jù)集上的預訓練模型進行相關知識的遷移，優(yōu)化各卷積層和池化層的參數(shù)，降低過擬合的同時節(jié)省了訓練成本。

2 評論圖像分類模型研究

2.1 訓練圖像數(shù)據(jù)分析

由于審核需要篩除對用戶沒有參考意義的評論圖像，因此通過對電商平臺點評數(shù)據(jù)的分析以及人工審核規(guī)則，將得到的圖像分類，如表1所示。

表1 點評圖像數(shù)據(jù)集

本次實驗使用數(shù)據(jù)源均來源于京東、天貓、網(wǎng)易嚴選、蘇寧易購等電商平臺用戶上傳的商品評論數(shù)據(jù)，并經(jīng)過人工標記，各評論數(shù)據(jù)示例圖如圖3.1，不同電商點評圖像的特征如表2所示。

圖1 點評圖像分類示例圖

表2 電商6種評論圖像特征

2.2 模型處理流程

本文模型訓練和測試均在Tensorflow環(huán)境下進行，模型搭建采用開源框架實現(xiàn)，硬件設備:處理器為AMD 2600X，GPU為NVIDIA GTX2080TI。模型對圖像處理流程如下:

Step1：數(shù)據(jù)預處理。由于電商數(shù)據(jù)可采樣的樣本數(shù)量有限，因此首先通過平移、縮放、旋轉、錯切等圖形變換手段對用戶在評論中上傳的圖像進行處理，生成更多不同的訓練樣本，而后調整數(shù)據(jù)圖像尺寸大小統(tǒng)一，并將數(shù)據(jù)集合注入網(wǎng)絡進行訓練。通過預處理在擴充了訓練數(shù)據(jù)量的同時，也強化了模型的泛化能力。

Step2：輸入評論圖像圖樣。從Step1生成的點評圖像庫中抽取圖片，輸入模型進行訓練。

Step3：將VGG-16卷積神經(jīng)網(wǎng)絡應用于電商用戶上傳評論圖像審核，構建如圖3.2所示的電商評論圖像分類模型：輸入224像素×224像素×3向量的RGB圖像，首先經(jīng)過兩個卷積核大小為3×3的卷積層，卷積核數(shù)量均為64，滑動步長為1，經(jīng)過兩次卷積和ReLU運算后，尺寸變?yōu)?24×224×64；再經(jīng)過一層池化單元尺寸為2×2，步長為2的最大池化層，該池化層使目標圖像尺寸減半，變?yōu)?12×112×64，接著經(jīng)過與之前相同的兩個卷積層和最大池化層，目標圖像尺寸變?yōu)?6×56×128；隨后經(jīng)過3層卷積核大小均為3×3，數(shù)量均為256，步長為1的卷積層，以及池化單元尺寸大小為2×2，步長為2的最大池化層，圖像輸出為28×28×256，最終經(jīng)過三層卷積和一層最大池化重復三次處理后，圖像最終尺寸輸出為7×7×512；隨后經(jīng)過兩個包含4096個隱藏節(jié)點的全連接層及ReLU，最后一層輸出層包含6個節(jié)點，對應本次電商圖像常見的6種分類結果，進行Softmax分類。

圖2 電商評論圖像分類模型

本文提出的電商評論圖像分類模型在卷積層均采用3×3尺寸的卷積核，并由2或3個卷積核連續(xù)排列，可以獲得更大的感受野；卷積核滑動步長為1，并利用padding邊界填充使卷積層前后圖像維數(shù)不變；模型中的池化層選用2×2尺寸的池化窗口，步長為2，用于降低卷積后的特征圖尺寸，實現(xiàn)少量參數(shù)對特征的表示；全連接層是連續(xù)3個全連接結構的堆疊組合，通道數(shù)分別是4096、4096、6個；網(wǎng)絡末尾是由具有6個標簽的Softmax分類器作為輸出；在已有網(wǎng)絡基礎上采用隨機梯度下降算法更新模型參數(shù)；模型在激活函數(shù)之前應用歸一化方法，在全連接層執(zhí)行Dropout方法，系數(shù)分別為0.7、0.5，通過Xavier方法初始化全連接層參數(shù)，根據(jù)對測試集數(shù)據(jù)的識別準確率和整體性能對模型進行評價。

2.3 模型訓練和結果分析

在對模型進行訓練時，我們加載ImageNet上的VGG-16預訓練模型，通過遷移學習方式優(yōu)化評論圖像識別模型參數(shù)，主要優(yōu)化13個卷積層和池化層的參數(shù)。設定動量參數(shù)、學習速率和迭代次數(shù)，通過損失函數(shù)的迭代，優(yōu)化網(wǎng)絡各層參數(shù)。在訓練過程中，經(jīng)過對測試數(shù)據(jù)的迭代測試，我們發(fā)現(xiàn)當?shù)l次較低時，網(wǎng)絡對訓練數(shù)據(jù)的學習不夠充分，在測試集的識別準確率也不理想，隨著訓練的迭代進行，圖像在測試集的識別準確率持續(xù)上升，并最終穩(wěn)定在較高水平。

因此，本文構建的網(wǎng)絡模型，通過遷移學習的支持，不僅保持了較高的識別精度同時收斂性能相對較強。本問提出模型在擴增過的訓練集上訓練量級達到450輪時，在測試集上的識別精度達到了90%以上，取得了優(yōu)良的識別性能。為比較本文研究模型與其他識別方法和模型的性能差異，本次研究將BP神經(jīng)網(wǎng)絡[12]、支持向量機[13]等2種淺層網(wǎng)絡，以及AlexNET[14]、傳統(tǒng)VGG-16NET[15]等2種深層神經(jīng)網(wǎng)絡作為對照模型，與本文模型進行對照分析，結果如表3所示。

表3 電商點評圖像分類結果

通過實驗，由表3.3對比可知，Alex、傳統(tǒng)VGG-16與本文優(yōu)化VGG-16等3種深層神經(jīng)網(wǎng)絡模型均大幅優(yōu)于BP神經(jīng)網(wǎng)絡、支持向量機等2種淺層網(wǎng)絡。由于VGG-16網(wǎng)絡的特征提取是通過3×3卷積核的堆疊組合，提取出電商評論圖像區(qū)域內更多較細節(jié)的特征，因此，基于VGG-16的網(wǎng)絡模型分類準確率優(yōu)于Alex模型，同時，本研究模型綜合采用了隨機梯度下降算法和一系列降低過擬合的方法，從測試結果看對于各個類型圖像的識別準確率以及平均準確率均略高于傳統(tǒng)VGG-16NET。由此可知，本文提出的模型識別電商點評圖像的準確率更高，對不同類型點評圖像的分類效果更好。

3 結論

本文基于VGG-16卷積神經(jīng)網(wǎng)絡模型的基礎上，構建了一個電商點評圖像分類模型，通過使用隨機梯度下降算法更新網(wǎng)絡權重，并利用數(shù)據(jù)集擴增、Dropout方法、遷移學習等方法優(yōu)化模型，針對當前研究課題和業(yè)務，有效提高了訓練效率和識別準確率，并降低了過擬合，實驗結果表明本模型達到了很高的識別精度和模型性能，實現(xiàn)了預期目標。

電商平臺點評圖像自動分類審核的實現(xiàn)，不僅為企業(yè)節(jié)省了大量人力成本，運營成本和培訓成本，還提高了電商圖像的審核效率，可以更快的為網(wǎng)站用戶提供更有效更真實的購物評論信息。為互聯(lián)網(wǎng)電商平臺的后臺運營的方式方法提供了新的思路，在更廣闊的方向上，為機器取代人類的重復性勞動，提供了可能，對于智能機器人領域的發(fā)展也有深遠意義。

點評圖像自動審核是基于圖像識別和特征提取的方式，下一步我們可以考慮引入圖像和自然語言的情感語義分析，進一步通過深度學習強化機器對于商品點評內容信息的理解，嘗試結合文字和圖像兩個維度識別點評信息積極和消極因素，此外還可以在VGG-16模型基礎上引進注意力機制，通過強化重要信息關注點，提高識別效果，最大化實現(xiàn)完全取代人工的自動審核功能。