基于VD-MobileNet網(wǎng)絡(luò)的WebAR生活垃圾分類信息可視化方法

劉南杉，裴云強，蔣 皓，韓永國，吳亞東，王賦攀，易思恒

基于VD-MobileNet網(wǎng)絡(luò)的WebAR生活垃圾分類信息可視化方法

劉南杉1，裴云強1，蔣 皓1，韓永國1，吳亞東2，王賦攀1，易思恒1

(1. 西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，四川 綿陽 621010；2. 四川輕化工大學(xué)計算機科學(xué)與工程學(xué)院，四川 自貢 643002)

隨著我國垃圾分類制度的加速推行，基于虛擬/增強現(xiàn)實技術(shù)的垃圾分類應(yīng)用大量涌現(xiàn)。受識別設(shè)備平臺及居民應(yīng)用習(xí)慣等方面的影響，針對目前該類應(yīng)用在便捷性、實用性上存在較大不足，提出了一種基于輕量化神經(jīng)網(wǎng)絡(luò)并融合移動增強現(xiàn)實及可視化技術(shù)的垃圾分類應(yīng)用方案。首先，提出了基于深度學(xué)習(xí)的垃圾分類可變擴張卷積VD-MobileNet模型方法能夠解決移動設(shè)備中存在的計算能力有限、網(wǎng)絡(luò)龐大等問題，通過在MobileNet模型中引入空洞卷積增加感受野、擴大垃圾的特征信息以提升分類精度，引入LeakyReLU激活函數(shù)優(yōu)化網(wǎng)絡(luò)的表達能力；其次，將該模型與WebAR技術(shù)結(jié)合，設(shè)計了一款面向移動設(shè)備的輕量級垃圾分類信息可視化系統(tǒng)，該系統(tǒng)具備跨平臺特性，實現(xiàn)了對分類信息的多元化可視呈現(xiàn)，提供了靈活的交互方式。實驗及評估表明，該VD-MobileNet模型在垃圾分類數(shù)據(jù)集中分類效果良好，能夠在參數(shù)量不變的前提下有效減少計算量，此外結(jié)合該模型所設(shè)計的WebAR應(yīng)用系統(tǒng)可為用戶的垃圾處理事務(wù)提供合理有效地協(xié)助。

垃圾分類；移動增強現(xiàn)實；MobileNet模型；可視化技術(shù)；空洞卷積；WebAR

上海于2019年開始嚴(yán)格執(zhí)行垃圾分類相關(guān)法律法規(guī)，其余各地部分示范城市也紛紛加入垃圾分類的行列中。當(dāng)前不同地區(qū)采取了各種方式協(xié)助居民進行垃圾分類，同時相關(guān)部門安排監(jiān)管人員監(jiān)督、檢查生活垃圾的投放情況。但多數(shù)居民仍缺乏垃圾分類的環(huán)保意識，其主要原因為：①不同地區(qū)對垃圾類型未明確定義，導(dǎo)致實際投放效果較差，且居民對垃圾分類意識薄弱；②傳統(tǒng)的垃圾分類宣傳方式成本物力高。

增強現(xiàn)實[1](augmented reality，AR)技術(shù)正在穩(wěn)定地發(fā)展，在真實場景中AR能夠渲染由計算機產(chǎn)生的虛擬物體，并將虛擬信息疊加到真實場景并進行呈現(xiàn)，讓用戶感知信息增強后更豐富的新世界。結(jié)合該技術(shù)學(xué)習(xí)新知識的方式已運用于如乳腺癌分類、人臉識別、零件分類等工作中。融合AR技術(shù)與垃圾分類的知識并結(jié)合信息可視化技術(shù)，能快速提示垃圾的類別信息，并提高垃圾分類的準(zhǔn)確性。AR設(shè)備大體分為頭戴式設(shè)備、投影顯示器、移動設(shè)備等。當(dāng)前頭戴式設(shè)備價格高昂，不能滿足大部分用戶的需求，且不易隨身攜帶；投影顯示的不足在于設(shè)備體積龐大、受光照等環(huán)境因素制約太大[2-3]。對比之下，移動設(shè)備的便攜性能滿足大部分用戶的應(yīng)用需求，而龐大的受眾群體基數(shù)同時也促進了移動AR技術(shù)的發(fā)展。基于APP的移動增強現(xiàn)實(mobile AR，MAR)技術(shù)和WebAR技術(shù)均屬于MAR技術(shù)。其中APP-based AR普遍存在額外下載、響應(yīng)時間長、跨平臺等問題。WebAR的優(yōu)勢不僅彌補了APP-based AR存在的上述不足，還擁有保護用戶隱私、提高用戶體驗[4]等優(yōu)點。

針對目前傳統(tǒng)的WebAR圖像識別準(zhǔn)確性較低的問題，本文提出基于深度學(xué)習(xí)的垃圾分類VD-MobileNet可視化系統(tǒng)，實現(xiàn)WebAR輔助用戶高效地處理垃圾。實驗證明本文方法分類效果較好，在參數(shù)量不變的情況下，計算量降低，解決了移動設(shè)備計算能力有限的問題，同時減緩移動設(shè)備延遲的現(xiàn)象。

1 相關(guān)工作

本文的目標(biāo)是促進WebAR與垃圾分類的結(jié)合，并以可視化的形式展示出垃圾的類別等信息。

(1) WebAR與垃圾分類。CARMO等[5]提出了關(guān)于AR的應(yīng)用程序，使用可視化呈現(xiàn)太陽輻射數(shù)據(jù)信息，其優(yōu)勢在于既可以檢測數(shù)據(jù)中的錯誤，又能提高公眾對于發(fā)電的認(rèn)識。李軍鋒等[6]使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)解決了AR中變壓器圖像識別問題，使得識別準(zhǔn)確率更高。裴云強等[7]使用L-K光流方法解決了對象的識別跟蹤問題，并豐富了WebAR與信息可視化的交互方式。孔慶杰和林姝[8]提出了基于AR的垃圾分類方法，用戶可使用設(shè)備提示器快速準(zhǔn)確地進行垃圾分類投放。以上研究大多未對垃圾作為目標(biāo)進行獨立的圖像分類方案，因此本文考慮讓垃圾分類結(jié)合WebAR來做研究。

傳統(tǒng)的WebAR圖像識別技術(shù)，如：尺度不變特征變換(scale-invariant feature transform，SIFT)以及方向梯度直方圖(histogram of oriented gradient，HOG)等，由于計算量過大，無法滿足海量圖像的分類，導(dǎo)致識別準(zhǔn)確性較低。因此引入深度學(xué)習(xí)技術(shù)能夠加強圖像分類的精度以彌補這一缺陷。

(2) 輕量化網(wǎng)絡(luò)。深度學(xué)習(xí)更好地解決了圖像識別和圖像分類等問題，其中對網(wǎng)絡(luò)架構(gòu)的研究是神經(jīng)網(wǎng)絡(luò)發(fā)展的重點之一。隨著研究的深入，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會越來越龐大、復(fù)雜，越來越多的研究者開始關(guān)注網(wǎng)絡(luò)模型與移動設(shè)備存在的計算能力有限、模型過大、實時性等問題。HOWARD等[9]提出了輕量化網(wǎng)絡(luò)結(jié)構(gòu)MobileNet，其中用深度可分離卷積代替標(biāo)準(zhǔn)卷積，有效地降低了計算量和參數(shù)量，使得網(wǎng)絡(luò)輕量化。接著SANDLER等[10]又繼續(xù)在MobileNet上做出創(chuàng)新改進，并提出具有線性瓶頸的倒置殘差。該MobileNetV2結(jié)構(gòu)為低維-高維-低維，高維使用深度可分離卷積(depthwise separable convolutions)能夠有效提取網(wǎng)絡(luò)特征，而低維則避免了高維信息的丟失。之后，HOWARD等[11]在MobileNetV2的基礎(chǔ)上又提出MobileNetV3結(jié)構(gòu)，包括Large和Small 2個版本分別在V1和V2的基礎(chǔ)上，又引入了通道注意力結(jié)構(gòu)(squeeze-and-excitation，SE)，該組合能夠降低計算量。上述的輕量化網(wǎng)絡(luò)模型降低計算量卻導(dǎo)致分類準(zhǔn)確性有所降低。王威等[12]利用擴張感受野，在MobileNet網(wǎng)絡(luò)結(jié)構(gòu)引入空洞卷積，有效地提高了圖像分類的準(zhǔn)確性。本文受此啟發(fā)，考慮在不增加額外計算量的情況下，將擴張率為2的空洞卷積引入到MobileNet網(wǎng)絡(luò)模型的深度卷積層中，并作用于前幾層深度卷積層中，讓網(wǎng)絡(luò)模型獲得不同程度的感受野特征，增加垃圾的特征信息，以提高分類精度。

本文將深度學(xué)習(xí)引入WebAR與信息可視化系統(tǒng)，在不增加計算量和參數(shù)的前提下，在MobileNet網(wǎng)絡(luò)模型的基礎(chǔ)上加入空洞卷積，擴張了特征局部感受區(qū)域，獲得更多的垃圾特征信息，以提升垃圾分類的精度。另一方面，在MobileNet網(wǎng)絡(luò)結(jié)構(gòu)中，原本存在的非線性激活函數(shù)ReLU，其負軸輸出為0，梯度為0，導(dǎo)致神經(jīng)元無法使用，最終忽略負值信息，造成信息丟失。因此本文采用優(yōu)化的LeakyReLU，保留了負值特征，避免信息丟失。

2 垃圾分類網(wǎng)絡(luò)模型

為了提高WebAR中垃圾分類的準(zhǔn)確性，本文提出了基于可變擴張卷積MobileNet模型(variable dilation rate-MobileNet，VD-MobileNet)的垃圾分類的網(wǎng)絡(luò)架構(gòu)，并對WebAR中垃圾分類方法做如下4個假設(shè)：

(1) 基于VD-MobileNet的網(wǎng)絡(luò)模型，在參數(shù)量不變、計算量減少的前提下，在深度卷積層中引入空洞卷積增加感受野，以提升垃圾分類的精度。

(2) 使用LeakyReLU激活函數(shù)以保留更多的垃圾信息，能夠增加網(wǎng)絡(luò)的表達能力。

(3) 采用VD-MobileNet的網(wǎng)絡(luò)模型能穩(wěn)定地進行垃圾分類。

(4) 該方案能在一定程度上緩解虛擬模型渲染時的延遲、卡頓等現(xiàn)象。

2.1 MobileNet基礎(chǔ)網(wǎng)絡(luò)模型

隨著深度學(xué)習(xí)向移動設(shè)備滲透的趨勢，研究人員越來越注重尋找使深度神經(jīng)網(wǎng)絡(luò)更快、更簡潔的方式。輕量化網(wǎng)絡(luò)MobileNet架構(gòu)，其核心思想是使用深度可分離卷積替代傳統(tǒng)卷積來大幅度降低模型的計算量和參數(shù)量，因此輕量化MobileNet網(wǎng)絡(luò)適用于移動設(shè)備。圖1為MobileNet網(wǎng)絡(luò)。

圖1 MobileNet網(wǎng)絡(luò)結(jié)構(gòu)

深度可分離卷積分為深度卷積(depthwise convolution)和逐點1×1卷積[13-14](pointwise convolution)。各個深度卷積逐一將各自的卷積核應(yīng)用到不同的輸入通道，以此保證輸出特征的各個通道只與輸入特征圖對應(yīng)的通道相關(guān)。最后，將各個通道對應(yīng)的深度卷積的結(jié)果通過逐點1×1卷積進行信息組合并輸出特征。圖2為深度卷積可分離卷積的分解過程。其中和分別表示輸入、輸出的通道數(shù)，特征圖輸入尺寸大小為×，×表示卷積核的大小，輸出的特征尺寸為×。

圖2 標(biāo)準(zhǔn)卷積分割為深度卷積和逐點卷積

針對圖像語義分割問題，WANG等[15]提出了一種空洞卷積(dilated convolution)的思路。其又稱為擴張卷積，該卷積需要引入一個擴張率(dilation rate)參數(shù)，并在卷積核中完成卷積構(gòu)造，插入0來豐富卷積核的感受野(即視覺感受區(qū)域的大小)，以此彌補池化層中丟失的信息，以提升網(wǎng)絡(luò)精度[16]。

圖3以3×3卷積為例，展示普通卷積和空洞卷積之間的區(qū)別。

圖3 空洞卷積的示意圖((a)普通卷積；(b)擴張率為2的空洞卷積；(c)擴張率為3的空洞卷積)

黑色的圓點表示3×3的卷積核，灰色部分表示卷積后的感受區(qū)域，大框表示輸入圖像(感受野默認(rèn)為1)。圖3(a)～(c)分別表示普通卷積(擴張率為1，感受區(qū)域大小為3×3)、空洞卷積(擴張率為2，感受區(qū)域大小為5×5)、空洞卷積(擴張率為3，感受區(qū)域大小為7×7)，三者分別進行卷積。

圖3(b)在保持參數(shù)量的情況下，加入空洞卷積，感受野范圍相較于圖3(a)的普通卷積擴大了許多；圖3(c)可知，空洞卷積的擴張率越大，感受野越大，可獲得更多的信息，且不增加額外的成本。根據(jù)該思想，將空洞卷積引入垃圾分類網(wǎng)絡(luò)模型中，擴大信息感知域，使得垃圾的特征信息更多，進而提升垃圾分類精度。

2.2 模型優(yōu)化

目前MobileNet模型的卷積核多以3×3的小尺寸代替7×7或5×5的大尺寸，以減少計算成本，使模型更輕量化，方便設(shè)備移動。但小尺寸卷積核的感受區(qū)域過小，在前幾層特征圖分辨率較高的情況下，無法獲取較好的特征信息[12]。反之，較大尺寸的卷積核又會增大計算量。而空洞卷積的設(shè)計可以很好地避免以上問題，用以擴大感受區(qū)域，且不會額外增加計算成本。因此，考慮在網(wǎng)絡(luò)模型的前幾層擴大其感受野。感受野越大，感受的區(qū)域也越大，所獲得的垃圾特征信息就越完整。但隨著網(wǎng)絡(luò)層數(shù)的增加，特征圖的分辨率逐漸降低，感知的垃圾特征信息也隨之減少。故本文優(yōu)化方案考慮在不增加額外計算量的情況下，利用擴張率為2的空洞卷積引入到深度卷積中，并作用于前幾層深度卷積層中，且稱其為可變擴張卷積VD-MobileNet模型。VD-MobileNet將擴張率為2的空洞卷積核引入到MobileNet中，作用在深度卷積層中。同時，為了避免增加多余的計算量，其他層不變。本文在前幾層深度卷積中引入不同數(shù)量的空洞卷積，使網(wǎng)絡(luò)模型表達不同程度的感受野特征，并增加網(wǎng)絡(luò)特征信息，進而提高垃圾分類精度，VD-MobileNet模型結(jié)構(gòu)的核心是深度可分離空洞卷積層。本文設(shè)計的4種網(wǎng)絡(luò)模型，即VD1-MobileNet，VD2-MobileNet，VD3-MobileNet和VD4-MobileNet。

VD-MobileNet網(wǎng)絡(luò)模型是由VD1-MobileNet，VD2-MobileNet，VD3-MobileNet和VD4-MobileNet分別在前幾層深度卷積層中加入1，2，3和4個不同數(shù)量的空洞卷積，其他層不變。4種網(wǎng)絡(luò)模型在參數(shù)量不變，計算量減小的條件下，擴張不同數(shù)量的深度卷積層的感知范圍，如圖4所示。

圖4 VD-MobileNet網(wǎng)絡(luò)

2.2.1 VD-MobileNet的特性

深度可分離卷積分解為一個深度卷積和逐點1×1卷積。對深度卷積層而言，假設(shè)輸入特征圖的大小為(高)×(寬)×(通道數(shù))，與大小為××的深度卷積核進行無填充補零的卷積操作，最后輸出的通道數(shù)為，其輸出的特征圖尺寸為

其中，為輸入圖像的尺寸；為卷積核尺寸；為填充補零層數(shù)；為卷積步長；w為輸出特征圖的尺寸大小。由式(1)可知，特征圖的輸出尺寸為1=(-+1)×(-+1)，即進行(-+1)×(-+1)次運算。

深度卷積的卷積計算過程為

則總計算量為

總的參數(shù)量為

在VD-MobileNet模型的深度卷積層中引入空洞卷積，其擴張率為，輸入相同的特征圖，與卷積核進行無填充補零的深度空洞卷積操作，最后輸出的通道數(shù)同樣為，輸出特征圖尺寸為

其中，輸入空洞卷積的大小為；步長為；原卷積核大小為；為填充補零層數(shù)；為擴張率；w為輸出特征圖的尺寸大小。由式(5)可知，特征圖的輸出尺寸為2=(--(-1)(-1)+1)×(--(-1) (-1)+1)，即進行(--(-1)(-1)+1)×(--(-1) (-1)+1)次運算，則總計算量為

總參數(shù)量為

在VD-MobileNet模型的深度可分離卷積層中引入空洞卷積，其擴張率為，輸入相同的特征圖，與卷積核進行無填充補零的深度可分離空洞卷積操作，最后輸出的通道數(shù)同樣為，由式(2)可知，輸出特征圖尺寸為2，即進行(--(-1) (-1)+1)×(--(-1)(-1)+1)次運算，則總計算量為

總參數(shù)量為

綜上，深度空洞卷積層相對于深度卷積層，計算量減少為

同理，深度可分離空洞卷積層相較于標(biāo)準(zhǔn)卷積，計算量減少為

由式(4)，式(7)和式(10)可知，引入空洞卷積后，雖然深度空洞卷積和深度卷積參數(shù)相同，但計算量減少了。

又假設(shè)深度卷積核大小為×，空洞卷積擴張率為，則其空洞卷積的卷積核大小為

當(dāng)前層的感受野為

其中，RF+1為當(dāng)前層的感受野；RF為上一層的感受野；?為卷積核的大小；S為從第1層到第-1層步長的乘積。

推算出當(dāng)前卷積核的感受野為(×-+1)× (×-+1)。由此說明引入空洞卷積可以在參數(shù)量不變，計算成本減少的基礎(chǔ)上，擴張感受野，使得感知信息更多。

此外，相較于深度卷積，空洞卷積可在保持原有卷積參數(shù)量的前提下，提升卷積核的感受野大小，以獲取特征圖不同范圍的信息，使網(wǎng)絡(luò)結(jié)構(gòu)更加高效和輕量，進一步提升垃圾分類的準(zhǔn)確性。

2.2.2 LeakyReLU激活函數(shù)

在MobileNet網(wǎng)絡(luò)中，使用非線性ReLU激活函數(shù)避免了梯度消失的發(fā)生，同時為各層提供更好的非線性變換能力，減少各參數(shù)之間相互依賴關(guān)系，最大程度地避免過擬合問題的發(fā)生[17]。

ReLU激活函數(shù)為

從式(14)可以看出，ReLU存在使所有的負輸入的輸出均變?yōu)?，導(dǎo)致神經(jīng)元不可使用，即神經(jīng)元死亡的局限性。因為ReLU在小于0的范圍內(nèi)的梯度為零，隨著網(wǎng)絡(luò)訓(xùn)練次數(shù)的增加，部分神經(jīng)元對應(yīng)的權(quán)重不會再更新。該神經(jīng)元在輸入特征時是沒有反應(yīng)的，導(dǎo)致最終會忽略輸入負值信息，但是垃圾分類的關(guān)鍵點極有可能是這些被忽略掉的負值特征信息。

為了提高VD-MobileNet網(wǎng)絡(luò)對垃圾負值特征信息提取的完整度，解決ReLU激活函數(shù)神經(jīng)元死亡的問題，使得負輸入垃圾信息不被忽略，本文使用LeakyReLU激活函數(shù)來解決此問題。

LeakyReLU激活函數(shù)為

LeakyReLU與ReLU很相似，僅在負輸入的部分有差別，LeakyReLU負輸入的部分，輸出為負，梯度不為0。LeakyReLU與ReLU函數(shù)有著相同的簡單計算過程，同時保留了負輸入的值，避免垃圾的特征信息全部丟失，增加了網(wǎng)絡(luò)的表達能力，使得垃圾分類的結(jié)果更加準(zhǔn)確。

3 WebAR垃圾分類可視化系統(tǒng)

3.1 AR與垃圾分類

AR技術(shù)能夠有效地輔助居民學(xué)習(xí)垃圾分類相關(guān)知識，其優(yōu)點主要包括沉浸式體驗和低成本學(xué)習(xí)。一方面，對垃圾分類的宣講與傳統(tǒng)的方式不同，AR能通過沉浸式交互手段，輔助用戶學(xué)習(xí)垃圾分類的基礎(chǔ)知識。另一方面，AR的技術(shù)成本和體驗門檻較低，開發(fā)人員或用戶皆只需一部可攜帶的移動設(shè)備(智能手機)進行開發(fā)或體驗分類過程和學(xué)習(xí)分類知識。

在城市基礎(chǔ)建設(shè)中，為了有效地提示居民垃圾投放方式，在垃圾箱上方通常會懸掛垃圾分類標(biāo)志。但該呈現(xiàn)方式存在一定的局限性，其一，垃圾箱上的標(biāo)志保存著提示垃圾投放的信息，惡劣天氣會腐蝕標(biāo)志，導(dǎo)致居民難以獲取提示信息；其二，垃圾箱上的標(biāo)志一旦被確定，則相關(guān)人員無法實時動態(tài)地改變標(biāo)志內(nèi)容，導(dǎo)致提示信息不全面，進而影響居民垃圾投放的總體效果。

本文將AR與可視化相結(jié)合，①豐富了AR的交互能力和空間數(shù)據(jù)分析方式以及呈現(xiàn)形式；②彌補了傳統(tǒng)信息可視化的空間感，使得表達的信息更加直觀、清晰。垃圾分類的可視化結(jié)果被AR作為模型疊加到現(xiàn)實世界中，極大豐富用戶所觀察到的真實場景，在虛擬場景中顯示垃圾分類信息，從而實現(xiàn)對現(xiàn)實世界信息的增強。AR的三維可視化既有三維場景的空間感和沉浸感，又有虛擬模型的真實感和交互感[18]，這樣AR與垃圾分類信息可視化的結(jié)合，能有效幫助用戶直觀地了解垃圾分類信息，并進一步協(xié)助相關(guān)人員分析分類情況。

3.2 系統(tǒng)設(shè)計

該系統(tǒng)采用深度學(xué)習(xí)和WebAR技術(shù)實現(xiàn)垃圾分類，并將垃圾分類結(jié)果以可視化的形式呈現(xiàn)到AR模型中；用戶只需打開手機攝像頭實時捕獲真實場景下的視頻幀，便可以圖片的形式輸入預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型對其識別，并根據(jù)識別結(jié)果對這些視頻幀進行分類；得到分類結(jié)果傳向前端，并將對應(yīng)的虛擬數(shù)據(jù)信息通過可視化的形式疊加在視頻幀的對應(yīng)位置，AR通過虛實結(jié)合的方式將多元的垃圾數(shù)據(jù)信息呈現(xiàn)出來，并運用WebGL技術(shù)將二維垃圾分類數(shù)據(jù)三維化，更直觀地為體驗者提供相關(guān)垃圾分類的信息。圖5(a)和(b)分別展示了操作流程和系統(tǒng)流程圖。

圖5 WebAR系統(tǒng)框架((a)操作流程；(b)系統(tǒng)流程圖；(c)交互操作)

3.2.1 WebAR中的數(shù)據(jù)交互

主流的MAR應(yīng)用存在一定的交互局限性。一方面，直接操控三維空間難度較大，用戶可以通過二維屏幕感知三維空間以彌補三維空間交互的缺失；另一方面，移動設(shè)備的屏幕過小導(dǎo)致交互范圍、呈現(xiàn)信息均有限。針對這些問題本系統(tǒng)運用可視化技術(shù)和WebAR技術(shù)來呈現(xiàn)和渲染這些數(shù)據(jù)信息。交互方面，除了常規(guī)的單指操作外，系統(tǒng)還增加了六自由度下的雙指交互如雙指縮放、雙指拖動等(圖5(c))，用以提升居民的垃圾分類沉浸式體驗。

3.2.2 可視化結(jié)果呈現(xiàn)

該系統(tǒng)的目的是將可視化后垃圾的信息呈現(xiàn)給用戶，讓用戶了解室內(nèi)生活垃圾的產(chǎn)生和投放情況等，以協(xié)助用戶合理地處理垃圾。可視化結(jié)果包括對室內(nèi)生活垃圾占比(圖6(a))、生活垃圾所處環(huán)境的溫度、濕度、光照(圖6(b))，各類垃圾的月投放量(圖6(c))以及每月四周垃圾的投放情況(圖6(d))。垃圾分類可視分析結(jié)果如圖6所示。

圖6 可視化結(jié)果呈現(xiàn)((a)室內(nèi)生活垃圾占比；(b)生活垃圾的環(huán)境；(c)各類垃圾的月投放量；(d)每月四周垃圾的投放情況)

所用數(shù)據(jù)均來源于室內(nèi)生活垃圾的產(chǎn)生和投放情況。圖6(a)餅圖描述的是生活垃圾(廚余垃圾、可回收物、其他垃圾、有害垃圾)的占比情況，讓用戶實時掌握各類生活垃圾投放量占總投放量的比例，通過單指點擊各類別垃圾相關(guān)區(qū)域查看對應(yīng)類別垃圾的具體投放量，以協(xié)助用戶合理處理各類生活垃圾；圖6(c)詞云描述的是各類垃圾的月投放量，每種垃圾均有與之對應(yīng)的文字，文字越大表明該類垃圾投放的數(shù)量越多。用戶通過觸屏詞云中的文字可以查看具體垃圾的月投放量。詞云讓用戶更加直觀地了解每月垃圾投放情況，協(xié)助用戶及時控制當(dāng)月部分垃圾的數(shù)量；圖6(d)折線圖呈現(xiàn)的是每月四周時間內(nèi)的垃圾投放情況，用戶需單指點擊、縮放等交互方式來查看每周垃圾的具體投放量；用戶可以通過旋轉(zhuǎn)、雙指縮放、單指點擊等交互方式，查看圖6(b)雷達圖展示的生活垃圾所處環(huán)境的溫度、濕度、光照，并根據(jù)不同環(huán)境改善對垃圾的處理方式，以免出現(xiàn)垃圾腐化等情況，更便捷地協(xié)助用戶高效地處理垃圾。

因此，信息可視化多元的呈現(xiàn)方式和交互能力彌補了WebAR在呈現(xiàn)、交互能力和空間數(shù)據(jù)分析方式上的不足。

4 測試結(jié)果與分析

4.1 實驗環(huán)境

實驗設(shè)備包括OppoR15 (安卓手機)、華碩筆記本電腦和一臺寶塔服務(wù)器，設(shè)備參數(shù)見表1。該實驗采用Python3.6版本下的Anaconda，來安裝Tensorflow深度學(xué)習(xí)框架。深度學(xué)習(xí)模型的訓(xùn)練采用隨機梯度下降優(yōu)化器，學(xué)習(xí)率以余弦方式衰減，動量因子為0.9，批量大小設(shè)定為32，分類器采用Softmax，損失函數(shù)為交叉熵損失函數(shù)。

表1 設(shè)備參數(shù)

4.2 數(shù)據(jù)集

本文垃圾分類數(shù)據(jù)集來自于華為垃圾分類公開數(shù)據(jù)集和自制數(shù)據(jù)集。按照要求垃圾分為4類：廚余垃圾、其他垃圾、可回收物和有害垃圾。公開垃圾分類數(shù)據(jù)集有5 000余張圖片，由于數(shù)據(jù)集中廚余垃圾、其他垃圾種類相較與可回收物和有害垃圾種類偏少，可能影響垃圾分類準(zhǔn)確性的測試。因此額外從谷歌和百度爬蟲得到的1 000余張廚余及其他垃圾的圖片，以滿足4類垃圾數(shù)量的均衡訓(xùn)練，所有圖片均經(jīng)過篩選，且圖片均為jpg格式，以方便輸入數(shù)據(jù)，加快訓(xùn)練速度。在網(wǎng)絡(luò)訓(xùn)練時，首先將數(shù)據(jù)集中的圖片進行標(biāo)簽分類，之后充分打亂，再隨機抽取圖片訓(xùn)練網(wǎng)絡(luò)。表2是各類垃圾的訓(xùn)練集、測試集的數(shù)量。

表2 各類垃圾的數(shù)據(jù)集

4.3 實驗測試及分析

為驗證本文提出的VD-MobileNet 4種網(wǎng)絡(luò)模型(VD1-MobileNet到VD4-MobileNet)及LeakyReLU激活函數(shù)在垃圾分類數(shù)據(jù)集上的合理性，實驗分別在準(zhǔn)確率、召回率、模型參數(shù)、計算量與原MobileNet網(wǎng)絡(luò)進行了對比，且參考了近幾年的輕量化網(wǎng)絡(luò)以對比本文設(shè)計的4種網(wǎng)絡(luò)模型的有效性。表3為不同垃圾分類網(wǎng)絡(luò)模型的實驗性能對比。

表3 不同分類網(wǎng)絡(luò)模型實驗性能對比

從表3可以看出，改進的4種垃圾分類網(wǎng)絡(luò)模型在參數(shù)不變、計算量下降的前提下，準(zhǔn)確率均有提升，其原因是在前幾層深度卷積中分別引入不同數(shù)量的空洞卷積，增大了感受野，使感受區(qū)域也變大，感知的垃圾特征信息也越完整，使得分類準(zhǔn)確率均得到了提升。其中VD3-MobileNet提升的精度效果比其余3種模型要好。但VD4-MobileNet網(wǎng)絡(luò)準(zhǔn)確率略降低，是由于當(dāng)前層數(shù)不斷增加，分辨率逐漸減小，捕獲的垃圾特征信息不夠全面，再加入空洞卷積使準(zhǔn)確率就開始逐漸降低；與原MobileNet模型相比，在參數(shù)量相同的情況下，性能更高效。在加入空洞卷積的同時，還引入了LeakyReLU激活函數(shù)，其功能是增強垃圾的被忽略的特征信息，使網(wǎng)絡(luò)分類效果更準(zhǔn)確。與MobileNet模型的改進版網(wǎng)絡(luò)MobileNetV2和MobileNetV3相比較，后兩者的參數(shù)量比其高，但計算量比其低，從準(zhǔn)確率看來本文設(shè)計的VD3-MobileNet模型比這2個模型要更高效。本文使用的4種網(wǎng)絡(luò)模型相較于流行的參數(shù)量、計算量更少的輕量化網(wǎng)絡(luò)SqueezeNet和Xception，其準(zhǔn)確性更高。綜上，驗證了VD3-MobileNet網(wǎng)絡(luò)模型的高效性及其余3種模型的有效性。

為了更好比較模型之間的優(yōu)劣，實驗分別對各類垃圾的數(shù)據(jù)集針對準(zhǔn)確率、召回率進行了性能測試，結(jié)果見表4。

表4 模型性能對比(%)

從表4可以看出，原模型和改進的VD-MobileNet 4種網(wǎng)絡(luò)模型在各類垃圾的數(shù)據(jù)集中的性能較穩(wěn)定，其中VD3-MobileNet模型比其余3種改進的模型效果更高效，驗證了改進的垃圾分類網(wǎng)絡(luò)模型的正確性。

對移動設(shè)備而言，關(guān)鍵的是模型在測試或?qū)嶋H使用時的分類時間，能否達到實時的效果。表5對模型內(nèi)存、訓(xùn)練時間、識別時間分別進行了測試。

表5 時間性能對比

從表5可以看出，MobileNet網(wǎng)絡(luò)識別垃圾的時間比改進的4種模型識別時間長，其原因是網(wǎng)絡(luò)的計算量大，導(dǎo)致識別時間更長，對于移動應(yīng)用來說效果欠佳，需縮短識別時間。MobileNet網(wǎng)絡(luò)訓(xùn)練垃圾分類數(shù)據(jù)集的時間是252 s，而改進后的4種垃圾分類網(wǎng)絡(luò)模型訓(xùn)練時間均少于其用時。其原因VD-MobileNet網(wǎng)絡(luò)中的深度卷積層加入空洞卷積，使得計算量有所下降，訓(xùn)練時間減少。MobileNet占用內(nèi)存比其他4種改進的網(wǎng)絡(luò)模型的容量大。從而，驗證了VD-MobileNet網(wǎng)絡(luò)能夠達到移動設(shè)備實時性等要求。

4.4 消融實驗

為了進一步驗證基于MobileNet網(wǎng)絡(luò)引入的空洞卷積所設(shè)計的4種網(wǎng)絡(luò)模型的性能和加入LeakyReLU激活函數(shù)是否能增強網(wǎng)絡(luò)的表達能力，設(shè)計了一個消融實驗來證明引入空洞卷積和LeakyReLU激活函數(shù)的必要性，見表6。

表6 消融實驗(%)

從表6和表3可以看出，原模型MobileNet中加入LeakyReLU激活函數(shù)，準(zhǔn)確率增加了0.4%，改進的4種模型加入LeakyReLU激活函數(shù)也分別增加了0.1%，0.3%，0.2%和0.2%，原因是LeakyReLU激活函數(shù)比ReLU激活函數(shù)能保留更多的垃圾信息，增強網(wǎng)絡(luò)性能；結(jié)合表3可以看出，在原模型MobileNet中加入不同數(shù)量的空洞卷積，準(zhǔn)確率比原模型分別增加了1.3%，1.7%和3.5%，其計算量也逐漸降低，VD4-MobileNet的準(zhǔn)確率有所下降，是因為卷積層數(shù)不斷增加，獲得的垃圾特征信息不夠完整所致。

綜上，在原模型中加入空洞卷積和LeakyReLU激活函數(shù)性能均有所提升，驗證了該設(shè)計的合理性。

4.5 用戶評估

為驗證本系統(tǒng)及可視化結(jié)果的有效性和準(zhǔn)確性，實驗邀請了20名受試者(包括本科生和研究生)，其中男性12名，女性8名，年齡20～26歲，所有受試者均具有可視化相關(guān)知識，13名熟悉AR相關(guān)知識。20名受試者均參加用戶評估實驗。

具體的評估指標(biāo)是室內(nèi)垃圾占比、各類垃圾的月投放量、每月四周垃圾的投放情況和生活垃圾所處的環(huán)境以及系統(tǒng)的有效性，根據(jù)用戶的使用情況選擇使用效果。如圖7所示，大部分用戶對該系統(tǒng)的使用效果較好，并表示使用該系統(tǒng)了解室內(nèi)垃圾占比情況，聯(lián)合圖6(b)雷達圖能夠及時知曉當(dāng)日垃圾所處的環(huán)境，及處理容易腐化和有害的生活垃圾；圖6(c)詞云的字體大小能提醒用戶及時處理腐化的垃圾，及了解用戶的生活狀況，其中外賣盒最多，進而提醒用戶飲食需健康；圖6(d)折線圖的設(shè)計既能讓用戶了解具體垃圾投放情況，也積極響應(yīng)社會對垃圾分類的號召。此外，也體現(xiàn)了系統(tǒng)滿足用戶對交互操作、模型流暢的認(rèn)可，驗證了該系統(tǒng)及可視化結(jié)果的有效性和準(zhǔn)確性。

圖7 用戶評估((a)可視化結(jié)果評估；(b)系統(tǒng)設(shè)計)

5 總 結(jié)

本文提出了一種基于深度學(xué)習(xí)的WebAR垃圾分類可視化方案，利用改進的VD-MobileNet網(wǎng)絡(luò)對垃圾進行識別分類。首先對垃圾分類的數(shù)據(jù)集進行處理，再將數(shù)據(jù)集放入改進后的模型中訓(xùn)練，并利用手機攝像頭實時捕獲真實世界的垃圾，獲取信息后再利用預(yù)先訓(xùn)練好的模型對垃圾進行分類預(yù)測。WebAR結(jié)合可視化技術(shù)更好地將垃圾分類的結(jié)果及相關(guān)信息呈現(xiàn)在虛擬物體上，雙指縮放等高效的交互方式協(xié)助用戶及時了解到垃圾分類的數(shù)據(jù)信息，然后根據(jù)垃圾的投放情況做出反應(yīng)。通過實驗證明，在原模型MobileNet的基礎(chǔ)上引入空洞卷積比原模型分類精度更高，改進后的模型優(yōu)點在于參數(shù)量不變、計算量減少，說明改進后的VD-MobileNet網(wǎng)絡(luò)模型將圖像分類更好地應(yīng)用到移動設(shè)備。本文的研究也可用于其他應(yīng)用場景，如花木識取、寵物品種甄別等。另外，在后續(xù)研究中結(jié)合WebAR垃圾分類可視化對垃圾三維位姿進行精確估計來提升識別精度等方面展開研究。

[1] 劉佳, 郭斌, 張晶晶, 等. 視觸覺融合的增強現(xiàn)實三維注冊方法[J]. 計算機工程與應(yīng)用, 2021, 57(11): 70-76.

LIU J, GUO B, ZHANG J J, et al. 3D registration method for augmented reality based on visual and haptic integration[J]. Computer Engineering and Applications, 2021, 57(11): 70-76 (in Chinese).

[2] 劉萬奎, 劉越. 用于增強現(xiàn)實的光照估計研究綜述[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2016, 28(2): 197-207.

LIU W K, LIU Y. Review on illumination estimation in augmented reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(2): 197-207 (in Chinese).

[3] 朱淼良, 姚遠, 蔣云良. 增強現(xiàn)實綜述[J]. 中國圖象圖形學(xué)報, 2004, 9(7): 767-774.

ZHU M L, YAO Y, JIANG Y L. Overview of augmented reality[J].Chinese Journal of Image and Graphics, 2004, 9(7): 767-774 (in Chinese).

[4] ZHANG Y X, LU Y P. Application advantages and prospects of web-based AR technology in publishing[EB/OL]. [2021-08-17]. https://doi.org/10.1007/978-3-030-25999-0_2.

[5] CARMO M B, CLáUDIO A P, FERREIRA A, et al. Poster] Visualization of solar radiation data in augmented reality[C]// 2014 IEEE International Symposium on Mixed and Augmented Reality. New York: IEEE Press, 2014: 255-256.

[6] 李軍鋒, 何雙伯, 馮偉夏, 等. 基于改進CNN的增強現(xiàn)實變壓器圖像識別技術(shù)[J]. 現(xiàn)代電子技術(shù), 2018, 41(7): 29-32.

LI J F, HE S B, FENG W X, et al. Improved CNN based transformer image recognition technology in augmented reality environment[J]. Modern Electronics Technique, 2018, 41(7): 29-32 (in Chinese).

[7] 裴云強, 吳亞東, 王賦攀, 等. 基于改進L-K光流的WebAR信息可視分析方法[J]. 圖學(xué)學(xué)報, 2020, 41(6): 962-969.

PEI Y Q, WU Y D, WANG F P, et al. IV LKWA: an information visual analysis tool with advanced L-K optical flow based WebAR[J]. Journal of Graphics, 2020, 41(6): 962-969 (in Chinese).

[8] 孔慶杰, 林姝. 垃圾分類的方法及增強現(xiàn)實設(shè)備: 中國, CN201910894312.4[P]. 2020-01-24.

KONG Q J, LIN S. Waste classification method and augmented realityequipment: China, CN201910894312.4[P]. 2020-01-24 (in Chinese).

[9] HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications [EB/OL]. [2017-04-17]. https://arxiv.org/abs/1704. 04861.

[10] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[EB/OL]. [2021-09-12]. https://arxiv.org/abs/1801.04381.

[11] HOWARD A, SANDLER M, CHU G, et al. Searching for MobileNetV3[EB/OL]. (2019-05-06) [2021-10-20]. https://arxiv. org/abs/1905.02244.

[12] 王威, 鄒婷, 王新. 基于局部感受野擴張D-MobileNet模型的圖像分類方法[J]. 計算機應(yīng)用研究, 2020, 37(4): 1261-1264, 1270.

WANG W, ZOU T, WANG X. Image classification method based on D-MobileNet model[J]. Application Research of Computers, 2020, 37(4): 1261-1264, 1270 (in Chinese).

[13] 程越, 劉志剛. 基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法[J]. 計算機系統(tǒng)應(yīng)用, 2020, 29(2): 198-204.

CHENG Y, LIU Z G. Traffic sign recognition method based on lightweight convolutional neural network[J]. Computer Systems & Applications, 2020, 29(2): 198-204 (in Chinese).

[14] 楊輝華, 張?zhí)煊? 李靈巧, 等. 基于MobileNet的移動端城管案件目標(biāo)識別算法[J]. 計算機應(yīng)用, 2019, 39(8): 2475-2479.

YANG H H, ZHANG T Y, LI L Q, et al. Target recognition algorithm for urban management cases by mobile devices based on MobileNet[J]. Journal of Computer Applications, 2019, 39(8): 2475-2479 (in Chinese).

[15] WANG P, CHEN P, YUAN Y, et al. Understanding Convolution for Semantic Segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2018: 1451-1458.

[16] 楊少波. 一種基于空洞卷積的遮擋目標(biāo)檢測方法[J]. 軟件, 2021, 42(1): 135-139.

YANG S B. A method base on dilated convolution for occluded object detection[J]. Software, 2021, 42(1): 135-139 (in Chinese).

[17] 王韋祥, 周欣, 何小海, 等. 基于改進MobileNet網(wǎng)絡(luò)的人臉表情識別[J]. 計算機應(yīng)用與軟件, 2020, 37(4): 137-144.

WANG W X, ZHOU X, HE X H, et al. Facial expression recognition based on improved mobilenet[J]. Computer Applications and Software, 2020, 37(4): 137-144 (in Chinese).

[18] 吳蕾, 肖書浩, 何為, 等. 基于增強現(xiàn)實技術(shù)的三維可視化教具的研制[J]. 信息通信, 2017, 30(12): 47-49.

WU L, XIAO S H, HE W, et al. The development of 3D visuals based on augmented reality technology[J]. Information & Communications, 2017, 30(12): 47-49 (in Chinese).

WebAR garbage classification information visualization method based on VD-MobileNet network

LIU Nan-shan1, PEI Yun-qiang1, JIANG Hao1, HAN Yong-guo1, WU Ya-dong2, WANG Fu-pan1, YI Si-heng1

(1. School of Computer Science & Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. School of Computer Science & Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643002, China)

With the accelerated implementation of the garbage classification regulation in China, many applications for garbage classification based on virtual/augmented reality technologies have sprung up. Under the influence of the identification equipment platform and residents’ habits of using applications, there remain a number of shortcomings in convenience and practicability for this kind of application. A waste classification application scheme was proposed based on a lightweight neural network combined with mobile augmented reality and visualization technology. Firstly, the variable expansion convolution VD-MobileNet model method was proposed for garbage classification based on deep learning, which can solve the problems of limited computing capacity and a huge network of mobile devices. The receptive field was increased by introducing dilated convolution in the MobileNet model. The characteristic information of garbage could be expanded to enhance classification accuracy, and LeakyReLU activation function was introduced to optimize the expression ability of the network. Secondly, the model was equipped with the WebAR technology, and a lightweight garbage classification information visualization system was designed for mobile devices. This system could operate cross different platforms, realize the diversified visual presentation of classified information, and enable flexible interactions. Experiments and evaluations show that the VD-MobileNet model could achieve excellent classification in the garbage classification data set and can effectively reduce the amount of calculation with constant parameters. In addition, the WebAR application system designed based on the model can provide users with reasonable and effective assistance in garbage disposal.

garbage classification; web-based augmented reality; MobileNet model; visualization technology; dilated convolution; WebAR

25 November，2021；

Sichuan Science and Technology Department Jieqing Project (19JCQN0108); Key Research and Development Project of Sichuan Province (2020YFS0360, 2020YFG0031)

LIU Nan-sha (1996-), master student. Her main research interest covers human-computer interaction. E-mail：643652033@qq.com

TP 391

10.11996/JG.j.2095-302X.2022040667

A

2095-302X(2022)04-0667-10

2021-11-25；

2022-03-04

4March，2022

四川省科技廳杰青項目(19JCQN0108)；四川省重點研發(fā)計劃項目(2020YFS0360，2020YFG0031)

劉南杉(1996-)，女，碩士研究生。主要研究方向為人機交互。E-mail：643652033@qq.com

吳亞東(1979-)，男，教授，博士。主要研究方向為可視化與可視分析、人機交互。E-mail：wyd028@163.com

WU Ya-dong (1979-), professor, Ph.D. His main research interests cover visualization and visual analysis and human-computer interaction. E-mail：wyd028@163.com