基于計算機視覺和機器學習的真偽卷煙包裝鑒別

鐘 宇，徐 燕，劉德祥，王宏強，李曉輝，周明珠，董 浩，邢 軍

1.新疆維吾爾自治區煙草質量監督檢測站，烏魯木齊市經濟技術開發區天柱山街55 號 830026

2.國家煙草質量監督檢驗中心，鄭州高新技術產業開發區翠竹街6 號6 棟 450001

卷煙真偽鑒別主要是通過感官（即人眼），對檢驗樣品與真品或真品技術信息在加工工藝、印刷工藝等方面的差別進行比對，以判定檢驗樣品的真偽。該方法對檢驗人員及經驗要求較高，在鑒別檢驗比對尤其是卷煙商標印刷比對時，由于視覺疲勞容易造成樣品錯檢；對于印刷品顏色，不同檢驗人員對色彩的敏感度存在差異，導致判定結果主觀性較強；比對結果無法以一個計量值反映樣品與真品間的實際差異，當仿制品與真品印刷差異較小時，人眼難以分辨其差別。針對于此，魏中華［1］提出了一種利用卷煙物理指標，基于t 假設檢驗和支持向量機（Support Vector Machine，SVM）神經網絡鑒定卷煙真偽的模式識別模型；聶磊等［2］利用真偽煙用材料表層化學成分的差異，提出了一種基于衰減全反射紅外光譜法（ATR-FTIR）的鑒別方法，通過采集卷煙樣品煙用材料相關部位的衰減全反射紅外光譜，實現快速、無損、簡便地鑒別卷煙真偽。

利用計算機視覺技術建立能夠從圖像或者多維數據中獲取信息的人工智能系統，近年來在煙草行業已有較多研究和應用。張毅等［3］利用煙草物流中不規則煙包碼垛的復雜性和組合匹配特性，設計了一種基于機器視覺的不規則煙包校對碼垛系統；高震宇等［4］采用深度學習的方法，建立了基于卷積神經網絡的煙絲組成識別模型；李曉等［5］利用圖像技術，結合梗絲形態外觀特征及形態指數建立了一種梗絲形態指數模型；李捷等［6］設計了基于機器視覺的煙支外觀在線檢測系統；王偉等［7］建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測方法。隨著機器學習和深度學習技術的發展，通過計算機視覺模仿人眼視覺，建立類似于感觀鑒別的檢驗法已成為研究趨勢。為此，提出了一種利用計算機視覺技術和機器學習鑒別卷煙包裝真偽的模型，并對該模型的準確率進行驗證，以期提高真偽卷煙的鑒別效率和適應性。

1 材料與方法

1.1 材料

采集經人工檢驗確認真偽的3 個卷煙品牌，共計603 個樣品。其中，“中華（軟）”（A 品牌）329個，“玉溪（軟）”（B 品牌）199 個，“鉆石（荷花）”（C品牌）75 個。

1.2 儀器

HP LaserJet Pro MFP M127-M128 型掃描儀（中國惠普有限公司）。圖像處理、模型建立、數值計算代碼均采用python 語言，其中圖像處理及特征向量提取通過OpenCV 3.4.2.16 實現，機器學習模型搭建及交叉驗證通過scikit-learn 0.21.3 實現，數值計算通過numpy 1.17.2 和pandas 0.25.1 實現。

1.3 方法

1.3.1 圖像采集及預處理

掃描像素為300 ppi，掃描模式為全彩模式。由于掃描儀采集到的卷煙圖像位置不固定，存在平移、翻轉等現象，無法直接對目標區域進行定位和截取，常用做法是訓練目標檢測的神經網絡，選取目標范圍內的坐標值。本研究中的圖像形狀、大小相對固定，圖案也較為一致，因此可以利用圖像的形態學操作［8］進行目標區域的查找和提取。圖像預處理［9］包括圖像增強、圖像濾波、圖像二值化、圖像輪廓檢測、圖像輪廓近似、圖像透視變換、目標區域截取等步驟，見圖1。

圖1 圖像預處理Fig.1 Image preprocessing

1.3.2 圖像特征向量提取

圖像的存儲方式是三維矩陣。特征向量是針對該矩陣進行運算后得到的一個一維向量，提取過程包括圖像尺寸變換、圖像濾波去噪和圖像灰度轉換。對于灰度圖，圖像特征向量是以亮度值為橫軸，以亮度值對應的像素個數為縱軸的一維255 長度的向量。該向量代表了灰度圖像亮度的統計信息，用以表征圖像的統計特征。以B 品牌為例，取真煙樣品t-1 和假煙樣品f-1 各1 個，灰度圖像提取到的特征向量直方分布曲線見圖2。

圖2 B 品牌特征向量直方分布曲線Fig.2 Histogram distribution curve of feature vector of Brand B

1.3.3 相似性度量模型

聶磊等［2］的研究結果表明，在對比真假卷煙譜圖相似性時，QC（Quality Control）比較法［10］相比相關系數法分辨力更強。采用QC 值度量真假煙時，真/真QC 值顯著高于真/假QC 值，模型具有較好的分類邊界，便于對真假煙用材料進行區分。但QC 比較法主要是由紅外光譜儀標配軟件提供，其算法尚未披露。為此，本研究中以向量的角度提出相似性度量模型，通過比對待測樣品與標準真煙樣品的特征向量距離或余弦相似性，根據距離閾值或相似性閾值判定待測樣品的分類。實現過程為：

（1）將樣品劃分為訓練集和測試集。訓練集包括正類樣品（8 個）和負類樣品（8 個）。

（2）模型訓練過程。將訓練集樣品逐一與訓練集正類樣品進行特征向量的相似性閾值計算，取平均值作為其與正類的相似性閾值。根據訓練集正類和負類的相似性閾值，得到正類和負類的分類邊界值。

（3）模型測試過程。將測試集樣品逐一與訓練集正類樣品進行特征向量的相似性閾值計算，取平均值即可得到相似性閾值。根據訓練過程得到的正類分類邊界值判定其分類，若模型分類結果與實際分類結果一致則為正確，不一致則為錯誤。模型準確率為測試集判定正確的樣品個數除以測試集總樣品個數。

1.3.4 機器學習模型

（1）模型訓練過程。由于卷煙商標存在真偽區分度較強的區域，在模型訓練時先隨機生成X個區域中心點坐標（XK，YK），輸入該卷煙品牌全部圖像，并將每個圖像劃分為以（XK，YK）為中心、M×M 大小的矩形塊，每塊按照1.3.2 節中的方式處理為特征向量后，將其中的70%特征向量劃分為訓練集，進行有監督的SVM 分類模型訓練，真煙的標簽值設置為1，假煙設置為0，訓練后的模型在整體上做交叉驗證。交叉驗證的f1_score 大于設定閾值，則該區域坐標及其對應分類器被保留，重復以上過程。當中心點坐標數達到N 時訓練結束，輸出N 個中心點坐標和N 個分類器并保存為二進制文件。訓練過程算法流程見圖3a。

（2）模型測試過程。加載訓練結束后的N 個中心點坐標和N 個分類器，以該品牌30%樣品圖像作為測試集，按相同方式對測試集中的每張圖片以N 個坐標點為中心處理為N 個區域，每個區域采用與之對應的分類器進行預測，同時將N 個區域的預測值求和，若求和結果大于N/2 則為正類，否則為負類。測試過程算法流程圖見圖3b。

2 結果與討論

2.1 相似性度量模型的驗證

2.1.1 圖像的濾波函數

圖像濾波是對圖像進行指定卷積核大小和步長的卷積運算。根據所使用的卷積核不同，圖像處理前后存在一定差異，例如高斯濾波是將中心點邊緣的像素進行高斯加權平均后賦值給中心點，并作為中心點新的像素值，與原圖像處理后的圖像相比較噪聲更低、更平滑。圖像濾波是提取圖像特征向量的一個重要操作，好的濾波函數可以有效放大真假卷煙的差異，使分類器獲得更寬的分類邊界。將B 品牌f-1、t-1 樣品分別進行高斯雙邊濾波、均值濾波、中值濾波、高斯濾波、組合濾波（中值濾波+高斯雙邊濾波）計算，各樣品濾波后直方圖特征向量分布見圖4。

圖3 機器學習算法流程圖Fig.3 Flowchart of machine learning algorithm

圖4 B 品牌f-1、t-1 樣品濾波后直方圖特征向量對比Fig.4 Comparison of histogram feature vectors after filtering with f-1 and t-1 of Brand B

濾波后特征向量與原圖差異見圖5。可見，無論是歐式距離度量還是余弦相似性度量，高斯雙邊濾波均可有效放大f-1 和t-1 特征向量的差異。

圖5 B 品牌f-1、t-1 特征向量在不同濾波器下的相似性度量差異Fig.5 Similarity measurement difference of feature vectors under different filters with f1 and t1 of Brand B

高斯雙邊濾波結合了以像素空間位置為基礎的空間域高斯核函數和以像素亮度差為基礎的亮度域高斯核函數，并形成鄰域內各個像素的權值信息，進而實現了圖像邊緣感知的非線性自適應平滑操作。對于仿制品印刷過程中出現的邊緣模糊、漏色、錯位、斷斷續續等現象，高斯雙邊濾波可以有效將其濾除；對于印刷較好的真煙則將其保留，此操作有效放大了真假卷煙的差異。高斯雙邊濾波核函數為：

權值計算公式為：

高斯雙邊濾波核函數是空間域核與像素范圍域核綜合應用的結果，式（2）中右側第一項考慮的是基于空間位置的高斯加權，第二項考慮的是像素亮度差異的高斯加權。在像素亮度差異較小的區域，第二項差異很小，此時相當于對圖像進行高斯模糊；在像素差異較大的區域，第二項的差異顯著高于第一項，此時梯度較為明顯的邊緣像素點被保持。不同空域、值域標準偏差下負類f-1 與正類t-1 特征向量歐式距離的差異見圖6。可見，特征向量差異最大值點的空域標準偏差為123，值域標準偏差為30，較優值域標準偏差在60 以下，空域標準偏差在43 以上。

B 品牌訓練集在不同空域、值域標準偏差下的歐氏距離及分類邊界見圖7。可見，較大的空域標準偏差可以有效擴大分類邊界，但與之對應的圖像處理時間會顯著增加。

從算法上看，值域的卷積運算速度遠快于空域，較大的空域標準偏差會降低算法運行速度，因此建模時可選擇相對較小的值。選取負類距離最小的f-6 樣品和正類t-1 樣品，正負類圖像經濾波后的差異見圖8。

圖6 B 品牌f-1、t-1 特征向量在不同值域和空域標準偏差下的歐式距離差異Fig.6 Euclidean distance difference of feature vectors under different sigmaspace and sigmacolor of Gaussian bilateral filter with f-1 and t-1 of Brand B

2.1.2 模型訓練

取B 品牌16 個圖像作為訓練集。其中，8 個為假煙，分別編碼為f-1～f-8；8 個為真煙，分別編碼為t-1～t-8。所有圖像的特征向量分別與t-1～t-8的特征向量進行相似性度量，得到8 個度量值，取平均值，作為真煙的最終度量值。由于真煙與其本身作度量時，距離為0 且相似性為1，會降低（或提高）平均值，因此不列入計算。訓練集在余弦相似性、曼哈頓距離、歐式距離、切比雪夫距離下的分類邊界見圖9。可見，分類器在訓練集上能夠將真假卷煙進行區分。

圖7 B 品牌訓練集在高斯雙邊濾波不同空域、值域標準偏差下的歐氏距離及分類邊界Fig.7 Euclidean distance and classification boundary of training set of Brand B under different sigmaspace and sigmacolor of Gaussian bilateral filter

圖8 B 品牌f-6 和t-1 的區域原圖、高斯濾波圖及轉化灰度圖對比Fig.8 Comparison of original images,Gaussian filtered images and gray images of f-6 and t-1 of Brand B

根據圖9 可得各相似性度量模型的分類邊界數值，見表1。當需要對圖像進行判定時，可以只考慮真煙的分類邊界（正類），凡是不符合真煙邊界的均判定為假煙。

2.1.3 模型驗證

將B 品牌測試集183 個樣品與t-1～t-8 對比計算相似性度量值并取平均值，模型分類效果見圖10。圖中紅線右側為正類樣品，可以看出正類樣品的度量值波動較小。在余弦相似性上正類樣品度量值接近1，在距離上度量值較低，說明其相似性較高，表明真煙商標采用的印刷工藝規范且原材料質量穩定。

B 品牌測試集的分類效果見表2。可見，正類、負類分類效果均較好的為曼哈頓度量模型，其正類準確率為100%，負類準確率為95.63%，總體準確率為96.17%。

圖9 訓練集相似性度量值和分類邊界Fig.9 Similarity measure and classification boundary in training set

表1 各相似性度量模型的分類邊界Tab.1 Classification boundaries of similarity measurement models

2.2 機器學習模型驗證

2.2.1 模型超參數的選取

圖像分塊數量和面積是機器學習建模時的超參數，需要人為指定不同分塊數量和面積，模型表現見圖11。由圖11a 可知，分塊數量在7～15 之間的模型具有較高的準確率、召回率和f 1 分數值。當分塊數量較小時，模型會出現欠擬合現象，分塊數量較大時會出現過擬合現象，分塊數量在7～15之間模型獲得最大準確率99.39%。由圖11b 可知，當分塊面積較小時，因模型無法篩選出強分辨力點區域，模型分數較低，隨著面積增大模型表現逐漸穩定，分塊面積在350 像素×350 像素以上獲得最大準確率99.39%。

2.2.2 模型訓練及驗證

將A 品牌圖像的70%劃分為訓練集，30%為測試集。在訓練集上將圖像分成9 個區域，每個區域分別訓練1 個SVM 分類器。訓練好的模型利用測試集進行測試，計算各分類器的準確率、召回率、總體準確率，結果見表3。可見，正類準確率在69.57%～100%之間，一部分分類器表現較好，另一部分表現較差。因采取投票機制［11］，有效避免了表現較差分類器對結果的判定，故正類準確率為100%，負類準確率為98.80%。因此，該模型的總體準確率為98.99%。

對B、C 兩個品牌采用同樣方式建模，各分類器及模型整體分類評價指標見表4。可見，B 品牌總體準確率為96.61%，C 品牌總體準確率為100%。3 個品牌的分塊區域大多集中在該品牌卷煙商標印刷時的防偽區域，說明在防偽區域上假煙與真煙的印刷工藝存在顯著差異，見圖12。

圖10 B 品牌測試集在相似性度量模型下的分類效果Fig.10 Classification effect of test set under similarity measurement model of Brand B

表2 各相似性度量模型的分類準確率Tab.2 Accuracy rate of classification of similarity measurement models

2.3 驗證結果

相似性度量模型在訓練集上具有顯著分類邊界，算法簡潔，度量值直觀，但有其局限性：一是標準真煙樣品和選取的假煙樣品是總體真煙和假煙的一部分，其印刷代表性會受到抽樣的影響，訓練出的分類邊界泛化能力低；二是對于測試集樣品需要逐個與標準真煙樣品進行比對，運算次數隨比對樣品數量線性增加；三是模型遷移能力不強，新卷煙品牌重新訓練分類邊界的算法較復雜。而機器學習模型建模時使用了大量數據集，降低了抽樣影響，增加了模型的魯棒性；分類邊界一旦確定，新樣品可以直接分類，不需要再進行比對，模型的遷移能力強，適用于所有卷煙品牌的建模過程。

圖11 不同分塊數量、分塊面積下的模型分數Fig.11 Model scores at different block zones and block areas

表3 A 品牌測試集機器學習模型的評價指標Tab.3 Evaluation indexes of machine learning model of test set of Brand A

表4 B、C 品牌測試集機器學習模型的評價指標Tab.4 Evaluation indexes of machine learning models of test sets of Brands B and C

圖12 不同卷煙品牌分塊展示圖Fig.12 Block display diagrams of three brands

3 結論

利用計算機視覺技術提取卷煙商標特征向量，分別建立了用于卷煙包裝鑒別檢驗的相似性度量模型和機器學習模型。相似性度量模型采用曼哈頓距離模型進行分類，通過對高斯雙邊濾波函數進行參數優化，較優值域標準偏差為30，空域標準偏差為123；基于圖像分塊建立的機器學習模型，當分塊數量為7～15，分塊面積在350 像素×350 像素以上時可獲得最大準確率99.39%。以“中華（軟）”“玉溪（軟）”“鉆石（荷花）”3 個卷煙品牌共603 個樣品為對象，分別采用兩種模型進行判定，結果表明：相似性度量模型在“玉溪（軟）”樣品測試集上，正類準確率為100%，負類準確率為95.63%，總體準確率為96.17%；機器學習模型在3 個樣品測試集上，“中華（軟）”準確率為98.99%，“玉溪（軟）”準確率為96.61%，“鉆石（荷花）”準確率為100%。機器學習模型與相似性度量模型相比較，具有較好的遷移能力和魯棒性，適用于卷煙真偽鑒別樣品量大、品類多、圖像復雜等情況。