基于PP-ShiTu 的快遞輕薄件識別系統設計

吳蓬勃，張金燕，王拓，張靜

（1.石家莊郵電職業技術學院，河北省高校快遞智能技術與裝備應用技術研發中心，河北石家莊，050021；2.河北工程技術學院，河北石家莊，050091）

0 引言

近年來，作為現代流通體系重要組成部分的郵政快遞業正向著數字化、智能化方向快速發展。隨著交叉帶分揀、擺輪分揀、AGV 分揀等技術的不斷成熟，快遞包裹的分揀效率逐步提高；但是，快遞包裹中占比10%以上的超輕、超薄異形件[1～2]仍然需要人工分揀，分揀效率一直無法提高。

經分析發現：傳統分揀機主要依靠包裹自身重力脫離分揀機托盤，進而落入指定格口實現分揀；但是輕薄件無法通過重力掉落并且易吸附在分揀機托盤上，從而導致輕薄件無法上機分揀。

本文基于飛漿PP-ShiTu 圖像識別系統，設計了輕薄件智能識別系統，結合機械臂抓取和AGV 搬運等設備，可實現快遞輕薄件的智能分揀，從而降低作業人員勞動強度、提高分揀效率。

1 系統總體設計

系統架構圖如圖1 所示，系統主要包括：NVIDIA AGX嵌入式平臺（以下簡稱：AGX 平臺）、機械臂、3D 相機、路由器和AGV 分揀機器人。AGX 平臺通過網絡分別連接3D相機和機械臂；3D 相機對輕薄件進行三維圖像采集；AGX平臺對采集的圖像進行物體識別和定位，并將輕薄件三維位置信息發送給機械臂；機械臂抓取輕薄件，首先掃描底部條碼并放置到AGV 托盤上，如果底部掃描到條碼，則AGV 開始進行分揀作業，如果底部未掃描到條碼，則進行頂部條碼掃描，如果掃描到條碼，則AGV 開始分揀作業，如果兩次都未掃描到條碼，則AGV 將輕薄件倒入拒識格口，由人工進行分揀。

圖1 系統架構圖[3]

本系統主要包括：輕薄件識別、圖像坐標到機械臂坐標的轉換兩個部分，本文重點對第一部分進行介紹，第二部分請參考文獻[3]。

2 模型選擇與訓練

■2.1 模型選擇

快遞輕薄件在運輸中會出現臟污、翻滾、相互擠壓變形等情況，各異的形態會導致一些輕薄件的識別率下降，需要再次采集數據并進行模型訓練和更新；模型訓練和更新耗時越短，對生產作業的影響越小。

因此，本系統選用了可快速進行模型更新的PPShiTuV2（PP-ShiTu 的第2 個版本）實時輕量級圖像識別系統對輕薄件進行識別。PP-ShiTuV2 基于百度飛漿圖像識別開發套件PaddleClas，主要包括：主體檢測、特征提取和向量檢索三個部分，如圖2 所示。系統主要思路為：主體檢測部分基于PicoDet 模型將圖像前、背景分離，提取物體的ROI 圖像；特征提取基于PP-LCNetV2 模型提取物體圖像特征；向量檢索部分基于Faiss 算法，在已知圖像特征庫（即：通過對訓練集圖片提取特征而構建的特征庫）中進行快速檢索，查找出與物體圖像特征最相似的特征，獲取該特征所對應的分類，從而實現物體識別。

圖2 PP-ShiTuV2 框架[4]

采用PP-ShiTuV2 進行輕薄件識別的好處在于：僅需要訓練一套模型，在生產中如出現未識別的輕薄件，只需采集少量代表性圖片，放入底庫圖片（一般為訓練集圖片）gallery 中并進行特征提取，生成底庫圖片特征庫即可。

■2.2 輕薄件數據采集與處理

本系統共采集了1533 張輕薄件圖像用于模型訓練，如圖3 所示，其中包括：單個輕薄件（正、反面）、多個輕薄件無序堆疊兩種形式。為了在識別輕薄件的同時也可以判斷其正反面（有面單的為正面），縮短后續讀碼時間，在進行圖像分類時，將輕薄件正反面分開。根據材質，輕薄件共分為6 類：envelop（信封袋，面單在上）、envelopN（信封袋，面單在下）、paperBag（紙箱，面單在上）、paperBagN（紙箱，面單在下）、plasticBag（塑料袋，面單在上）和plasticBagN（塑料袋，面單在下）共計6 個類別。

圖3 輕薄件數據集

由于PP-ShiTuV2 系統的主體檢測模型PicoDet 已在大量公開數據集上進行了訓練，具備一定的目標檢測能力，所以不再進行模型訓練。本系統中重點對特征提取部分進行模型訓練，即對主體檢測模型輸出的物體圖像進行分類。圖像分類模型的輸入需為單個物體的圖像，所以需要對輕薄件數據集中的圖片依據標注文件進行分割，圖片分割效果如圖4所示。

圖4 分割后的圖像

■2.3 模型訓練

本部分主要對特征提取模型PP-LCNetV2 進行訓練。PPLCNetV 模型基于飛漿圖像識別與分類工具集PaddleClas 進行訓練，首先，需要修改模型配置文件GeneralRecognitionV2_PPLCNetV2_base.yaml（位于ppcls/configs），設置：預訓練模型位置、訓練設備（cpu 或gpu）、推理文件保存路徑、圖像數據集路徑等參數；然后，運行tools 目錄下的train.py文件開啟模型訓練，設置訓練批次batch_size=16，初始學習率learning_rate=0.06，當訓練批次epoch=100 時，損失率loss 達到一個相對穩定的數值1.85，圖5 展示了模型訓練中損失率的變化曲線；最后，通過tools 目錄下的eval.py 進行模型評估，均值平均精度mAP 達到了0.97246（如圖6 所示），表明模型在數據集中有非常好的表現，可進一步在實際場景應用[5]。

圖5 模型訓練中損失率的變化曲線

圖6 模型評估

■2.4 向量檢索

基于訓練好的特征提取模型，對所有底庫（一般為訓練集）圖片進行特征提取，構建底庫圖片特征庫。待識別物體通過特征提取后，可得到相應的特征向量，將該特征向量在底庫圖片特征庫中進行快速檢索（基于Faiss 算法），找到最相似特征，獲取其對應的分類標識，即可實現物體識別。向量檢索工作原理，如圖7 所示。

圖7 向量檢索工作原理

對底庫圖片建立特征索引庫的具體步驟為：修改配置文件inference_general.yaml（位于deploy/configs），設置：主體檢測模型、圖像分類模型以及數據集文件的路徑；通過運行build_gallery.py（位于deploy/python）建立特征索引庫。

3 系統測試

將模型部署到AGX 平臺上，進行圖像識別測試。測試效果如圖8、圖9 所示。圖8 展示了對信封和紙箱材質輕薄件的識別效果，圖9 展示了對塑料材質輕薄件的識別效果。

圖8 輕薄件識別測試1

圖9 輕薄件識別測試2

4 總結與展望

本文面向快遞業輕薄件分揀場景，設計了一套基于視覺的機械臂分揀系統。選取PP-ShiTu 輕量級圖像實時識別系統進行輕薄件的識別，構建了輕薄件圖像數據集，對圖像特征提取模型PP-LCNetV2 進行了訓練，并建立了圖像特征索引庫，最終實現了輕薄件的圖像識別。將輕薄件中心像素坐標通過坐標變換，可轉換為機械臂坐標系坐標，結合3D 相機測距，可實現視覺引導機械臂抓取輕薄件，結合條碼讀取和AGV 分揀機器人，最終可實現輕薄件的智能分揀。