基于機器視覺及深度學習的靜脈藥物調配機器人藥瓶識別

滕臻，崔國華，高鵬，陳奇

(1.河北工程大學機械與裝備工程學院，河北邯鄲 056038；2.上海工程技術大學智能機器人研發中心，上海 201620；3.深圳市博為醫療機器人有限公司，廣東深圳 518000；4.廣東省人民醫院，廣東廣州 510080)

0 前言

靜脈藥物調配機器人主要為了解決人工配置過程中存在的環境不達標、有毒藥物揮發危害配藥人員健康、勞動強度大、效率低等問題。同時達到比現存類似機器人體積小、效率高、配置過程更加穩定的目的，代替配藥人員自動完成靜脈輸液藥物的配置。靜脈藥物調配機器人代替了人工配藥，將藥師和醫護人員從繁忙的手動配藥中解放出來。主要功能為開啟安瓿瓶和西林瓶，并利用注射器抽取、混合瓶內藥物，然后將混合藥液注入輸液袋中，從而可以直接拿給病人滴注使用。靜脈配藥機器人主要用來配置化療藥物等有毒藥物，必須要保證配藥的成功率及安全性。

靜脈藥物調配機器人主要由機械臂模塊、安瓿模塊、注射模塊、溶媒模塊、振動模塊、計量模塊、藥品臺模塊及外圍模塊組成的。五自由度的機械臂起到運輸藥瓶的作用，視覺識別完成后，機械臂從藥品臺夾取藥物運輸到各個模塊。藥瓶分為安瓿瓶和西林瓶兩類，兩種藥物配藥流程不同。靜脈藥物調配機器人的操作流程是：藥師掃描處方二維碼，配藥機器人上位機獲得配藥信息；藥師按照上位機的提示將藥物按順序放入藥品臺，然后點擊“配藥”按鈕，藥品臺開始移動到視覺識別位置；視覺識別完成后，靜脈配藥機器人開始根據不同的藥物進行相對應配藥流程。在PIVAS(靜脈藥物配置中心)，藥師每天會使用配藥機器人配置大量的藥物，醫護人員在使用配藥機器人時，可能會放錯或漏放藥物。安瓿瓶藥物與西林瓶藥物的配藥流程不同。若放錯藥物，可能會導致配藥失敗。化療藥物如果在配藥倉中破裂灑到內部模塊上，由于配藥倉空間狹小，醫護人員在清理時會非常不方便和危險。

視覺識別的應用能夠有效提高配藥的成功率。在配藥機器人上，傳統的視覺識別是基于樸素貝葉斯分類，首先對采集的圖片進行分割、灰度化處理、膨脹腐蝕、邊緣提取等一系列操作，然后通過貝葉斯分類算法識別藥瓶種類。這種藥瓶識別方式有很大的缺陷：受環境干擾性大，必須在穩定背景光源下識別成功率才能達到標準。隨著深層神經網絡結構的發展，目標檢測領域得到了新的關注，并且在不斷發展。本文作者以識別藥瓶為研究對象，提出了一種基于YOLOv5s的靜脈藥物調配機器人識別藥物的算法，實現了對藥瓶的高效識別。該方法有效提高了配藥機器人的配藥成功率。

1 YOLOv5s網絡模型結構

YOLOv5網絡是YOLO體系結構系列的最新產品。YOLOv5網絡包含4種不同的體系結構,分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5通過depth multiple和width multiple兩個參數來改變網絡的深度和寬度。其中，YOLOv5s是這4個網絡模型中深度和寬度最小的網絡，因此YOLOv5s具有很強的靈活性，并且YOLOv5s網絡具有模型尺寸小和檢測速度快等優點，同時降低了識別模型的部署成本。本文作者選擇 YOLOv5s 作為藥瓶檢測和分類的模型，在自己制作的藥瓶數據集上對網絡進行訓練，利用訓練完成的YOLOv5s實現藥瓶的自動分類。

YOLOv5的整體布局與YOLOv4相似，同樣將網絡結構劃分成輸入端、Backbone、Neck、Prediction 4個部分。如圖1所示,輸入端：YOLOv5采用Mosaic數據增強方式，并加入了自適應圖片縮放與自適應錨框計算。Backbone：采用Focus結構，CSP結構。Focus是主干網的第一層模塊，其目的是減少模型的計算量，加快訓練速度。其原理是使用切片操作將輸入的3通道608×608×3的圖像分割成4個切片，每個切片的大小為304×304×3，再利用concat模塊將4個部分進行深度連接，輸出特征圖大小為304×304×12；然后通過由32個卷積核組成的卷積層，生成大小為304×304×32的輸出特征圖；最后，通過BN層與Hardswish激活函數將結果輸出到下一層。YOLOv5中設計了兩種不同的CSP結構，分別是CSP1-X結構和CSP2-X結構。主干網絡中采用CSP1-X結構，它的目的是更好地提取圖像的深層特征。主干網的最后一層是SPP模塊，該模塊通過將任意大小的特征圖轉換為固定大小的特征向量來提高網絡的接收場。Neck:YOLOv5采用FPN和PAN結構。頸部網絡中采用的是CSP2-X結構。頸部網絡是組合與混合圖像特征的特征聚合層，主要用于生成特征金字塔網絡(FPN)，然后將輸出的特征映射傳送到檢測網絡。YOLOv5采用了一種新的FPN結構，增強了自底向上的路徑，提高了底層特征的傳輸，增強了對不同尺度目標的檢測。Prediction：采用GlOU-Loss作為損失函數，檢測網絡主要用于模型的最終檢測部分。

圖1 YOLOv5s結構

2 YOLOv5s網絡模型訓練

此次實驗自制一個數據集，首先手動拍照采集1 200張圖片，并用labelImg軟件進行標定。從1 200幅圖像中隨機抽取1 000幅圖像作為訓練集，100幅圖像作為測試集，其余100幅做驗證集。其次，為了提高藥瓶目標識別模型的訓練效率，對訓練集的1 000幅圖像進行了壓縮，將其長度和寬度壓縮到原來的1/4。

由于數據集較小，為了提高藥瓶目標檢測模型的泛化能力，利用MATLAB軟件的圖像處理功能，分別對訓練集的1 000幅圖像采用了幾種圖像增強方法。圖像增強方法包括圖像亮度增強和降低、垂直鏡像、水平鏡像、多角度旋轉(90°、180°、270°)等。考慮到相機在圖像采集過程中產生的噪聲以及采集到的圖片由于采集時相機的抖動而產生的模糊，在圖像中加入方差為0.01的高斯噪聲，進行運動模糊處理。

此次實驗具體實驗配置如表1所示。

表1 目標檢測實驗環境配置

此次研究采用端到端的隨機梯度下降法(SGD)訓練YOLOv5s網絡。將模型訓練的BatchSize設置為16，每次由BN層進行正則化以更新模型的權重。動量因子設定為0.9，衰減系數設定為0.000 5，權值的初始學習率設定為0.01。將訓練次數設為300次，訓練后保存識別模型的權值文件，利用測試集對模型的性能進行評價。

圖2為tensorboard可視化顯示訓練和測試結果。其平均精度均值(mAP)、召回率(recall)、查準率(precision)和損失函數(giou_loss)如圖2所示。YOLOv5s剛開始的損失函數值較小，在訓練100輪左右趨于穩定，損失曲線如圖2(d)所示，損失值在網絡訓練的前50個階段迅速下降，并且基本上在訓練100個階段后趨于穩定。召回率的曲線表明模型訓練良好，沒有過度擬合。本文作者以經過300次訓練后的模型輸出作為靜脈配藥機器人的藥瓶目標識別模型。

圖2 模型訓練階段驗證損失

3 測試結果與分析

實驗的硬件環境如圖3所示，以具有獨立層流的配藥機器人內部作為測試場景。工業相機與背景光源之間距離約600 mm，藥瓶放置于背景光源之前。通過工業攝像頭，可以一次進行12只藥瓶的識別和測量。外部光源采用機器人內部的照明光源，從左上方照射。背景光源和外部光源均20級可調。

圖3 不同類型藥瓶識別實驗環境

對比實驗分別采用背景光源和外部光源情況下，采用基于貝葉斯方法的藥瓶分類以及基于YOLOv5s分類方法進行實驗。采用外部光源情況下，如圖4所示，由于光線照射角度不一致、物品之間的遮擋等因素，產生很多明暗不同的情況，且對于透明的安瓿瓶，其視覺效果接近人的視覺，不容易從背景中分離出來。而采用背景平行光源的情況下，如圖5所示，藥瓶輪廓呈明顯的黑色，藥瓶較容易辨識。

分別在外部光源和平行光源條件下改變曝光度，在每個不同曝光度下進行20次對比實驗，每次放置12個藥瓶到藥品臺。準確率等于所有識別成功的瓶數除以總瓶數。結果繪制如下：圖6為采用外部光源情況下的實驗結果；圖7為采用背景平行光源的情況下的實驗結果。

圖4 采用外部光源的實驗效果

圖5 采用背景平行光源的實驗效果

圖6 外部光源不同曝光度對識別準確率的影響 圖7 背景光源不同曝光度對識別準確率的影響

通過對比可得：

(1)在采用外部光源的情況下，基于樸素貝葉斯方法的藥瓶分類效果明顯差于基于深度學習方法的效果,尤其在透明安瓿瓶的識別上，識別率更低。

(2)在采用背景平行光源的情況下，貝葉斯方法在曝光度40～80之間時，可實現與深度學習方法相同的識別率。在曝光度過低或過高的情況下，基于貝葉斯分類器的算法不能完整提取出藥瓶輪廓，貝葉斯方法識別率下降更迅速。

(3)外部光源和背景光源曝光度在過低、過高區域時，兩種方法均會出現識別率下降的情況。在有背景光源條件下，高曝光度會導致兩種方法識別率快速下降，過高的曝光度會造成貝葉斯方法完全識別不出藥瓶。

(4)采用深度學習方法的藥瓶識別對于光源的敏感度相對較低，尤其在50～100曝光度范圍，兩種光源情況下識別率基本一致。

基于上述實驗效果，可以得出在針對藥瓶類型的識別中，YOLOv5s比傳統的藥瓶識別技術識別正確率更高、抗干擾性更強、魯棒性更好。基于貝葉斯分類器的識別方法必須在光源合適的時候才能保證識別的正確率。YOLOv5s的應用場景更廣，可以在不具備較高光源條件的情況下使用。

4 結論

針對不同工作環境下的靜脈藥物調配機器人對藥瓶類型的識別，分別提出了采用基于機器視覺和貝葉斯方法的識別方法,以及基于深度學習YOLOv5s框架的識別方法。并深入研究了兩種方法在外部光源、背景光源不同情況下的識別效果。

通過對比可以得到結論，基于YOLOv5s網絡的藥瓶分類檢測模型在不同光照、角度等條件下，檢測準確度高、實時性強、魯棒性高。可以使用在更多的任務場景下，如不具備背景光源條件的臺式配藥機器人、不具備布置背景光源的工序上。但在對于藥瓶尺寸的精準測量上，基于機器視覺的方法配合背景光源仍是重要的非接觸式測量方法之一。藥瓶的識別、尺寸的測量作為機器人配藥的中間環節之一，應根據不同機器人的使用場景、方式、目的進行靈活選擇。