基于深度學習的藥品抓取機械臂系統

摘 要：隨著醫藥行業對自動化和智能化的需求不斷增加， 傳統的藥品搬運方式已經不能滿足現代化管理的要求。為解決當前藥品管理中存在的自動化程度不足、效率低以及人為錯誤頻發等問題， 本文設計了一個能夠深度識別和抓取藥品的機械臂系統。將雙目攝像頭固定安裝在可以清晰看到機械臂和藥品的位置，利用YOLOv5獲取藥品的三維坐標，采用逆運動學計算6個步進電機的移動角度，傳遞至機械臂，完成自動抓取藥品，并將其放置到預設的固定位置。試驗結果表明， 系統能夠高效、可靠地完成藥品的識別與轉移，為智能化藥品管理提供了新的解決方案。

關鍵詞：智能藥品管理；六軸機械臂；三維坐標；逆運動學；自動抓取

中圖分類號：TP 241" " " " " " " 文獻標志碼：A

隨著醫藥行業對自動化和智能化的需求不斷增加， 傳統的藥品搬運方式不能滿足現代化管理的要求。在藥品管理領域中存在自動化程度不足、效率低以及人為錯誤頻發等問題，這些問題不僅降低了藥品的流通效率， 還可能導致醫療安全隱患， 給患者的健康帶來風險。因此，開發一種高效、智能的藥品管理系統十分必要， 不僅能夠提升工作效率， 還能夠提高醫療服務的安全性和可靠性。

本文設計能夠深度識別和抓取藥品的機械臂系統， 提高藥品搬運的自動化水平。系統將雙目攝像頭固定安裝在能夠清晰觀察機械臂和藥品的位置，采用YOLOv5算法對藥品進行深度學習與識別， 獲取藥品的三維坐標。隨后， 采用逆運動學算法計算6個步進電機的移動角度， 保證機械臂能夠自動抓取藥品并將其放置到預設位置。這個流程提高了藥品識別和轉移的效率， 為智能藥品管理提供解決方案。系統適應性和靈活性高， 能夠應用于不同的工作場景中。

1 相關技術概述

1.1 雙目視覺模塊介紹

奧比中光335雙目攝像頭是一款高性能視覺設備，適用于深度感知和計算機視覺設計。該攝像頭的分辨率為1 920 ppi×1 080 ppi， 能夠提供精準的三維空間數據。其水平視場角為90°， 垂直視場角為60°， 能夠在各種環境中有效捕捉深度信息。

雙目視覺在物體識別和環境感知方面具有明顯優勢，能夠獲取物體的深度信息，提高系統在復雜環境中的適應能力，使機械臂準確識別并定位目標物體。該設備利用2臺攝像頭模擬人類的視覺系統，捕捉同一個場景的2個不同視角的圖像， 從而生成三維信息。

1.2 獲取深度值

本文利用Orbbec SDK建立數據流管道，并設置了深度傳感器的測量深度。在數據捕獲過程中，使用OpenCV庫對深度數據進行處理，保證了數據處理的高效性和準確性。

在深度數據的處理部分，本文采用時間濾波技術降低噪聲，并且提高深度圖像的穩定性。TemporalFilter類利用加權平均當前幀和前一幀的深度數據，實現了平滑效果。這個方法在動態環境中更重要，可以有效降低快速運動或環境變化導致的深度測量誤差。

此外，深度數據經過歸一化處理后，通過顏色映射技術轉化為可視化圖像。其中，距離攝像頭越近的區域顏色越深，提升了人機交互的直觀性。

1.3 YOLOv5算法

YOLOv5是一種單階段目標檢測算法，其網絡結構由輸入端、主干特征提取網絡、加強特征融合網絡和檢測層4個部分組成。該算法通過單次前向傳播實現目標識別，適用于實時應用場景。改進YOLOv5的三維目標檢測算法能夠識別藥品并確定其在機械臂基坐標系中的三維坐標，使系統能夠快速響應， 準確抓取目標物體。YOLOv5算法提升了藥品識別的準確性， 不僅可以提高工作效率， 還能減少人為錯誤， 保障藥品管理的安全性和可靠性。

1.4 機器臂控制系統

系統采用Arduino IDE來控制6個步進電機，驅動機械臂進行運動。步進電機以其高精度特性，使機械臂能夠在各種工作條件下執行復雜的抓取任務[1]。通過逆運動學算法，將藥品在機械臂坐標系下的三維坐標轉換為六軸運動的角度，實現自動抓取藥品。

機械臂的控制基于串口通信和消息隊列技術，提供了高效、實時的機器人關節控制和數據交互能力。系統導入了必要的庫，包括串口通信庫和自定義的MsnhProto協議庫，為后續的數據傳輸和處理奠定了基礎。

在系統架構方面，采用了多線程機制，通過RevThread類處理機器人的數據，通過SendThread類發送數據至機器人。這種設計保證了數據處理的實時性和高效性，有效防止了數據丟失或延遲現象的發生。

在數據處理環節， 系統將關節角度轉換為步進電機脈沖， 并設定了特定的比例關系以實現精確控制。同時，系統利用消息隊列與MsnhRobotStudio進行雙向通信， 接收控制指令并反饋機器人的狀態。

2 系統設計與完成

2.1 相機標定

相機標定旨在消除攝像頭的畸變，校正拍攝的圖像，從而獲取更精確的三維坐標。世界坐標系至像素坐標系的轉換如圖1所示。在相機標定過程中，會計算出相機的內外參數矩陣，這些矩陣用于確定三維空間與圖像平面之間的轉換關系。

根據張正友棋盤格標定法得到世界坐標系與相機像素坐標系的轉換關系， 即相機標定的內參矩陣和單應矩陣，如公式（1）所示。

（1）

式中：s為成像縮小的比例因子；（uP，vP）為P在圖像像素坐標系中的二維坐標；fx、fy分別為x、y方向的焦距；cx、cy分別為圖像的主點坐標；R3×3為一個3×3的旋轉矩陣，表示坐標系之間的旋轉關系；T 3×3 為一個3×1的旋轉矩陣，表示坐標系之間的平移關系；XPw、YPw和ZPw為P在世界坐標系中的點的三維坐標。

相機內參矩陣和畸變系數如圖2所示。設相機參數fx=642.608、fy=629.081、cx=695.866以及cy=389.806。利用OpenCV庫獲取畸變系數：[（-0.046，-0.063，-0.003，0.024，0.036）]。

2.2 獲取相機坐標系中的三維坐標

本文構建了一個基于PyQt5的系統，采用YOLOv5目標檢測算法，旨在精確獲取藥品的三維坐標，提高藥品檢測的準確性和速度。系統的核心組件是MainWindow類，其繼承自QTabWidget， 并設計了多個標簽頁，用于顯示三維坐標界面，包括圖片檢測、視頻檢測。

在系統初始化階段，本文配置了深度傳感器，利用pyorbbecsdk庫中的Pipeline和Config類進行流配置和啟動。這個過程保證了系統能夠從深度幀中提取中心點的深度值，實時獲取藥品周圍的深度信息，為計算相機坐標系中的三維坐標提供必要的數據基礎。

相機標定是獲取藥品在相機坐標系中的三維坐標的關鍵環節。本文導入了相機內參矩陣和畸變系數，以保證圖像數據的準確性。采用去畸變技術去除圖像中的畸變，提高了模型在實際應用中的可靠性。此外， 使用加權平均處理前后幀深度數據，進一步減少了傳感器噪聲對深度測量的影響[2-4]。在藥品目標檢測方面， 系統利用YOLOv5模型對靜態圖像和視頻流進行分析，實時識別藥品的位置。當藥盒放置在攝像頭拍攝范圍內時，界面上會顯示出藥品的三維坐標，如圖3所示。

2.3 手眼標定

獲取藥品在相機坐標系中的三維坐標后，為了使機械臂能夠準確抓取，必須將該位置轉換為相對于機械臂的位置。系統采用矩陣進行位置轉換，并應用了眼在手外（Eye-To-Hand）的手眼標定方法[5]（其結構如圖4所示），將攝像頭固定在能夠清晰觀察機械臂和藥品的位置，移動機械臂和標定板進行手眼標定。

由圖4可知，第i次的位姿轉換矩陣如公式（2）所示。

= ?? （2）

同理，第i+1次的位姿轉換矩陣如公式（3）所示。

=?? （3）

機械臂抓取標定板如圖5所示，由于機械臂末端吸塞吸取了標定板至另一個位置，因此標定板坐標系相對相機坐標系的位姿轉換矩陣不變，和相等。

標定板坐標系相對于相機坐標系的位置關系計算過程如公式（4）所示，其包括平移和旋轉信息，能夠描述標定板在相機視角下的定位。

=?? （4）

機械臂末端坐標系相對于機械臂基坐標系的位置關系計算過程如公式（5）所示，能夠描述機械臂末端在基坐標系下的位姿。

=+? （5）

聯立公式（4）、公式（5）得到公式（6）。

??=?? （6）

由于機械臂基座相對相機位姿固定，因此=對公式（6）進行移項，得到公式（7）。

??=?? （7）

令：

?=A

?=B=X

由公式（7）AX=XB，可以計算出A、B的值，并將它們代入該公式中，以求得位姿轉換矩陣X，進一步轉化為公式（8）、公式（9） 。

=A? （8）

=B? （9）

通過公式（8）、公式（9），筆者得到了標定板坐標系在相機坐標系中的位姿轉換矩陣A，以及機械臂末端坐標系在基坐標系中從第i次到第i+1次的位姿轉換矩陣B。為了進一步提高手眼標定的準確性， 本文采用了文獻[6-8]中的Ada Delta算法對手眼標定過程進行優化處理，最終得到基于機械臂基座標系的三維坐標（X'，Y'，Z'），見表1。

2.4 逆運動學

根據在機械臂基座標系中獲取的三維坐標，本文采用了逆運動學算法來計算機械臂從初始姿態運動到目標末端位姿時，各關節所需轉動的角度θi。在進行逆運動學計算時，本文參考了表2[9]中列出的D-H參數。

如圖6所示為機械臂末端位置的示意圖。在初始狀態下，吸塞的初始位被置設為與X0Y0平面重合，關節軸一需要旋轉θ1或θ1+π才能夠使藥盒P與X0Y0平面重合。

由于機械臂的關節軸一允許雙向旋轉，因此同一個末端位置存在2種可能的旋轉方向，導致θ1有2個解。關節軸一旋轉θ1的計算過程如公式（10）所示。

（10）

式中：a為連桿的長度。

以第一關節軸的坐標系（如圖7所示）為參考，在逆運動學分析中，根據D-H參數表中的DH[2，1]項，來確立第二個關節的偏移量與第一個關節連桿長度的位置關系，設A0點為（x0，0，z0），由此推導出方程，如公式（11）所示。

x02+z02=DH[2，1]2

（x-x0）2+（z-DH[0，2]-z0）2=DH[3，2]2 （11）

式中：x、z為末端執行器在機械臂基坐標系中的目標坐標。

計算公式（11）中的二元二次方程組，得到（x00，z00）、（x01，z01）、（x02，z02）和（x03，z03）4組解，去除其中的非實數解，得到關節軸二、關節軸三的旋轉角，如公式（12）、公式（13）所示。

θ2=atan（x0，z0） （12）

θ3=atan（z-DH[0，2]-z0x-x0）-atan2（z0，x0） （13）

計算公式（12）中的方程，得到關節角θ2、θ3的2組解。同理，當θ1=atan2（y，x）+π時，得到關節角θ2、θ3的2組解，去除其中相同的解，得到θ1、θ2以及θ3。

機械臂前3個軸旋轉后， 已知吸塞位置與藥盒位置重合， 由于關節軸四、五和六在吸塞位置相交， 因此3個軸的旋轉不會改變吸塞位置。單獨對3個軸進行姿態解算，可以得到關節角。設R1（θ1）、R2（θ2）、R3（θ3）、R4（θ4）、R5（θ5）以及R6（θ6）為各軸的變換矩陣[10]。將關節軸四、五和六的旋轉過程視作動歐拉角ZYZ的旋轉模式， 其對應的旋轉矩陣表示為R（θ4，θ5，θ6），如公式（14）所示。

（14）

將多個旋轉矩陣疊加，得到機械臂末端執行器在全局坐標系中的總旋轉矩陣RP，如公式（15）所示。

R（θ1）R（θ2）R（θ3）R（θ4=0）R（θ4，θ5，θ6）=RP （15）

聯立公式（14）、公式（15），得到θ4、θ5和θ6。

根據圖8所示的多組角度值，從中選取最優的一組角度， 利用串口端傳送至Arduino控制板， 完成機械臂抓取動作，并將其準確放置到預設的位置。

3 結語

本文設計了基于雙目視覺的藥品抓取機械臂系統，系統采用YOLOv5算法和Arduino控制技術，能夠靈活處理不同形狀和尺寸的藥品[11]，藥品識別成功率為95%，抓取任務成功率為92%，放置任務成功率為90%。藥品管理的自動化和智能化水平提高，系統適應性良好， 效率和可靠性高，為實際應用提供了有效解決方案。

試驗結果表明，使用本文系統，出現人為錯誤的概率降低， 藥品搬運效率和醫療安全性更高。盡管系統在大多數情況下表現良好，但是在復雜背景中以及當光照發生變化時識別準確性會降低。未來將優化算法，提高環境感知能力， 進一步提升系統的魯棒性和準確性。還將引入更多傳感器和智能決策機制，使系統能夠動態適應不同的工作環境，提升其在實際藥品管理中的應用價值。綜上所述，本文為智能藥品管理系統的開發和應用奠定了基礎，拓展了發展方向。

參考文獻

[1]馬子鳳.基于閉環算法的七自由度系統冗余問題優化研究[J].機電產品開發與創新，2025，38（1）：134-136.

[2]劉翰林，劉凌云，李超凡，等.基于YOLOv5s-CBC的鋼材表面缺陷檢測[J].組合機床與自動化加工技術，2024（10）：155-159.

[3]李宗柱，宋紹劍，李修華.一種基于YOLOv5的農業害蟲檢測方法[J].植物保護，2025，51（1）：111-122.

[4]盛雪清，李紹斌，屈金燕，等.基于改進YOLOv5的三維目標檢測算法[J].激光與光電子學進展，2024，61（18）：147-157.

[5]程強，黃河，許靜靜，等.一種基于雙目視覺和Halcon的高效機器人手眼標定方法[J].現代電子技術，2023，46（13）：35-42.缺陷檢測[J].組合機床與自動化加工技術，2024（10）：155-159.

[6]陳琳，付鈺，王龍友，等.基于點云維度轉換的雙優化層手眼標定方法[J].組合機床與自動化加工技術，2025（1）：185-189.

[7]賈銅，畢德學，宋韋辰，等.基于視覺引導的機器人抓取系統手眼標定方法[J].食品與機械，2024，40（7）：63-67，110.

[8]岳有軍，李勇飛，趙輝，等.雙目視覺手眼標定的精度優化[J].組合機床與自動化加工技術，2023（7）：162-165，170.

[9]周楊，楊旗，閆為佳.基于D-H參數的六軸機器人運動學分析與仿真[J].機械工程與自動化，2024，（3）：56-58.

[10]王鑫，張捷，呂明.基于Unity3D的檔案抓取機械臂仿真系統設計與實現[J].工業控制計算機，2024，37（8）：83-85.

[11]陳晗彬.基于雙目視覺定位的機械臂智能抓取控制研究[J].機電工程技術，2023，52（12）：115-119.