機器人視覺引導下的機柜操作技術研究

摘要：針對狹窄環境下機柜操作效率低下、精度不足的問題，文章基于機器人視覺技術開展了系統性研究。首先，通過系統總體設計框架的規劃，研究了機柜操作系統的整體架構和功能模塊。其次，對視覺模塊設計進行了深入探討，包括相機選擇與安裝、相機標定與參數配置、目標識別與定位算法的開發等，旨在實現對機柜及其內部設備的準確識別和定位。最后，針對執行模塊設計展開了研究，并以JAKA-ZU3機械臂為基礎分析了機械臂運動規劃與控制方法，以實現對機柜的自動識別、定位和操作。

關鍵詞：機器人；手眼標定；視覺引導；系統構建

中圖分類號：TP242.6 文獻標志碼：A

0 引言

隨著數字化信息時代的不斷發展，機器人技術正成為工業自動化領域的研究熱點［1］。隨著工業生產和服務領域的自動化程度提高，這些領域對機器人視覺技術提出了更高的要求，特別是在狹窄環境下的機柜操作。傳統的操控方式往往效率低下、精度不足［2］，因此研究基于機器人視覺引導的機柜操作技術更具有重要的實際意義和應用前景。

本文研究旨在針對機柜操作這一特定場景，結合機器人視覺引導技術展開深入研究與探索，為機器人在狹窄環境下的操作提供一種新的解35YPStaaDXUbTlqphMx1CA==決方案，以推動機器人技術在工業生產中的應用與發展。

1 基于機器人視覺的機柜操作方法設計

本文設計的基于機器人視覺的機柜操作方法如圖1所示，該框架包括機器人操作系統、目標識別定位方法（數據集建立、模型建立、機柜識別定位）、相機標定模塊（確定相機位置、相機標定、獲取相機內外參數、手眼標定、機械臂坐標變換矩陣）等多個部分。

（1）系統中的計算機作為主控制單元，負責整個系統的協調和控制。機器人操作系統作為機器人控制的核心，負責接收處理計算機發送的指令并通過執行模塊實現相應的動作［3］。

（2）目標識別定位方法是系統的重要組成部分［4-6］，主要包括數據集建立、模型建立和機柜識別定位3個步驟。在數據集建立階段，該方法通過收集機柜的圖像數據來構建數據集，接著利用已建立的數據集訓練模型。在應用時，系統對實時采集的機柜圖像進行處理，從而實現對機柜的準確識別和定位。

（3）相機標定模塊負責確定相機的位置和內外參數，包括相機標定［7-8］、手眼標定和機械臂坐標變換矩陣等多個步驟［9-11］。

（4）機械臂坐標變換矩陣用于轉換相機坐標系與機械臂坐標系，確保機械臂能夠根據相機采集到的圖像進行準確操作。

2 視覺模塊設計

本文設計的機器視覺系統如圖2所示。視覺系統先通過相機標定步驟對相機進行標定，以獲取相機的內外參數。該過程中，系統采用相機內參標定模塊獲取相機的焦距、主點坐標等內部參數，這些參數對于后續的圖像處理和相機位置計算至關重要。在確定相機擺放位置之后，手眼標定用于標定相機與機械臂之間的相對位置關系。通過采集相機和機械臂末端執行器的關鍵位置數據，并結合相應的標定算法，系統能夠準確地確定二者之間的相對位置關系。機械臂坐標變換矩陣模塊用于獲取機械臂坐標系與相機坐標系之間的轉換矩陣，以實現機械臂的運動控制和目標定位。

在識別定位中，算法模塊是系統的核心部分，結合深度學習和圖像處理技術，系統對采集到的圖像進行分析和處理，以實現對機柜等目標物體的識別和定位。

手眼標定是該方法的關鍵技術，具體如式（1）所示。

Tcw=Tew·Tbe·Tcb（1）

式中，Tcw表示相機在世界坐標系中的位置和姿態；Tew表示末端執行器在世界坐標系中的位置和姿態；Tbe表示末端執行器在機器人基座坐標系中的位置和姿態；Tcb表示機器人基座到相機之間的位置和姿態關系。

手眼標定的目標通過一系列采樣點（Tei，Tci）求解Tcb。其中，Tei表示機器人末端執行器在世界坐標系中的位置和姿態；Tci表示相機在世界坐標系中的位置和姿態。手眼標定的過程可表示為式（2）。

Tcb=ni=1（Tei）-1·Tci（2）

式中，n表示采樣點的數量。手眼標定可以通過最小化以下誤差來求解Tcb，如式（3）所示。

E=∑ni=1‖Tcb-（Tei）-1·Tci‖2（3）

通過最小二乘法等數值優化方法，該方法可得到最優的Tcb，從而實現相機和機器人基座之間的準確標定，為后續的機器人操作提供可靠的基礎。

3 執行模塊研究

JAKA-ZU3機械臂是由JAKA公司研發生產的一款工業機器人，如圖3所示。該機械臂采用先進的電氣伺服控制技術和高精度的運動控制算法，具備較強的運動控制能力和靈活性，并配備了先進的電氣伺服控制系統，采用閉環控制算法，能夠實現高速、高精度的運動控制。其控制系統支持多種通信接口，可與各類工業設備和自動化系統實現無縫連接。在該機械臂上進行手眼標定及機柜操作引導時包括以下基本步驟。

3.1 手眼標定

（1）準備標定工具：準備用于手眼標定的工具，包括標定板和相機。

（2）安裝標定板：將標定板安裝于機械臂末端執行器上，確保其能夠被相機清晰地拍攝到。

（3）采集標定數據：控制機械臂移動采集一系列不同位置和姿態下的機械臂末端執行器和相機數據。

（4）計算標定參數：通過手眼標定算法利用采集到的數據計算出機械臂基座坐標系到相機坐標系之間的轉換矩陣。

3.2 機柜操作引導

（1）相機安裝和標定：將相機安裝在機械臂上使相機能夠準確拍攝到機柜的圖像，并進行相機的內參標定和外參標定。

（2）目標識別與定位：利用機器人視覺算法對機柜進行目標識別和定位，確定機柜在工作環境中的位置和姿態。

（3）規劃路徑：基于機械臂的運動學模型和目標位置信息規劃機械臂的運動路徑，使其能夠準確地移動到機柜前方。

（4）執行操作：根據規劃的路徑控制機械臂執行相應的操作，如打開機柜門、取出或放置物品等。

（5）實時反饋與調整：通過實時監測相機圖像和機械臂的位置姿態對操作過程進行實時反饋和調整，確保操作的準確性和穩定性。

4 系統構建方法

本文搭建基于機器人視覺的機柜操作系統步驟如圖4所示，具體如下。

4.1 系統設計與規劃

（1）確定系統需求：分析機柜操作的具體場景和需求，明確系統需要實現的功能和性能指標。

（2）設計系統架構：設計系統的整體架構并確立各個模塊之間的交互關系，包括硬件平臺選擇、軟件框架搭建等。

4.2 相機選擇與安裝

（1）選擇相機：根據機柜操作的需求和環境條件，選擇性能優良的工業相機。

（2）安裝相機：將相機安裝在機器人末端執行器上，并根據實際情況進行調整和固定。

4.3 相機標定與參數配置

（1）相機標定：通過標定板等工具對相機進行內參和外參的標定，獲取相機的準確參數。

（2）參數配置：根據標定結果配置相機的參數，確保相機能夠正常工作并拍攝清晰的圖像。

4.4 目標識別與定位算法開發

（1）開發目標識別算法：開發機柜及其內部設備的目標識別算法實現對目標物體的準確識別。

（2）開發定位算法：結合相機標定參數開發目標物體在圖像中的定位算法，確定目標物體在三維空間中的位置和姿態。

4.5 機械臂運動規劃與控制

（1）運動學建模：對機械臂進行運動學建模，建立機械臂的運動學模型。

（2）路徑規劃：基于目標位置信息和機械臂的運動學模型進行路徑規劃，確定機械臂的運動軌跡。

（3）運動控制：利用機器人操作系統等平臺實現對機械臂的運動控制，確保機械臂能夠按照規劃的軌跡準確移動。

4.6 系統集成與調試：

（1）搭建系統框架：將各個模塊集成到系統中，建立完整的機柜操作系統。

（2）系統調試：對系統進行全面調試來驗證各個功能模塊的準確性和穩定性。

5 結語

本文以機柜操作為背景，利用機器人視覺技術研究了一套完整的系統。通過對視覺模塊和執行模塊的深入研究與設計，系統可以實現對機柜的自動識別、定位和操作，其中，相機標定、目標識別與定位算法的開發以及機械臂運動規劃與控制系統的設計是系統實現的關鍵性內容。通過理論研究和框架設計，本文為機器人在狹窄環境下的操作提供了一種新的解決方案，對推動機器人技術在工業生產中的應用和發展具有重要意義。未來的研究可進一步優化和完善該系統并將其拓展到更廣泛的應用領域。

參考文獻

［1］陳立新.工業機器人在沖壓自動化生產線的應用［J］.機械設計與制造，2010（10）：94-96.

［2］畢運波，李永超，顧金偉，等.機器人自動化制孔系統［J］.浙江大學學報（工學版），2014（8）：1427-1433.

［3］HARAPANAHALLI S，MAHONY N O，HERNANDEZG V，et al.Autonomous navigation of mobile robots in factory environment［J］.Procedia Manufacturing，2019，38：1524-1531.

［4］YANG J C，WANG C G，JIANG B，et al.Visual perception enabled industry intelligence：state of the art，challenges and prospects［J］.IEEE Transactions on Industrial Informatics，2021（3）：2204-2219.

［5］鄭太雄，江明哲，馮明馳.基于視覺的采摘機器人目標識別與定位方法研究綜述［J］.儀器儀表學報，2021（9）：28-51.

［6］高智偉，譚曉東，劉客.基于雙目視覺的物體識別定位與抓取［J］.科學技術與工程，2020（20）：8285-8291.

［7］支健輝，董新民，孔星煒，等.相機標定的外界影響因素分析［J］.應用光學，2014（2）：286-291.

［8］尹洪濤，劉成，李一兵，等.相機標定誤差因素分析［J］.信息通信，2012（1）：28-30.

［9］王君臣，王田苗，楊艷，等.非線性最優機器人手眼標定［J］.西安交通大學學報，2011（9）：15-20，89.

［10］陳魯剛，平雪良，徐稀文.平面三自由度機械臂的軌跡規劃及仿真［J］.工具技術，2011（9）：26-30.

［11］王一，劉常杰，任永杰，等.工業坐標測量機器人定位誤差補償技術［J］.機械工程學報，2011（15）：31-36.

（編輯 沈 強）

Research on cabinet operation technology guided by robot vision

HUANG Biao1， WU Youjun2， LIU Xun3

（1.Beijing AVIC Weak Current System Engineering Co.， Ltd.， Beijing 100028， China;

2.Airport Construction Headquarters， West Airport Group Co.， Ltd.， Xianyang 712000， China;

3.Shenzhen Xbrother Technology Co.， Ltd.， Shenzhen 518100， China）

Abstract： This article conducts systematic research based on robot vision technology to address the problems of low efficiency and insufficient accuracy in cabinet operation in narrow environments. Firstly， through the planning of the overall system design framework， the overall architecture and functional modules of the cabinet operating system were studied. Secondly， in-depth discussions were conducted on the design of the visual module， including camera selection and installation， camera calibration and parameter configuration， and the development of target recognition and positioning algorithms， aiming to achieve accurate identification and positioning of the cabinet and its internal equipment; Finally， research was conducted on the design of the execution module， and the motion planning and control methods of the JAKA-ZU3 robotic arm were analyzed to achieve automatic recognition， positioning， and operation of the cabinet.

Key words： robot; hand-eye calibration; visual guidance; system construction