工業機器人單目視覺安全輔助系統設計

摘要：目前工業機器人的防碰撞安全模塊均為接觸模式，在人員防護方面突顯不足。為進一步預防工業機器人作業過程中的人員傷害事故發生，本文設計了一種單目視覺安全輔助系統，可為工業機器人提供非接觸式安全預警。系統采用單目測距原理完成人員與設備間的距離測定，使用Face Recognition識別庫識別人員身份信息，并通過獲取的有效信息完成安全判定。考慮到工業機器人的工作環境中常伴有因大功率器件引入的干擾，為保障測距和人員識別的準確性，系統采用了中值濾波和維納濾波來處理干擾引起的椒鹽、高斯噪聲，同時結合工業機器人的實際工作狀態，提出了一套適配多種應用情況的安全策略。用例顯示系統可根據設定的安全預警范圍、安全策略等級以及處理后的圖像信息進行安全預判，為工業機器人控制系統提供有效安全預警。

關鍵詞：工業機器人;單目視覺;安全輔助系統;安全預警

DOI：10.15938/j.jhust.2022.03.012

中圖分類號： TP277文獻標志碼： A文章編號： 1007-2683（2022）03-0090-07

Design of Monocular Vision Safety Assistant

System for Industrial Robot

WU Xiao-wen1，LIU He1，GAO Tie-hong2

（1.School of Measurement and Control Technology and Communication Engineering，

Harbin University of Science and Technology， Harbin 150080， China;

2.Heilongjiang Institute of Teacher Development， Harbin 150080， China）

Abstract：Currently， the anti-collision safety modules of industrial robots are all contact modes， which highlight the shortage of personnel protection. In order to further prevent incidents of personnel injury during industrial robot operations， a monocular vision safety assistant system is designed， which can provide non-contact safety warning for industrial robots. The system uses the monocular vision ranging to measure the distance between persons and device， and identifies persons by using Face Recognition library， and then completes the security determination by the obtained valid information. Considering that the working environment of industrial robots is often accompanied by interference brought in by high-power devices， the system adopts median filtering and Wiener filtering to deal with the pepper and Gaussian noise caused by interference for ensuring the accuracy of distance measurement and person identification， a set of safety strategy is proposed to fit multiple applications at the same time， which is combined with the running states of industrial robot. The test case shows that the system can make security predictions based on the set of security range， and the selection of safety strategy level and processed image information can provide effective safety warning for industrial robots control systems.

Keywords：industrial robot; monocular vision; safety assistant system; safety warning

0引言

我國工業機器人技術發展已逐漸成熟，已開始在各行業逐步代替人工，在碼垛、沖壓、焊接、噴涂等應用方面尤為突出，但即使在完全替換成工業機器人作業后，也無法保證零人員參與作業，人員的安全問題亟需考慮。根據一份美國的勞動局統計報告，僅1984年至2017年內，已有4 585名工作人員死于涉及機器人的事故中，這只是美國一個國家的數據，同樣使用工業機器人較多的日本，自1987年以來已有7 000多的人因機器人致殘[1]。隨著我國制定的2025智能制造目標正在落實，工業機器人的使用數量會呈現指數型增長，減少工業機器人作業過程中人員傷害事故的問題已引起科研人員及企業的關注。

工業機器人目前多采用碰撞檢測方式來進行緊急停止，碰撞檢測可通過傳感器或力矩反饋來判斷，對于要求效率的企業來說，該方式對堅硬的材料或設備有效，對人體則沒有太多的保護意義，尤其是重型機器人慣性較大，危險性更高。采用視覺傳感器屬于機器人主動安全措施，能在發生碰撞前檢測出危險，但是實現難度大，需要過濾信息，算法實現復雜度高[2]。現在的企業一般會設立安全欄，能有效防止一部分人進入，發生危險時，經過安全生產培訓的現場工作人員對工業機器人操作比較了解，知道其傷害性較大，能夠先進行急停保護或者斷電再繼續維修，但目前多數企業安全意識淡薄，非操作人員或者外來人員經常誤入工業機器人操作范圍，引起傷人事故[3-4]。

本文設計的單目視覺安全輔助系統可輔助工業機器人完成安全預判，提高操作安全性，減少不必要的人員傷害。與雙目視覺相比，單目視覺具有實時性好，處理速度快的優點，能夠滿足工業機器人的時效要求。本系統采用Ubuntu操作系統，基于Qt（C++）、Python 3.8和OpenCV 3.4混合編程平臺完成軟件設計，通過單目視覺模塊完成人員距離監測和人員識別，針對工業機器人的不同工作狀態提出對應的安全策略，輔助系統可通過工業以太網或快速IO變化及時將安全預判結果傳遞給機器人控制系統。

1系統整體設計

本文設計的單目視覺安全輔助系統，可實時采集多達4組單目相機數據，主要包括數據處理和預判處理兩部分。

數據處理主要完成視覺數據的處理工作，包括目標的測距和人員識別功能，安全預判處理模塊依靠系統輸入的工業機器人本體的工作安全范圍，通過工業以太網及或快速IO來獲取機器人的當前狀態，并結合選定的安全策略，最終完成安全預判。設計的安全輔助系統可快速將危險預判結果反饋給工業機器人控制系統，方便其執行進一步的安全操作。

系統使用精浦科技的J1900平臺工控機，該工控機是專門面向視覺處理的高性價比機型，不僅集成了標準工業網口、USB接口，同時載有數字輸入輸出和485通信接口，無論從功能、性能方面，還是從長遠考慮，都符合本文設計的工業機器人視覺安全輔助系統的開發與市場需求。攝像頭采用深圳森云公司提供的相機模組，可通過USB完成相機供電及圖像數據傳輸。

2系統數據處理

2.1測距原理

該系統的測距是采用單目測距的方式完成，單目測距具有運算速度快的優勢，滿足工業機器人的時效需求。單目視覺檢測在汽車ADAS（advanced driver assistance system）領域里已廣泛應用，主要用于行人檢測，車距檢測及警告[5-6]等。

本系統中單目測距基于針孔成像模型進行設計，根據針孔成像的比例關系及參考模型，如圖2所示，可在已知物體的實際長度W、物體在相機傳感器中成像的長度W′和像距的基礎上就能推算出物體到相機的實際距離。

相機測距是基于像素坐標系O0（u，v）完成的，進行人員與機器人本體之間的測距時，要以機器人底座建立世界坐標系OW（XW，YW，ZW），需要將像素坐標系與世界坐標系建立關系，坐標系轉換關系如圖3所示。像素坐標系偏移可得到圖像物理坐標系O1（x，y），根據針孔成像模型的比例關系又能完成到相機坐標系OC（XC，YC，ZC）的轉換，最后經旋轉平移轉成世界坐標系，通過這一系列轉換，可推出像素坐標和世界坐標的關系如下[7]：

Zcu

v

1=fx0u00

0fyv00

0010RT

01XW

YW

ZW=M1M2XW

YW

ZW（1）

式中：（u，v）為待測點在像素坐標系下的位置;（XW，YW，ZW）為待測物在世界坐標系的位置坐標;Zc為相機坐標系物距;M1為相機內參矩陣;u0、v0為像素坐標系到圖像坐標系的偏移值;fx、fy分別為相機在x、y軸方向上的歸一化焦距，這些內參矩陣中的參數代表了相機的屬性;M2為相機外參矩陣，外參M2代表了相機選取的角度和世界坐標系的選取，其中，R表示旋轉矩陣，T表示平移向量。內外參矩陣需要通過標定獲取，標定方面，本系統采用張正友標定法，利用平面棋盤進行相機標定，張氏標定相較于其他標定法，不需要高精度三維標定物，具有實用性強，精度高，魯棒性好的優點[8-9]。在單目視覺安全輔助系統測距時，將人體容貌平均面長[10]作為參考，根據識別到的人臉圖像來推測出人臉與相機間的距離，進一步得到人臉與機器人本體間的距離。

為進一步保障測距的準確度，本系統設計考慮了工廠內的干擾問題。工業機器人的工作環境中有大量的大功率驅動器和電機，大功率元器件的開關常會導致空間電場和磁場受到干擾，影響成像質量。有些特殊應用，如焊接，還會對電場和磁場產生脈沖干擾，因此本系統考慮了兩種常見干擾源會引入的高斯噪聲和椒鹽噪聲，選取中值濾波和維納濾波來處理兩種噪聲，以提高測距和人臉識別的精準度。

中值濾波屬于非線性處理的濾波方法，該濾波方法先設定好固定大小的矩形窗口，并用該窗口在目標圖片上有序移動，并將該窗口的中心像素灰度值用窗口內各點灰度值的中值替代。中值濾波處理顆粒噪聲方面效果較好[11-12]，相比于線性濾波，中值濾波處理后的圖像相對清晰。本系統采用中值濾波處理工業現場中常伴有的椒鹽噪聲。中值濾波原理如式（2）所示。

yij=Med{xij}=Med{x（i+r）（j+s）}

（r，s）∈A，（i，j）∈I2（2）

式中：{xij（i，j）∈I2}為中值濾波前圖像各點的灰度值;yij為選定窗口中心的新灰度值;A為選定的框。

在中值濾波后，本系統采用維納濾波進一步處理，維納濾波屬于圖像恢復范疇，能保障恢復后的圖像與原圖像均方差最小[13]，以完成圖像恢復，如式（3）所示：

minE{e2（x，y）}=minE{（（f^（x，y）-f（x，y））2}（3）

式中：f（x，y）為原始圖像;f^（x，y）為維納濾波的復原圖像。

通過維納濾波可通過式推出復原后的估計

F^（u，v）=1H（u，v）*H（u，v）H*（u，v）G（u，v）H（u，v）H*（u，v）+sSn（u，v）Sf（u，v）（4）

式中：G（u，v）為添加了噪聲的模糊圖像函數的傅里葉變換;H（u，v）為退化模型的傅里葉變換;H*（u，v）為退化函數的復共軛;Sn（u，v）為噪聲功率譜;Sf（u，v）為未退化圖像的功率譜。實際操作中，Sn（u，v）/Sf（u，v）較難以估算，按照文[14]中的方法，本系統通過中值濾波處理的前后圖像數據來進行估算。

在進行算法效果測試過程中，選用高清的Lena原圖，該圖適度的混合了細節、平滑區域、陰影和紋理，從而能很好的測試各種圖像處理算法。如圖4至圖7所示，基于Python3.8平臺，在Lena原圖片信息中添加高斯噪聲和椒鹽，圖6為通過中值濾波處理后效果圖，其中中值濾波選定的矩形框為3*3，圖7為在中值濾波處理后，再通過維納濾波復原的效果，通過圖片對比可清晰看出中值濾波在處理顆粒噪聲方面效果較好，再通過維納濾波復原后，高斯噪聲也能得到有效處理。

2.2人員識別

本系統采用Face Recognition人臉識別庫完成身份信息識別，該庫基于 Dlib深度學習模型，準確率高達99.38%，Face Recognition人臉識別庫可通過Python或命令操作，方便開發和設計。使用Face Recognition識別庫完成人臉識別，識別過程如圖8所示。

人臉定位主要利用CNN深度學習模型或方向梯度直方圖（histogram of oriented gradient， HOG）進行人臉提取，返回數據正是人臉上下左右的位置信息。人臉解碼是人臉識別的基礎，通過人臉圖像信息，得到128維的特征向量數據。人臉對比，是人臉識別的核心，將人臉解碼過程獲得的特征向量數據與已知人臉的128維特征向量進行比較，當兩組特征向量的距離達到設定閾值時，認定圖像中的人臉與已知人臉吻合[15-16]。

考慮到機器人運行速度快，要求實時性能強，在進行人員識別時，本文采用兩方面策略提升人臉識別的效率。一方面，使用多核并行運算，本系統的工控機帶有4個處理器核，執行程序時使用CPU并行運算和多線程處理，能提升視覺運算速度;另外一方面，在人員識別時，降低分辨率來處理視頻幀，這一策略可根據相機的性能來確定，本系統使用二分之一分辨率時既能提升處理速度，又能保障識別質量。同時在人員錄入時，為確保人臉信息檢測的準確度，除考慮多角度采集人臉信息外，需要考慮工廠的光照影響，可在工作時間的不同時間段錄入人臉信息加強檢測準確度。

本系統設計了測距和人員識別功能，實測結果如圖9至圖10所示，能夠通過管理人員臉部信息錄入來區分出人員身份，同時使用人體容貌平均面長以及圖像中人臉面部像素信息推出人臉與相機距離，完成測距功能。

3系統預判處理

系統安全要結合工業機器人的工作狀態進行判斷處理，視覺安全輔助系統與工業機器人控制系統均可完成策略設置、管理員人臉信息錄入，通過TCP/IP通信完成信息交互后實現安全系統的預判報警。

系統間信息交互如圖11所示，主流工業機器人工作模式一般分為3種狀態：示教狀態、再現狀態、遠程狀態[17-18]。考慮到實際工作的情況，僅能在工業機器人示教狀態下進行參數初始設置，包括安全檢測范圍的閾值設定、管理員人臉采集、安全策略的設定。工業機器人的再現和遠程狀態一般為實際工作狀態，工業機器人要查詢視覺安全系統傳輸來的狀態信息和報警信息并及時處理。

3.1安全策略及相應處理

在使用視覺安全輔助系統時，需要結合工作需求、安全設施、機器人本體的具體工作范圍來設定安全范圍的閾值，同時選取不同的安全策略，安全策略共分3個等級：

1）高安全等級策略

高安全等級策略適合高風險、高速運行的工業機器人的使用，控制器系統在狀態檢測時，高優先級響應接收到的安全模塊的報警輸出、快速IO輸出，立即完成報警處理并緊急停止，安全模塊的快速IO輸出可配合控制柜完成硬件急停。沒有安全柵欄的生產環境必須要選高安全級別。

2）中安全等級策略

中安全級別適合有一定風險、運行速度一般的工業機器人配套使用。控制器系統在狀態檢測時，快速響應接收到的安全模塊的報警輸出、快速IO輸出，及時完成報警處理并進行正常急停。

3）低安全等級策略

低安全級別適合安全風險較小的工業機器人配套使用，同時控制器系統可對安全模塊輸出的報警信息作為安全預警使用，提示報警信息可不處理。

3.2系統間信息交互

安全輔助系統與機器人控制系統間系統間信息交互主要使用工業以太網傳輸，依托工業以太網的抗干擾能力強、傳輸速度快的優勢[19]，采用TCP/IP通信協議，利用其重傳肯定機制[20]，能夠保障視覺安全輔助系統與機器人控制系統雙向數據的可靠傳輸，同時，為保障關鍵的報警信息傳輸，使用硬件快速IO變化傳遞報警信息，增強信息傳遞的冗余性，提高安全性能。在TCP/IP通信設計方面，本文將單目視覺安全輔助系統設計為服務器端，機器人控制器作為客戶端，機器人控制器在示教狀態下可完成系統參數修改、管理員圖像文件的傳輸，在非示教狀態下可通過查詢指令完成視覺輔助系統的報警狀態查詢。

為了用戶及時了解系統信息及狀態，本系統完成了軟件系統及UI設計，用戶可通過該系統方便設置和查看視覺輔助系統的各項參數配置，可實時查看處理后的圖像信息，系統用例運行如圖12所示，通過參數設定安全距離設為100cm，安全策略設為高安全策略，視覺安全系統通過對單目攝像頭采集的圖像處理，識別到人臉信息和距離信息，參考安全策略設定和安全范圍的信息，輸出報警信息，可以看到快速IO中output 1和output 2完成了相應輸出，兩路輸出IO可外接到急停和電源控制電路，配合工業機器人控制器完成安全操作，同時，工業機器人示教器UI設計方面，需要參考視覺安全系統與控制系統間的通信協議進行。

4結論

本文針對現有工業機器人工作環境中的人員安全問題，提出了一種單目視覺安全輔助系統，用于預防工業機器人作業過程中對人員的傷害。系統可通過采集到的圖像信息以及標定后的相機特性完成測距，通過使用Face Recognition人臉識別庫可實現人員身份識別，在圖像處理過程預先采用了中值濾波和維納濾波進行處理，用于抑制工業現場的高斯噪聲和椒鹽噪聲干擾;在安全處理方面，結合了工業機器人實際工作狀態、工業現場環境，提出了適配多種應用情況的安全策略，同時，系統間通信采用了可靠的TCP/IP通信技術，增加了硬件快速IO模塊，可增強報警信息傳遞的可靠性，提高安全性能。

參 考 文 獻：

[1]廖常浩，吳洪清，萬今明. 工業機器人風險評估研究及應用[J]. 機電工程技術， 2019， 48（1）：13.

LIAO C H， WU H Q， WAN J M. Research and Application of Industrial Robot Risk Assessment[J]. Mechanical amp; Electrical Engineering Technology， 2019， 48（1）：13.

[2]萬燕英，伍祁林. 工業機器人安全防護技術綜述[J]. 機電工程技術， 2021， 50（9）：121.

WAN Y Y， WU Q L. Overview on Safety Protection Technology of Industrial Robots[J]. Mechanical amp; Electrical Engineering Technology， 2021， 50（9）：121.

[3]POLVERINI M P， ZANCHETTIN A M， ROCCO P. A Computationally Efficient Safety Assessment for Collaborative Robotics Applications[J]. Robotics and Computer-Integrated Manufacturing， 2017， 46：25.

[4]JIANG B C， CHENG O. A Procedure Analysis for Robot System Safety[J]. International Journal of Industrial Ergonomics， 1990， 6（2）：95.

[5]HO H W， DE Croon， GUIDO C. H. E， et al. Distance and Velocity Estimation Using Optical Flow from a Monocular Camera[J]. International Journal of Micro Air Vehicles， 2017， 9（3）：198.

[6]BO L， ZHANG X， SATO M. Pitch Angle Estimation Using a Vehicle-Mounted Monocular Camera for Range Measurement[C]// International Conference on Signal Processing （ICSP）. IEEE， 2015. DOI：10.1109/ICOSP.2014.7015183.

[7]劉士興，周啟航，馬登科，等. 基于單目視覺的電梯曳引輪磨損檢測系統研制[J]. 電子測量與儀器學報，2020，34（9）： 55.

LIU S X， ZHOU Q H， MA D K， et al. Development of Elevator Traction Sheave Wear Detection System Based on Monocular Vision[J]. Journal of Electronic Measurement and Instrument， 2020，34（9）： 55.

[8]張鋮偉， 王彪， 徐貴力. 攝像機標定方法研究[J]. 計算機技術與發展， 2010， 20（11）： 174.

ZHANG C W， WANG B， XU G L. A Study on Classification of Camera Calibration Methods[J]. Computer Technology and Development， 2010， 20（11）： 174.

[9]滿春濤，曹淼，曹永成，等. 一種仿生機器鼠的跟蹤與避障策略[J]. 電機與控制學報， 2017， 21（6）：105.

MAN C T， CAO M，CAO Y C，et al.Tracking and Obstacle Avoidance Strategy for a Bionic Robot-rat. Electric Machines and Control， 2017， 21（6） ：105.

[10]GB/T 2428-1998，成年人頭面部尺寸[S].

[11]HWANG H， HADDAD R A. Adaptive Median Filters： New Algorithms and Results[J]. Image Processing IEEE Transactions on， 1995， 4（4）： 499.

[12]谷亞明， 劉泊， 吳麗瑩. 混有高斯和脈沖噪聲圖像的一種新濾波方法[J]. 哈爾濱理工大學學報， 2000， 5（5）：26.

GU Y M， LIU B， WU L Y. A New Filtering Method for Restoration of Digital Images Contaminated by Mixed Gaussian and Impulse Noise[J]. Journal of Harbin University of Science and Technology， 2000， 5（5）：26.

[13]Ghael E P ， Sayeed A M ， Baraniuk R G . Improved Wavelet Denoising via Empirical Wiener Filtering[J]. Proc Spie， 1997， 3169： 389.

[14]王俊芳，王正歡，王敏. 常用圖像去噪濾波方法比較分析[J]. 現代商貿工業， 2009， 21（16）： 310.

WANG J F， WANG Z H， WANG M.The Comparison and Analysis of Common Image Denoising Methods[J]. Modern Business Trade Industry， 2009， 21（16）： 310.

[15]THILAGA P J， KHAN B A， JONES A A， et al. Modern Face Recognition with Deep Learning[C]// International Conference on Inventive Communication and Computational Technologies， 2018. DOI： 10.1109/ICICCT.2018.8473066.

[16]HAPPY S L， ROUTRAY A. Automatic Facial Expression Recognition Using Features of Salient Facial Patches[J]. IEEE Transactions on Affective Computing， 2015， 6（1）：1.

[17]王宏杰， 顏國正， 林良明. 基于C/S模型機器人控制器的研究及其應用[J]. 機器人， 2002， 24（3）： 228.

WANG H J， YAN G Z， LIN L M. Research and Application on Robot Controller Based on Client/Server Model[J]. Robot， 2002， 24（3） ： 228.

[18]MITSI S， BOUZAKIS K D， MANSOUR G， et al. Off-line Programming of an Industrial Robot for Manufacturing[J]. The International Journal of Advanced Manufacturing Technology， 2005， 26（3）： 262.

[19]于仲安， 嚴慕秋. 工業以太網技術的應用探討[J]. 電器與能效管理技術， 2006（1）：43.

YU Z A， YAN M Q. Discussion on Application of Industrial Ethernet Technology[J]. Electrical amp; Energy Management Technology， 2006（1）：43.

[20]黃定衛， 白婷， 趙建偉， 等. 基于TCP/IP的綜合數據傳輸與控制系統設計與實現[J]. 計算機測量與控制， 2012（3）： 110.

HUANG D W， BAI T， ZHAO J W， et al. Design and Realization of Comprehensive Data Transmission and Control System Based on TCP/IP[J]. Computer Measurement amp; Control， 2012（3）： 110.

（編輯：溫澤宇）