機器視覺定位技術助力工業機器人智能化

導讀：工業機器人與機器視覺技術不僅僅局限在工業生產場景中結合使用，隨著經驗的積累與技術瓶頸的突破，二者還將扮演更加重要的角色。

引言

據工業和信息化部2018 年9 月27 日消息，2018年1 月至8 月，中國工業機器人累計產量達到101，717 臺（套），同比增長19.4%。伴隨于此，輔佐機器人進行更高精度、更強適應性自動化生產的機器視覺技術，在近幾年也得到突飛猛進的發展。工業機器人與機器視覺技術不僅僅局限在工業生產場景中結合使用，隨著經驗的積累與技術瓶頸的突破，二者還將扮演更加重要的角色。

機器視覺與機器人的完美融合

對于傳統意義上的工業自動化，工業機器人在控制系統的指揮下，重復特定的動作流程完成加工。換言之，產品加工精度的保障依賴于控制系統的穩定性與整個機械系統的精度。但是加工過程中隨機誤差的產生在所難免，諸如不可預測的震動、產品在工位間傳送發生的偏移等，此外機械結構隨著長期使用、精度下降帶來的系統誤差還會導致產品批量報廢。而簡單的傳感器對于這些誤差的規避又顯得捉襟見肘。加上現今產品序列紛繁復雜，市場對于柔性生產的要求與日俱增，工業機器人想要在“失明”的情況下完成這一切就顯得尤為困難。

而當工業機器人擁有了機器視覺賦予的“慧眼”，上述問題便迎刃而解。擁有“慧眼”的工業機器人在看到目標之后，經準確分析定位后引導動作，避免了產品傳送中的偏差，增強了不同產品的生產適應性，同時大幅提升產品的加工精度。此外，機器視覺還能檢測成品的精度，免除人工抽檢帶來的低效、誤差與漏檢。隨著智能制造的深入，具備視覺 感知能力的智能設備益發盛行，機器視覺作為前端感知的核心部件，市場需求旺盛。海康機器人起步于海康威視機器視覺業務部，依托海康威視在圖像傳感、人工智能、大數據分析等領域多年的技術積累，已發展成為面向全球的移動機器人、機器視覺產品和算法平臺提供商，公司堅持自主研發，持續推動智能制造進程。

機器人定位引導分類

在機器視覺與機器人相結合的應用場景中，機器人引導定位應用最為普遍。關于此類場景，海康機器人與合作伙伴共同實施了大量成功案例與成熟方案。機器人定位引導可大致分為3 種模式，并進而細分為6 小類：

圖1 所示的三種工作方式稱為固定相機模式，即相機安裝在設備機架上，不隨機器人的運動而運動，自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況，相機對傳送過來的來料進行拍攝和粗定位，將定位信息傳輸給機器人以便機器人根據定位信息抓取來料，如此可降低對工位間傳送機構準確性的要求，確保抓取的穩定性；抓取偏移補正工況可通過設置在機械臂另一側的下相機對工件進行二次精準定位，極大程度上消除來料偏差，確保能有針對性地對每個來料進行加工；放置工況內容涵蓋廣泛，可以是簡單的放置，亦可以是貼合、安裝等，即使用相機定位最終的目標位，結合前述兩種工況，真正做到針對每個工件有的放矢。

圖1 固定相機

圖2 所示為兩種運動相機模式，即相機安裝于機械臂頂端隨機械臂一同運動。雖不同于上述固定相機模式，但固定相機模式和運動相機模式在功能上殊途同歸，都可實現定位抓取與引導放置。兩者在保證功能的同時，能夠提供更多的安裝可能性以應對不同的環境與硬件條件限制。

圖2 運動相機

針對不同的設備安裝場景，為提升硬件安裝的適應性，固定相機模式與運動相機模式也可結合使用，如圖3 所示。

圖3 其他類型

視覺系統設計

結合不同場景，應用各類型硬件的選型搭配，保障機器視覺技術與機器人有效配合的前提是系統整體的合理設計與安裝布置。

海螺8 是海康威視工廠生產的一款攝像頭，其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動作，整個過程應用了大量機器人與機器視覺聯合定位引導。如圖4 左所示的燈板鎖附工位負責燈板鎖附過程中螺釘的來料定位與引導安裝，由于設備安裝空間的局限性，項目中選擇了空間需求更小、工位更加節省、安裝更靈活的活動相機方式。海康威視自主研發生產的600 萬像素面陣相機配合25mm 焦距的500 萬鏡頭，連同環形LED 光源安裝在機械臂末端，隨同機械臂一同運動。

圖4 海螺8 視覺系統與成像效果

如圖4 左所示燈板定位螺釘安裝工位中，螺孔精度為±0.05mm，這對于視覺與機器人配合的精度提出了較高要求。相機連同機械臂在取料位定位螺釘后，機械臂前端的吸鐵石準確吸取螺釘并運動至安裝位；相機在安裝位再次拍照定位螺孔后，螺釘被精確旋緊。

單個螺釘從定位取料到完成安裝整個過程僅耗時不到5 秒，且通過視覺定位極大程度提高一次性安裝成功的穩定性，避免人工安裝時瞄準螺孔、效率波動帶來的時間耗費，人力成本也得到降低。視覺定位的應用，在降低成本的同時優化加工工藝、提升產能。

基于合理的硬件選型與空間配置，最終得到穩 定優秀的畫面質量（如圖4 右所示）。借助海康機器人自主研發的工業相機客戶端MVS 和海康威視機器視覺VM 算法平臺，使用模板匹配、圓查找等工具對圖像中的螺孔等特征進行精準分析定位。

標定——精度保障的重要環節

在設備最終投入使用前，還會經歷一個重要環節——標定，這也是視覺與機器人之間的橋梁。

海康威視機器視覺VM 算法平臺中包含成熟的標定算法模塊，能在確保標定流程開發高效性的基礎上，讓工程師使用完善的標定算法模塊有針對性地為自己量身定制標定程序，以此實現標定流程的簡潔性、準確性和復用性。

在合作伙伴利用海康威視機器視覺VM 算法平臺開發的某一視覺項目中，設備需要對三個工位上的三臺相機分別進行標定。在精度要求最高、空間條件最好的二工位，即抓取偏移補正工位，固定安裝于機架的下相機完成了對帶有角點（有方向性）的點陣標定板的11 個位姿的采圖，并利用海康威視機器視覺VM 算法平臺中多點標定模塊快速實現二工位完整的11 點標定。一、三工位的相機只需要對標定板進行一次圖像采集，通過對比相同特征在不同采圖中的坐標，得到不同像素級別的相機之間尺度和角度的變換關系，即通過坐標映射建立與二工位之間的聯系，完成一、三工位的標定。

整個標定流程只需采集13 張圖片，在不影響精度的情況下，利用坐標映射極大程度地精簡了標定流程，節約了開發和時間成本。至于標定流程本身，如圖5，基于已有的模塊，只需根據機器人的實際動作在N 點標定模塊中設定N 點步進的距離d和旋轉角度α并選擇圖像中進行定位的特征，海康威視機器視覺VM 算法平臺會自動按照圖示位姿順序完成標定矩陣的計算，供最終圖像坐標向物理坐標轉換時使用。其中特征點可以是諸如圖5 實例 中的圓、角點線段等的任何特征，這也消除了標定板選用的局限性。而旋轉角α的引入解決了機械臂末端旋轉軸與執行元件的不共軸問題。在此基礎上，完成一、三工位的坐標映射乃至更多定制的標定流程，整個過程的開發周期也會大幅縮短。

圖5 N 點標定流程

軟件配合

視覺系統在軟件層面完成的首要任務是與設備動作之間的正常通訊，海康機器人聯手合作伙伴，在眾多項目的實際操作中完成了與 ABB、EPSON、FANUC 等諸多工業機器人的成功對接。其次，任何系統的開發最終都會落實在界面的操作，對于操作員來說，操作界面的友好度同樣是確保設備正常、高效使用的重要因素。

針對不同客戶自身的應用案例需求，海康威視機器視覺VM 算法平臺提供多樣性的通訊模塊以應對不同的通訊協議。同樣，海康威視機器視覺VM算法平臺豐富的SDK 也為工程師提供了獨立自主開發軟件的可能性，以契合不同的應用場景和客戶需求。如圖6 是合作伙伴在一個機器人對位貼合項目中調用海康威視機器視覺VM 算法平臺SDK 編寫的軟件界面。

界面主體顯示了相機的實時采圖，右側功能頁可設置包括光源、相機、視覺方案在內的多種選項，并且隨時可以根據需求的調整進行增減。

圖6 標定過程采圖

結語

人工智能時代，工業應用對機器人的訴求早已突破既定重復的簡單組裝工作，面對當下對“延展性”的更高要求，機器視覺正在逐漸拓寬機器人的應用范圍。

本文立足于機器視覺與工業機器人的結合，著重 介紹了二者在定位引導類項目中的應用，并通過硬件系統搭建、標定流程設計、軟件界面設計的實際案例，闡釋機器視覺在此類項目開發中的難點與優勢，以期為二者結合在多領域、深層次的應用提供更多寶貴經驗。

——轉自互聯網