解則曉 孟飛龍


摘要:現有的水下結構光測量技術存在掃描速度慢的問題,無法實時獲得被測物體的信息。而水下機器人在自主作業時想要能夠及時地調整機械抓手,就要求掃描測量的時間越短越好;只有掃描時間遠短于水下機器人的自身調整時間,瞬時獲得被測物體的三維信息,才能實時地操作抓手完成抓取等任務。本文采用高幀頻相機,掃描過程中連續采集圖像,掃描完成后直接對圖像信息進行處理。與常規的掃描系統相比,本文所提出的快速掃描在采集圖像時每一幀僅需6.67毫秒,極大地提高了掃描效率。
關鍵詞:結構光技術;水下測量;快速掃描;高幀頻相機
中圖分類號:TP391.41? ? 文獻標識碼:A
文章編號:1009-3044(2019)17-0258-03
開放科學(資源服務)標識碼(OSID):
Abstract: The existing underwater structured light measurement technology has the problem of slow scanning speed, and can not obtain the information of the measured object in real time. However, if the underwater vehicle wants to be able to adjust the mechanical grip in time, the shorter the scanning time is, the better; only the scanning time is much shorter than the self-adjusting time of the underwater vehicle, and the three-dimensional information of the measured object can be obtained instantaneously. In order to operate the grip in real time to complete tasks such as grasping. In this paper, a high frame rate camera is used to save the image information but not store it in the scanning process. after the scanning is completed, the image information is processed directly. Compared with the conventional scanning system, the fast scanning proposed in this paper takes only 6.67 milliseconds per frame when collecting the image, which greatly improves the scanning efficiency.
Key words: structured light technology; underwater measurement; fast scanning; high frame rate camera
隨著對海洋環境的不斷深入探索,視覺引導的水下機器人應用越來越廣泛[1-3]。結構光三維測量技術[4]在水下不需要復雜的匹配問題,更易于水下應用。但是水下機器人想要及時地調整自身及機械手就需要掃描過程要高效,即時間短卻又能得到大量的信息。常規的結構光掃描測量系統在控制激光移動后讓相機拍攝存圖,花費的時間過多;本文借助高幀頻basler相機在掃描過程中只拍攝和控制激光,在完成掃描后將圖像信息直接進行處理,省去了硬盤存儲時間,使得掃描效率得到了明顯的提高。常規的結構光掃描系統拍攝每幅圖像需要15ms左右的時間,本文提出的快速掃描在受到硬件限制的情況下拍攝每幅圖像仍僅需6.67ms的時間。
1 快速掃描原理及其算法實現
1.1 高幀頻相機及其工作模式
近年來工業相機發展迅猛,USB3.0接口的工業相機已得到了廣泛應用。攝像機可以說是結構光系統最重要的構成元件,它的性能直接影響了整個系統的測量精度。除了考慮圖像分辨率、圖像質量外,由于希望系統在水下快速掃描工作,因此攝像機還必須能夠快速采集、同步傳輸、高信噪比。隨著工業相機的快速發展, USB3.0接口的工業相機近年來得到越來越廣泛的應用。本文選取德國著名工業相機廠商BASLER生產的acA1300-200um USB 3.0相機,最高幀速率達到203fps,分辨率為1280 px × 1024 px即130萬像素,同時具備非常優良的性能,配帶功能強大的軟件開發包。
水下機器人要實時獲取被測物體的三維信息,需要系統能夠快速掃描測量。系統掃描測量的速度是評價系統性能的重要指標。一定范圍內,掃描速度越快系統性能越好,同時掃描速度越快對硬件要求越高。本文選取的BASLER生產的acA1300-200um USB 3.0相機,在滿幀頻狀態下工作可以滿足系統的快速掃描要求。
相機每秒拍攝的圖像數叫作幀頻,單位為fps。本文選用的acA1300-200um USB 3.0相機的最大幀頻可達203fps,但受到工控機USB3.0接口的傳輸速率的限制,只能達到150fps左右,但仍然是非常高的采集速度。攝像機拍攝是在曝光時間內的某一刻進行采集,通常相機拍攝時選取的工作模式是LatestImageOnly模式,即只有在確定拍攝時才會采集一幅圖像,采集的是相機最后一次曝光時所采集的圖像。此模式下實現激光掃描,須在圖像采集結束并存儲后,控制激光移動,因此采集的圖像越多激光移動所占用的時間就越多。BASLER相機軟件開發包提供了一種相機曝光時間結束事件的工作模式,這是在OneByOne模式下連續采集的方案。
相機在OneByOne工作模式下讓其滿幀頻工作,調小其每一幀采集圖像時的曝光時間,使得連續采集圖像時每幀都留有一段時間,此時控制激光移動。每次采集圖像時,攝像機在曝光結束后會發送信號,工控機接收信號后對相機的曝光時間結束事件進行處理即控制振鏡定量轉動,并將采集到的圖像信息存入緩存流中,然后執行下一幀的拍攝。通過這種并行運行方式可以節約大量時間從而實現快速掃描。
1.2 快速掃描的算法實現
本文采取的結構光測量系統快速掃描的算法實現流程如圖1所示。借助相機的庫函數完成如下任務。首先對相機進行初始化PylonInitialize操作,獲取當前所連接相機服務;申請曝光結束事件ExposureEnd,并開辟緩存區申請流存儲服務StreamGrabber來實時存取圖像;讓相機處于連續AcquisitionMode狀態,并在曝光結束時回調endOfExposureCallback函數執行控制激光移動任務。拍攝完成后從緩存中讀取所有拍攝圖像的信息以執行其他任務。
此工作流程實際上是在連續拍攝的工作模式下壓縮了相機的曝光時間,在拍攝時間內同時完成了控制激光和保存圖像的工作,因此掃描過程不能中斷否則拍攝圖像與激光移動無法同步。
2 實驗結果與結論
水下結構光測量系統的實物圖如圖2所示。系統工作時,首先在陸上進行相機及振鏡系統參數的標定以獲得圖像坐標與世界坐標的轉換關系。掃描時,振鏡在電機的帶動下均勻轉動,激光經過振鏡反射以二倍于振鏡轉動的速度掃描物體,每次轉動的控制電壓可知因而轉動角度可知,將振鏡坐標系轉化到相機坐標系,完成系統參數標定,實現陸上三維掃描測量。在水下掃描時,由于光在不同介質中傳播會發生折射,因此需要對攝像機光路及激光平面在水下的部分進行折射補償。為了檢驗快速掃描的有效性,需要對相機進行標定[5],對結構光系統的內外參數進行標定[6,7],同時在水下環境實驗需要進行折射補償[8,9]。通過上述步驟后就能在水下環境進行掃描實驗驗證快速掃描的性能。
與現有的掃描方式相比,快速掃描方式的掃描速度有明顯優勢。調節攝像機的曝光時間為5ms,振鏡需要1ms左右的時間接受信號并做出反應,以拍攝100幅圖像所花費的時間對兩種掃描方式進行比較。在相機的普通工作模式下,曝光結束后控制振鏡轉動,隨后保存圖像,所有的事件共計需2.87秒左右;而在曝光時間結束事件的工作模式下,由于振鏡轉動與存儲圖像信息是同步的,因此在滿幀頻狀態下拍攝即在150fps的條件下,相機的曝光時間最大為6.67ms,將其減小為5ms,剩余的1.67ms執行控制振鏡轉動任務,因此拍攝100幅圖像僅需0.67s左右,使得掃描速度得到顯著的提高。并且拍攝的圖像數目越多越能體現快速掃描的優勢。
在水下環境中掃描如圖3所示的不規則工件,將采集到的圖像信息即點云數據用逆向工程軟件imageware讀取,不同圖像數目的掃描結果如圖4所示,可以看出,隨著圖像采集的數目增加,掃描結果越能表現工件特征想要較好地表征出此鈑金件的特征,掃描采集200幅圖像時比較清晰。在常規的結構光掃描系統下拍攝200幅圖像需要3s左右的時間,而快速掃描僅需要1.3s左右,極大地提高了掃描速度,能夠較好地滿足水下機器人實時獲取周圍信息的需要。本文所提出的結構光測量系統的快速掃描能夠高效率采集信息,具有較高的實用價值。
參考文獻:
[1] Mario Prats,David Ribas,Narcís Palomeras,Juan Carlos García,Volker Nannen,Stephan Wirth,José Javier Fernández,Joan P. Beltrán,Ricard Campos,Pere Ridao,Pedro J. Sanz,Gabriel Oliver,Marc Carreras,Nuno Gracias,Raúl Marín,Alberto Ortiz. Reconfigurable AUV for intervention missions: a case study on underwater object recovery[J]. Intelligent Service Robotics,2012,5(1).
[2] 畢曉琳.海洋科技發展在現代海洋經濟發展中的作用[J].海洋信息,2010(3):19-22.
[3] 張洪欣,馬龍,張麗婷,等.水下機器人在海洋觀測領域的應用進展[J].遙測遙控,2015,36(05):23-27.
[4] Yaoyu Ding,Xuebiao Zhang,Radovan Kovacevic. A laser-based machine vision measurement system for laser forming[J]. Measurement,2016,82.
[5] Zhang Z. A flexible new technique for camera calibration [J].Pattern Analysis and Machine Intelligence, IEEE Transactionson, 2000, 22(11): 1330-1334.
[6] 江永付,江開勇,林俊義.線結構光光條中心亞像素精確提取方法[J].激光與光電子學進展,2015,52(07):185-191.
[7] 解則曉,遲書凱,王曉敏,等.基于共面法的結構光自掃描測量系統參數標定方法[J].中國激光,2016,43(03):182-189.
[8] 解則曉,劉鵬.基于折射補償的水下結構光三維測量系統[J].光電子.激光,2012,23(04):745-750.
[9] 解則曉,李緒勇,辛少輝,等.水下線結構光自掃描三維測量技術[J].中國激光,2010,37(08):2010-2014.
【通聯編輯:梁書】