基于TOF 相機的露天礦卡車裝載體積測量實驗研究

張燁佼 馬連成 段金剛 劉洪臻 孫效玉 劉煜祖 王仁炎

(1.東北大學智慧礦山研究中心,遼寧 沈陽 110004;2.鞍鋼集團礦業有限公司齊大山鐵礦,遼寧 鞍山 114000;3.紫金礦業集團股份有限公司,福建 龍巖 364000)

露天礦生產過程中,運輸成本占據了總成本的60%,計量工作的準確與否對礦山企業的成本管理、司機考核都具有十分重要的意義[1-4]。

卡車裝載計量方法主要有重量測量與體積測量。其中裝載體積測量比較成熟的方法是三維激光掃描。文獻[5]使用2 個激光雷達對移動中的卡車進行測量,重建卡車及其負載,通過卡車的激光雷達測量,獲取裝載物的三維點云,借助卡車鏟斗的先驗模型創建負載網格,最終根據網格估算荷載體積。文獻[6]采用固定式單線激光雷達對目標車輛進行俯視掃描,基于車輛形態特征分割出載荷物頂部點云,然后經時態校正,并與預先構建的車輛信息數據庫進行匹配,重建出載荷物的三維表面模型,最后通過對載荷物表面模型的切片積分實現方量核算。文獻[7]利用雙目立體相機獲取電鏟鏟斗的三維點云,利用機器學習方法從原始點云中分割出裝載鏟斗裝載物表面點云,并和預先構建的鏟斗模型進行差分計算裝載量。攝影測量方法也是一種比較常見的體積計算測量方法,文獻[8]使用搭載數碼相機的無人機,從多個視角拍攝礦卡,采用數字攝影測量技術重建礦卡裝載物的表面三維模型,通過體積積分計算礦卡裝載量。上述文獻中提到的方法,三維激光掃描設備昂貴,前期點云圖像的拼接處理繁瑣[9],攝影測量方法則后續處理工作量很大[10]。

目前市面上推出了基于飛行時間測量技術的新型相機—TOF 相機,使用該相機可直接獲取對象的深度圖、灰度圖和點云數據,可用于三維建模與體積計算。文獻[11]使用TOF 相機,以每秒15 幀以上的速度獲取患者胸部和腹部的點云模型,對胸部和腹部進行三維建模,計算出胸部和腹部等不同區域的呼吸信號。

TOF 相機模組具有體積小、方便靈活、獲取數據簡便、實時性強等優點,作為一種新興技術在自動駕駛、動作識別跟蹤、虛擬現實、醫學、機器人自主導航、工業自動化裝配等眾多領域都有巨大的應用潛力[12]。在國內露天礦應用尚屬空白,因此本研究提出基于TOF 相機掃描的礦卡裝載體積計算方法,并在實驗室環境下進行了試驗,取得了較為滿意的效果。

1 TOF 相機原理

TOF 技術,即飛行時間技術,相機發射光脈沖信號,脈沖信號遇到障礙物(被測物體)之后返回到相機,此時測得發射光脈沖信號和反射光脈沖信號的相位差或者時間差,即可計算出被測物體與測量設備的距離[13],測量的具體原理如圖1 所示。

圖1 TOF 相機測量原理Fig.1 Measurement principle diagram of TOF camera

TOF 測量距離計算:

式中,D為相機與被測物體的距離;C為光速常量;f為信號的調制頻率;Δφ為發射光脈沖信號和接收信號之間的相位差。

由式(1)可知,在調制頻率不變的條件下,測量距離的遠近由相位差的大小決定。

基于TOF 技術的相機稱為TOF 相機,它由調制光發射器和CMOS 圖像傳感器組成。和3D 激光掃描傳感器技術原理相似,不同點在于3D 激光掃描技術以點進行掃描,TOF 相機是以面的形式遍歷整個圖像的像素點來形成深度圖像信息[14]。TOF 相機并不需要掃描,就可以對整個場景完成深度測量,同時還能從取得的相位信息中獲得強度信息[15]。

2 實驗材料與實驗方案

2.1 實驗材料

實驗材料主要包括相機、拍攝架、礦車模型、碎石、量杯,如圖2 所示。

圖2 實驗材料實物圖Fig.2 Physical diagram of experimental materials

(1)相機。拍攝所用TOF 相機型號為SmartToF? TC-E2 系列,該型號相機的相關參數見表1?？赏ㄟ^Micro USB 2.0 接口以30 FPS 的速度輸出QVGA(320×240)尺寸的深度圖、灰度圖及點云圖。產品采用850 nm LED 光源。測距范圍可達6 m,精度可達mm 級。配套的軟件支持Windows/Linux/ROS/Android 等多個平臺,同時支持C/C++/Python/Matlab/Java/C#等開發語言。運行環境為處理器Intel Core i5-7200U 2.7 GHz 和8 GB RAM 的筆記本電腦。

表1 SmartToF? TC-E2 系列參數Table 1 SmartToF? TC-E2 series parameters

(2)拍攝架。由于TOF 相機拍攝近景敏感度較強,為了保證拍攝高度精確以及防止相機抖動造成的相位角度偏移,實驗室使用拍攝架固定相機。

(3)礦車模型。尺寸為270 mm×150 mm×150 mm,裝載容積為850 ml。

(4)碎石。若干,模擬裝載物。

(5)量杯。量取200 ml 碎石,裝載礦車模型,用于實驗體積精度對比。

2.2 實驗方案

基于TOF 相機的礦車裝載體積計算實驗方案主要包括3 部分:數據采集準備、點云數據處理準備、裝載體積計算。

(1)數據采集準備。根據礦車模型容量與量杯大小,計劃采集5 種卡車裝載模式,拍攝方式為俯視,經過實驗室多次測試,拍攝高度在30～60 cm 左右時(攝像頭到車斗的距離),取得的點云圖效果最好,沒有成片的黑斑。拍攝高度取30、45、60 cm 3 種。普通相機拍攝的5 種裝載模式如圖3 所示。

圖3 相機模式下5 種裝載類別示意Fig.3 Schematic diagram of five loading categories in camera mode

(2)點云處理準備。TOF 相機采集的數據模式包括灰度圖、深度圖、點云圖3 種類型,要進行體積計算,首先需要對點云處理。點云處理軟件目前市面上有很多種,例如Realworks、Cyclone、TerraSolid、cloudcompare 等等。Cloudcompare 是一款三維點云處理軟件,它設計之初就是用來做點云比較。在進行點云對比這類任務時具有出色的性能。此外它具有體積小、運行速度快、開源、可進行批處理等優點?？紤]到本研究中體積計算和點云處理多需要進行點云的比較和配準工作,cloudcompare 是最適合的選擇。

(3)體積計算。體積計算分2 種方法,一種是將裝載后的點云與空車點云進行配準,配準之后兩者之間形成的多余部分即為裝載礦石的體積,稱為累計體積。另一種是對相鄰裝車點云進行配準,計算多余部分的體積,計算結果為單次裝載體積。

3 數據采集

在windows 系統下,SmartToF? TC-E2 自帶的SDK 配套 SmartToFViewer 可以直觀顯示測量效果,包括灰度圖、深度圖、點云圖3 種類型。以空車狀態,TOF 相機到礦車的測量距離30 cm 為例,在各項參數都未進行設置的情況下采集的初始數據如圖4。

從圖4 可以看出,在各項參數都未進行設置的情況下,圖像質量較差,存在較多的黑斑和噪聲點。黑斑表示過曝,此時采集到的數據是無效的,需要減少曝光時間;但減少曝光時間會使得光照的有效范圍變小,礦車模型周圍顏色變為黑色,也表示無效部分。

圖4 TOF 相機采集的空車3 種初始圖像Fig.4 Three initial images of empty vehicle collected by TOF camera

圖像背景噪聲點較多,需要在控制曝光時間防止黑斑出現的情況下,盡量增加曝光時間,此外還可以使用幅值濾波來控制圖像噪點,以此來過濾光照不佳的點和雜點。

此外,原始的點云數據包含著大量的孤立點和離散點。在點云處理中濾波作為預處理的第一步,對后續的影響比較大,只有在濾波預處理中將噪聲點、離群點、孔洞等進行處理之后,才能夠更好地進行配準、特征提取等后續工作。

經過積分時間參數設置和幅值濾波調整后,取得的較高質量的圖像如圖5 所示。

圖5 經過積分時間設置和幅值濾波調整后的圖像Fig.5 Images after integration time setting and amplitude filtering adjustment

SmartToFViewer 可輸出當前顯示圖像的點云圖,輸出的文件格式為.Ply。

4 點云處理

將上文取到的點云圖載入到 cloudcompare 中,對裝載點云圖做后續的處理工作。

實驗當中,由于測量高度不變,各點云圖之間除了實際上的高程有些許誤差以外,從其他視圖上來看基本上是完全重疊的。因此可統一對重疊在一起的5 種裝載點云選取俯視圖視角,框選出礦車主體部分,使用分割功能分割掉其他多余部,以此去除掉全部的雜點和背景點。去除掉雜點和多余的背景點的5 種點云圖如圖6 所示。

圖6 處理之后的點云圖Fig.6 Point cloud after processing

處理完畢后,對余下的礦車主體部分進行配準,消除高程誤差。

點云配準即是將處在不同位置或者視角的點云數據經過旋轉或平移等操作整合到同一個坐標系下的過程,進行配準的2 個點云可以經過旋轉平移等一系列位置變換完全重合。

點云配準總體上可以分為粗略與精確配準2 種方法。

粗略配準是在不知道任何初始相對位置的情況下進行的配準,主要目的是快速估算一個大致的點云配準。要求計算速度較高,對于計算結果的精確度要求則不高。本次實驗室環境下由于使用拍攝架,拍攝方位和拍攝高度固定,因此不會用到粗略配準。

精配準的目的是在粗配準的基礎上讓點云之間的空間位置差別最小化。最為廣泛的精算法是迭代最近點算法(ICP 算法)[16]。ICP 算法通過計算源點云與目標點云對應點的距離,構造旋轉平移矩陣,通過旋轉平移對源點云進行變換,計算變換之后的均方差。若均方差滿足誤差條件,則算法結束。否則繼續重復迭代直至誤差滿足條件。ICP 算法的優點是簡單,不必對點云進行分割和特征提取即可進行配準,并且初值較好的情況下,精度和收斂性都很好。

通過cloudcompare 提供的精準ICP 配準算法,對預處理過后的5 種裝載點云進行配準。配準后的點云如圖6。

5 裝載體積計算

cloudcompare 擁有用于計算點云與任意平面(恒定高度)或2 個點云之間的體積的功能。它將點云底面劃分成離散的網格,計算每個網格對應單元的體積并相加求和。它依賴于點云的光柵化/網格化過程,因此它有點像光柵化工具。

生成柵格網格的過程當中,如果沒有點落在給定的單元格內,則該單元格被視作空單元格(可將其視作類似于產生了空洞)。

體積計算則是將每個單元的體積求和。這個單元體積則是每個單元格的面積乘以高度差。只有對于底部點云和頂部點云都具有有效高度值的單元格才能用于體積計算,空單元格將被忽略不計。因此,需要設置合適的網格長度來盡量減少空單元格的個數,并在必要時填充剩余的空單元格,以盡量減少體積計算的誤差。

體積計算公式為

式中,Gi,Gj為網格長度;Δh為高度差。

選擇點云之后,需要處理網格中仍為空的單元格?？諉卧癫荒苡糜隗w積計算。因此首先需要設置合適的網格長度來最大程度地減少空單元格的數量。網格長度不能選得太大或太小,太小將會有很多單元成為空單元格,太大則會出現較大凸包,產生較大計算誤差。cloudcompare 會在存在較多空單元格時顯示紅色警告,也會在計算結果當中顯示匹配到的所有非空單元格的數目。

對于剩余的空單元格的處理方式有很多種選擇。留空、取最小高度、取最大高度、取平均值,取指定值(該值需要輸入)、插值。

最常見的選擇是插值。它是取空單元格最近的非空相鄰單元格的線性插值來代替空單元格。插值用于確認網格間距是否夠大,相比較其他選擇能更多地減少空單元格數量。

選擇插值之后,經過多次長度選擇,單元格長度選擇0.003 m 時,單元格匹配度最高,匹配度為98.3%。此時分別進行裝載體積計算。

按照如上方法,采用裝載后點云與空車點云進行疊加計算卡車總裝載體積、采用前后2 次裝載點云疊加計算單次量杯裝載體積。采用3 種不同高度對4種不同裝載體積進行實驗,得到數據分別如表2、表3所示。

表2 計算累計裝載體積Table 2 Calculation of cumulative loading volume

表3 計算單次裝載體積Table 3 Calculation of single loading volume

表中計算結果表明,2 種體積計算結果與真實值的平均偏差均在5%之內,能夠滿足現場實際需要。但2 種體積計算方法之間存在誤差,即總裝載量不等于各次裝載量之和,究竟是cloudcompare 軟件問題,還是材料松散問題或相機拍攝問題,有待后續進一步實驗研究。

6 結論

TOF 相機體積小,獲取數據簡單方便,作為一種新興技術在三維模型與體積計算方面有巨大的應用潛力,據此本研究提出了基于TOF 相機的礦車裝載量體積計量方法,主要研究結論如下:

(1)采用裝載后點云與空車點云疊加、前后2 次裝載點云疊加2 種方法,對3 種不同高度5 種裝載量拍攝的礦車模型點云數據進行處理,分別計算礦車總裝載體積、單次量杯裝載體積,平均誤差不超過5%,滿足露天礦卡車裝載計量精度要求。

(2)選擇cloudcompare 對點云數據進行降噪、配準以及體積計算,減少了點云處理工作量,但采用該方法計算出的體積有一定偏差,后續需要進一步完善計量方法。

(3)該方法較三維激光掃描經濟實惠,較攝影測量后續處理工作量小,后續將進一步加強實驗研究,并早日進行現場試驗。