無人系統多模態視覺感知單元測試與評估方法的研究

王 偉,劉海春,李 揚,鄭國強,裴 凌,王立平

(1.北京特種車輛研究所,北京 100072)(2.上海北斗導航創新研究院,上海 201702)(3.上海交通大學上海市北斗導航與位置服務重點實驗室,上海 200240)(4.32381部隊,北京 100000)

隨著計算機性能、傳感器性能、測試技術的快速提升[1],無人駕駛技術和車載智能平臺的發展取得了長足的進步[2-3]. 無人系統的底層技術主要包含[1]:環境感知[4]、定位導航[5]、人機交互[6]、運動控制[7]等. 環境感知是這些核心技術的基礎. 在無人駕駛和車載智能平臺領域,無人系統多模態視覺感知單元是最為常見的感知單元之一,為無人系統的發展提供了有力支撐. 但是,如何科學地測量和評估無人系統中感知單元的性能和功能,尚有待進一步研究.

目前無人系統的感知單元最大的特點之一即為多樣性,但目前的測試評估往往只針對其中一種感知單元進行[8]. 文獻[9]針對紅外成像系統的性能評估方法,提出構建一套低成本、可重構、能夠真實仿真紅外成像物理過程的紅外成像系統模擬器,將其用于紅外成像系統的性能測試與評估,取得了不錯的測試效果. 文獻[10]針對視覺成像系統的性能評估,將視覺傳感器所測數據與實際環境下的真實數據進行對比,給出了視覺成像系統的性能評估結果及測試用的數據集. 文獻[11]提出了用于微光設備測試與性能評估的方法,通過微光成像測試平臺大大提高了微光相關產品的檢測效率. 文獻[12]提出建立多頻帶陣列無源雷達的檢測與評估方法,系統通過利用Digital Video Broadcasting-Terrestrial(DVB-T)和Universal Mobile Telecommunications System(UMTS)發射機來檢測和跟蹤運動的目標物,為無人平臺的測試提供了一定的測試與評估的思路. 文獻[13]提出針對Arnold Engineering Development Center(AEDC)空間傳感器的測試與評估方法,使用動態模式下的近距離目標來完成任務評估,極具參考價值. 通常情況下,可以通過搭載兩種及兩種以上融合的感知單元提高系統的可靠性,針對無人系統多模態感知單元的測試與評估更能滿足不同場景的需求.

本文針對無人系統對多模態視覺感知單元的使用測試需求,調研國內外相關行業測試標準,參考現有的測試標準[14-17],結合測試的具體參數需求,設計了針對無人系統多模態視覺感知單元的測試方法,用以測量和評估感知單元的性能和功能. 為實現評估要求,本文選擇了較為通用的功能與性能指標,并相應地設計了通用的測試方法,涵蓋了室內、室外不同情況、不同場景下的測試.

1 測試內容、方法及指標

針對無人系統多模態視覺感知單元測試與評估,將主要測試內容分為動態測距和復雜光照變化下測距,同時針對不同的測試內容分別在可見光和紅外光不同波段下進行測試. 為有效地評估測試的結果,整個測試采用等級制,由高到低分為A、B、C、D 4個等級,根據等級高低評估被測設備的性能優劣.

1.1 動態測距測試內容、方法及指標

動態測距測試的距離分為兩種:較近距離(L1)以內和較遠距離(L2)以內. 根據測試距離的不同為被測設備選擇相應的載體,室內與室外測試分別采用特制高速軌道和普通測試車輛作為載體.

動態測距需被測設備以5 m/s的速度進行運動,以測試與評估被測設備在運動中的測距性能. 室內的高速導軌采用定制化設備,控制精度可達毫米級,最大速度可達7.8 m/s,最大加速度可達50 m/s2,最大運行距離為7 m. 室外測試以普通車輛為載體,能夠更真實地測試被測設備在真實環境下的性能. 考慮到不同的測試視野,將測試目標物的擺放位置分為正面和側面兩種,如圖1所示,正面的測試角度為[-π/9,π/9],側面的測試角度為[-π/3,-π/9)和(π/9,π/3]以內. 具體測試誤差及對應等級采用統一的標準,如表1所示.

圖1 目標物的擺放位置Fig.1 Location of objects

表1 動態測距誤差等級評價表Table 1 Dynamic ranging error level evaluation table

1.2 復雜光照變化下測距測試內容、方法及指標

復雜光照變化下測距的測試場地在室內,測試的主要設備為可控光帶,該燈光系統采用數字化編程技術,基于UDP協議進行通訊,便于控制. 同時采用網絡對時策略,針對每次開閉光源,系統均能輸出精確的時間戳. 測試主要分為光照瞬變測試、局部高亮測試和局部陰影測試,用于測試傳感器在不同光照變化下對環境光的適應性. 具體的測試指標如表1所示.

1.2.1 光照瞬變

(1)在環境出現光照瞬變時,能在規定的較短時間內完成響應,且測距誤差滿足評級要求,評級為A;

(2)在環境出現光照瞬變時,能在規定的短時間內完成響應,且測距誤差滿足評級要求,評級為B;

(3)在環境出現光照瞬變時,不能在規定的最大響應時間內完成響應,或測距誤差不滿足評級要求,評級為C.

1.2.2 局部高亮

(1)在環境出現局部高亮時,能在規定的較短時間內完成響應,且測距誤差滿足評級要求,評級為A;

(2)在環境出現局部高亮時,能在規定的短時間內完成響應,且測距誤差滿足評級要求,評級為B;

(3)在環境出現局部高亮時,不能在規定的最大響應時間內完成響應,或測距誤差不滿足評級要求,評級為C.

1.2.3 局部陰影

(1)在環境出現局部陰影時,能在規定的較短時間內完成響應,且測距誤差滿足評級要求,評級為A;

(2)在環境出現局部陰影時,能在規定的短時間內完成響應,且測距誤差滿足評級要求,評級為B;

(3)在環境出現局部陰影時,不能在規定的最大響應時間內完成響應,或測距誤差不滿足評級要求,評級為C.

2 典型試驗條件

2.1 室內外測試環境條件

為了滿足無人系統多模態立體視覺感知單元測試與評估的需求,針對特定的測試項目,將測試的環境分為室內和室外. 表2和表3為室內和室外測試環境條件的基本參數.

表2 室內測試環境條件Table 2 Indoor test environment conditions

表3 室外測試環境條件Table 3 Outdoor test environment conditions

2.2 坐標系關聯

圖2為被測設備的安裝示意圖. 由于不同被測設備之間形狀尺寸的差異,很難確定被測設備的中心. 因此,可以通過治具建立相關聯的坐標系,從而滿足不同設備的測試需求. 坐標系關聯作用是將被測設備輸出的測距結果與真值變換到同一坐標系下,便于測距和誤差計算. 對于不同設備的測試,真值的獲取是唯一的,測量數據為治具的坐標系原點和目標物之間的距離. 為了使真值和被測設備輸出的值處于同一坐標系下,需要通過標定獲取被測設備到治具原點的坐標轉換,從而將測量值轉換到真值坐標系下.

圖2 被測設備安裝示意圖Fig.2 Installation diagram of tested equipment

2.3 真值獲取

無人系統多模態視覺傳感器測試評估的真值獲取尤為重要. 絕對的真值是無法獲取的,在實際的測試評估中,可通過提高測試設備的精度盡可能逼近實際的真值,從而降低測試過程的系統誤差. 表4所列為幾種常用的高精度定位技術的對比.

表4 高精度定位技術對比Table 4 Comparison of high precision positioning technology

在現有的真值獲取技術中,光學運動捕捉系統只適合于室內環境,且其本身測距采用的是紅外光,無法用于本項目的測試;高速導軌受場地限制,且測試的最大距離只有7 m,不適合做真值的輸出;RTK易受環境的影響,且無法用于室內測試. 因此,本文采用激光全站儀和激光跟蹤儀. 在測距測試中,首先將被測設備安裝到固定治具上,治具安裝到相應的測試載體上. 不需要運動的測試項目采用激光全站儀,記錄目標點的位置和治具原點的位置作為真值;需要運動的測試項目采用激光跟蹤儀,在運動開始前利用激光跟蹤儀記錄治具的原點和目標物的位置,在運動開始后使用激光跟蹤儀記錄整個運動過程中治具原點的實時坐標,結合兩者的數據記錄作為測試的真值.

2.4 時間同步

在進行測試前,需根據實際測試項目,合理分析測試所存在的固有誤差. 對動態測距而言,時間同步存在的誤差是無法忽略的,誤差的標準至少要小于測試誤差值的1/3. 時間同步的主體是測試設備的上位機和被測設備的上位機,依靠網絡進行對時. 時間同步服務器依靠北斗授時,通過NTP/PTP協議與被測設備和測試設備的上位機進行時間同步,具體流程如圖3所示. 本文的測試中,被測設備均能通過上位機輸出帶有時間戳的測量值,但不同測試設備同步方式不同. 激光全站儀自帶GPS授時模塊,能夠矯正本機時間,輸出精確時間. 激光跟蹤儀無法通過GPS或上位機授時,但因其存在外觸發接口,可通過構建時鐘馴服系統進行校時.

圖3 時間同步系統框架Fig.3 Time synchronization system framework

(1)基于網絡的NTP/PTP時間同步

在測試設備和被測設備均支持網絡對時的情況下,可采用基于網絡的對時方案,采用NTP協議或PTP協議通過WIFI和有線網絡通訊. 在實際應用中,通過網絡對時的精度一般可達1 ms左右. 即便以10 ms的精度,動態測試的測速要求為5 m/s,計算可得存在的最大系統誤差為5 cm. 本文動態測試15 m要求的誤差為15 cm,最大系統誤差為測試誤差的1/3,即5 cm,故滿足實際測試需求.

(2)基于硬件觸發的高精度時間同步

本文為滿足高精度位置跟蹤的測試需求,同時避免光學運動捕捉系統主動發出的紅外光對被測智能無人系統的干擾,搭建了基于激光跟蹤儀的高精度位置跟蹤系統. 該激光跟蹤儀為美國自動精密工程公司生產的Radian激光跟蹤儀,最大跟蹤速度>6 m/s,最大采樣頻率為1 000 Hz,支持下降沿信號觸發測量,可通過外部時鐘觸發彌補自身無法與外部設備進行時間同步的缺陷.

為實現高精度位置跟蹤,還需對激光跟蹤儀的內部時鐘與被測設備的內部時鐘進行時間同步,即獲得激光跟蹤儀的內部時鐘與被測設備內部時鐘的對應關系. 由于激光跟蹤儀自身并不提供對外的時間馴服接口,不能直接使用NTP或PTP協議對其時鐘進行校正,本文研發了激光跟蹤儀與測試設備上位機的時鐘馴服系統,其硬件結構如圖4所示.

圖4 時鐘馴服系統硬件結構Fig.4 Hardware structure of clock taming system

圖5 時間馴服系統線性回歸MATLAB運行結果Fig.5 The result of MATLAB for linear regression of time acclimation system

數據經過線性回歸,可擬合出tS與tR之間直線的斜率為1.000 330、截距為1 564 195 265.631 194 ms,可求出表征擬合誤差的絕對殘差平均值為0.001 311 ms.

3 通用測試方法

無人系統多模態視覺感知單元測試可分為可見光和紅外光多波段測試. 本文以動態測距與復雜光照變化下測距為例,給出具體的測試方法及數據處理方法.

表5 測試內容Table 5 Test content

3.1 動態測距測試試驗方法

(1)試驗內容:測試被測立體視覺設備的動態測距性能.

(2)試驗方法:將被測設備固定在治具上,將治具固定于高速導軌或車輛的運動載體上,隨機挑選一種尺寸的桶狀靶標作為目標物,室內測距如圖6所示,室外測距如圖7所示,將目標物依次置于若干預先標定過的位置上. 首先完成后端計算機及后端計算機與被測設設備上位機之間的時間同步工作;然后,測得目標物中心坐標,并跟蹤移動中的被測設備獲取其時間戳與該時刻下的坐標;運動載體搭載被測設備以5 m/s左右的速度進行運動,往返運動不少于3次;基于跟蹤得到的真值文件及被測設備輸出的測距結果文件,篩選出符合試驗要求的速度與視角數據,進行真值插值計算偏差,計算動態測距誤差.

圖6 室內動態目標距離測量示意圖Fig.6 Schematic diagram of indoor dynamic target distance measurement

圖7 室外動態目標距離測量示意圖Fig.7 Schematic diagram of outdoor dynamic target distance measurement

(3)試驗數據處理:根據被測設備指定的治具上原點的三維坐標(xo,yo,zo),目標物的中心坐標點為(xt,yt,zt)以及圓桶半徑r,基于式(1)計算得到距離真值:

(1)

由于真值和測試值獲取的頻率存在一定差異,其時間戳不能完全對應,需對一次運動過程中的真值點進行線性插值,并通過箱線圖法過濾極端異常值.

3.2 復雜光變下測距測試試驗方法

3.2.1 光照瞬變

(1)試驗內容:測試被測設備對全局光照變化的適應性.

(2)試驗方法:

(a)目標物為隨機尺寸的桶狀物;

(b)將被測設備固定于治具上;

(c)完成后端計算機及后端計算機與被測設備之間的時間同步工作;

(e)被測設備開始測量目標物距離,輸出帶時間戳的目標物的距離測量結果dt;

(k)將上述6次操作結果取平均值作為第i次試驗的結果;

(l)移動目標物位置,重復上述操作,共計3個目標位置、6次開關操作、18次操作,最終取平均值作為該項試驗結果.

(3)試驗數據處理:

3.2.2 局部高亮

(1)試驗內容:測試被測設備對局部高亮的適應性.

(2)試驗方法:

(a)目標物為隨機尺寸的桶狀物,位置隨機擺放;

(b)將被測設備固定于高速導軌的治具上;

(c)探照燈打光到高速導軌上,完成后端計算機及后端計算機與被測設備之間的時間同步工作;

(d)啟動高速導軌,驅動被測設備慢慢趨向高亮區域,直至被測設備的視野內出現高亮區域,記該點為A,記錄高亮點A坐標真值;

(f)被測設備重新返回起始點,被測設備按照1 m/s的速度到達高亮點A后停止,開始測量目標物距離,搭建如圖8所示場景;

圖8 局部高亮適應性試驗示意圖Fig.8 Schematic diagram of local highlight adaptability test

(i)將上述3次操作結果取平均值作為第i次試驗的結果;

(j)移動目標物位置,重復上述操作,共計3個目標位置、3次測量操作、9次操作,最終取平均值作為該項試驗結果.

(3)試驗數據處理:

3.2.3 局部陰影

(1)試驗內容:測試被測設備對局部陰影的適應性.

(2)試驗方法:

(a)目標物為桶狀物;

(b)將被測設備固定于高速導軌的治具上,目標物置于低速軌道上;

(c)完成后端計算機及后端計算機與被測設備之間的時間同步工作;

(d)將光源遮擋一部分投射到低速軌道上以產生明確的陰影邊界(如圖9所示,陰影邊界位置隨機),啟動低速軌道;驅動目標物慢慢趨向陰影部分,同時觀察被測設備圖像輸出,直至目標物上清楚地出現陰影邊界,記錄該點坐標,記該點為B;

圖9 局部陰影適應性試驗示意圖Fig.9 Schematic diagram of local shadow adaptability test

(f)低速導軌上的目標物重新返回起始點,開始第i次試驗,目標物按照1 m/s的速度再次到達B點;

(h)被試設備開始測量目標物距離,并輸出帶時間戳的目標物的距離;

(j)重復上述操作3次,最終取平均值作為該項試驗結果.

(3)試驗數據處理:

4 結論

針對目前多模態視覺傳感器測試評估方法單一、指標缺乏的現狀,將測試評估內容分為兩個部分:動態測距和復雜光照變化下測距. 采用基于北斗衛星實時授時的時間同步技術,并在此基礎下進行了可見光和紅外光不同波段下的測試. 在動態測試測距下,給定了2種測試場景:室內高速軌道及室外移動車輛. 在復雜光變測試下,給定了3種測試場景:光照瞬變、局部高亮、局部陰影. 根據實際的應用場景,基于目標物的位置分為正面測試和側面測試,基于目標物的距離分為近距離測試和遠距離測試. 本文給定了不同測試條件下的測試指標及測試方法,為后續測試提供了參考.