仿真數(shù)據(jù)驅動的汽車裝配虛擬調試關鍵技術研究

基金項目：國家自然科學基金面上項目（No.51875362）；上海市自然科學基金（21ZR1444500）；上海市浦江人才計劃（22PJD048）。

摘要：提取了汽車裝配場景下機器人裝配路徑學習與虛擬調試中的關鍵技術并開展研究，并且結合汽車輪轂裝配案例對所提出的方法開展應用驗證。

關鍵詞：虛擬調試；人工智能；機器人；汽車裝配

裝配是汽車生產(chǎn)制造過程中的重要環(huán)節(jié)，是指將各類汽車零件按規(guī)定的技術要求組裝起來，并經(jīng)過調試、檢驗使之成為合格產(chǎn)品。在傳統(tǒng)汽車制造模式中，工作人員需要提前規(guī)劃汽車裝配工藝流程，重復多次開展試生產(chǎn)工作，根據(jù)現(xiàn)場生產(chǎn)情況總結分析各項工藝問題的形成原因，并采取改進措施[1]。整體過程效率較低，同時制造精度也嚴重依賴于人工經(jīng)驗，穩(wěn)定性難以得到保證。

虛擬調試技術降低人工經(jīng)驗對裝配精度的影響，已成為制造過程的關鍵環(huán)節(jié)。虛擬調試允許工程師在真實生產(chǎn)開始之前，根據(jù)車間情況與生產(chǎn)信息構建數(shù)學模型，開展仿真實驗，通過仿真軟件對裝配過程可行性進行檢測和優(yōu)化。然而，由于仿真環(huán)境與實際環(huán)境間存在差異，虛擬調試結果到落地應用過程中依然需要人工進行實機調試。

本文提出了汽車裝配虛擬調試技術路線，它基于仿真數(shù)據(jù)驅動，將人工智能與虛擬調試相融合，以減少現(xiàn)場調試、交付工作周期為目的，構建從數(shù)模到數(shù)據(jù)、從數(shù)據(jù)到仿真、從仿真到應用的智能化流程。為解決某些問題提供了技術支持，例如：虛實環(huán)境分布的差異性大、真實數(shù)據(jù)量少、數(shù)據(jù)采集繁瑣等。所提流程主要可分為三個階段：裝配孔位識別階段、孔位位姿估計階段以及機器人裝配軌跡生成階段。

裝配孔位識別階段是裝配過程的關鍵起點，其準確性直接影響到整個裝配過程的質量和效率。進一步，孔位位姿估計研究的是在相機坐標系中，精確描述物體在三維 （3D，Three-Dimensional） 空間中的位置和姿態(tài)。主要通過坐標系之間的平移矩陣和旋轉矩陣來表示物體和相機的幾何映射關系。然而，大規(guī)模測量點云對現(xiàn)有孔位識別及位姿估計方法[2-3]的精度與效率提出了更高的要求。機器人被廣泛應用于各種類型的自動化生產(chǎn)裝配線，代替人類完成裝配作業(yè)。為保證裝配效率與安全要求，高效無碰的機器人裝配軌跡規(guī)劃算法為機器人平穩(wěn)地執(zhí)行任務提供了基礎。然而，傳統(tǒng)的以快速隨機探索樹（RRT， Rapidly-Exploring Random Trees）算法[4]為核心的規(guī)劃方法難以適用于非結構化作業(yè)環(huán)境。為此，Zhao等人[5]提出了一種終身學習框架，提高規(guī)劃算法面對長距離規(guī)劃任務時的效率。結合上述研究基礎，本文將提取汽車裝配場景下機器人裝配路徑學習與虛擬調試中的關鍵技術并開展研究，最后，結合汽車輪轂裝配案例對所提出的方法開展應用驗證。

關鍵技術

1.機器人自主裝配路徑規(guī)劃算法與開發(fā)流程

目標物體的位姿估計階段是實現(xiàn)精確裝配的核心，軌跡規(guī)劃階段是實現(xiàn)高效裝配的關鍵。合理的軌跡規(guī)劃不僅能提高裝配效率，還能降低機器人對裝配件的潛在損害。

首先，為了解決真實數(shù)據(jù)難以支撐深度學習訓練，開發(fā)了全自動的樣本數(shù)據(jù)生成插件，基于仿真技術搭建真實場景的1∶1映射模型，通過對汽車裝配過程的模擬，實現(xiàn)自動化的點云數(shù)據(jù)到裝配孔位、裝配位姿和機器人裝配軌跡的映射樣本全自動生成。這些數(shù)據(jù)將作為后續(xù)模型訓練與精度驗證的基礎。

其次，構建多任務聯(lián)合學習模型，并基于所生成的仿真數(shù)據(jù)實現(xiàn)從環(huán)境點云到機器人作業(yè)軌跡的端到端映射模型的學習。在此過程中，針對場景特點的模型構建、合適的優(yōu)化算法選擇、仿真環(huán)境到真實環(huán)境的遷移及輸出結果的優(yōu)化是提高模型在實際場景中的準確性和泛化能力的基礎。

最后，以樣本自動化生成和映射學習模型為基礎，開發(fā)數(shù)據(jù)生成到模型學習的集成系統(tǒng)，實現(xiàn)三維模型到樣本數(shù)據(jù)，再到深度學習模型訓練與落地應用的自動化。所開發(fā)的集成系統(tǒng)包含了孔位識別、裝配位姿估計和機器人裝配軌跡規(guī)劃等關鍵技術，總體開發(fā)流程如圖1所示。

2.裝配孔位識別

裝配孔位識別是指識別裝配過程中的關鍵部件或位置，以汽車輪轂裝配為例，裝配孔位識別就是對輪轂孔的識別。裝配孔位是用于固定零部件或連接不同部件的重要位置，其準確定位和識別對于正確完成裝配任務至關重要。

為提高裝配環(huán)境點云到孔位識別、位姿估計及機器人裝配軌跡的多任務的映射關系學習效率，本文采用PointNet對點云數(shù)據(jù)的高維特征進行提取，如圖2所示。PointNet是一種直接處理點云的深度學習網(wǎng)絡，它通過使用對稱函數(shù)來保證輸入數(shù)據(jù)的無序性，有效地提取出局部和全局特征。在基于點云的裝配孔位識別應用中，PointNet可以更好地提取輪轂的獨特幾何結構和拓撲特征，以保證后續(xù)孔位識別的準確性和可信度。

PointNet可以直接把原始點云作為輸入。首先，對輸入數(shù)據(jù)進行歸一化處理，以消除尺度和位置的差異；其次，利用可學習的轉換矩陣，對輸入點云進行空間變換，增強模型對不同視角和姿態(tài)的魯棒性；再次，基于共享權重的多層感知機（shared Multi-Layer Perceptron， sMLP）提取每個點的局部特征，并利用最大池化層輸出全局特征；最后，將得到的每個點的特征向量作為梯度下降算法的輸入量，實現(xiàn)結果的優(yōu)化。具體優(yōu)化過程如下。

定義一個損失函數(shù)來衡量預測位置和真實位置之間的誤差：

（1）

式中 θ——模型的可學習參數(shù)；

——是預測的孔位位置；

yi——實際的孔位位置，N是樣本數(shù)量。

使用梯度下降迭代更新模型參數(shù)θ，如公式（2）（3）所示。重復計算梯度和更新參數(shù)的過程，直至損失函數(shù)趨于最小或達到迭代次數(shù)。

式中" α——學習率。

3.姿態(tài)估計

前述步驟的孔位識別為后續(xù)機器人裝配軌跡的生成提供了基礎，然而僅依賴孔位點云無法完全限制裝配過程的自由度，難以保證所規(guī)劃的機器人裝配軌跡的精度。為此，本論文在此基礎上，提出融合孔位信息的裝配位置和姿態(tài)的估計方法，以確保后續(xù)機器人裝配的準確性和穩(wěn)定性。具體來說，基于裝配孔位預測概率對數(shù)據(jù)進行初步篩選，實現(xiàn)孔位點云的位姿特征粗篩選。同時，本文考慮輪轂特點，利用平均池化層求取孔位位姿的全局特征，最后經(jīng)過sMLP的處理得到位姿編碼特征向量，最后輸出每個裝配位置的位姿估計結果。

4.軌跡生成

機器人裝配軌跡生成是指生成機器人執(zhí)行裝配任務所需的運動路徑。通過自動生成裝配軌跡，可以提高裝配效率并減少人工干預，從而降低成本和提高生產(chǎn)效率。傳統(tǒng)機器人裝配軌跡規(guī)劃方法通常采用數(shù)值求解與優(yōu)化求解兩種方式，然而，隨著裝配場景的復雜程度提升，現(xiàn)有規(guī)劃方法難以滿足實時性的需求。為此，本文提出了一種基于學習的機器人裝配軌跡規(guī)劃方法，來提升軌跡規(guī)劃的效率與精度。

具體地說，為了更好地利用PointNet所提取的點云高維特征，在點云特征輸入到軌跡規(guī)劃模塊時，采用SoftMax函數(shù)對點云權重進行計算，衡量每個點的重要程度。為使點云到軌跡的映射模型學習精度更高，本文提出基于長短時記憶 （LSTM ，" "Long-Short Time Memory） 神經(jīng)網(wǎng)絡對點云特征進行映射，提取兩者之間的關聯(lián)關系，并輸入至sMLP層中。最后，模型輸出每幀下的機器人軌跡信息，即完成點云到機器人裝配軌跡的映射學習。

最后，本文將網(wǎng)絡的損失函數(shù)定義為三種任務的損失之和，如公式（4）所示：

（4）

式中" ——裝配孔位的識別損失函數(shù)；

——裝配位置的位姿估計損失函數(shù)，基于均

方差損失函數(shù)進行計算；

——機器人軌跡規(guī)劃的損失函數(shù)，基于均方

差損失函數(shù)進行計算。

仿真與實驗驗證

本文基于PyTorch框架，實現(xiàn)網(wǎng)絡模型，并使用Adam優(yōu)化器對網(wǎng)絡模型進行訓練。學習率設為0.001，訓練了100個周期。硬件平臺為3.4GHzIntel Core i7 CPU、 NVIDIA GeForce GTX 1080 GPU和16GB RAM的臺式PC機。對某車型輪轂進行測試，掃描得到的點數(shù)約為25萬個點，耗時約1.8s。

1.仿真驗證

在仿真環(huán)境中搭建由UR5機器人、深度相機及輪轂組成的機器人裝配場景，用于驗證本文所提出數(shù)據(jù)自動采集、孔位及其位姿的智能識別與估計及機器人自主規(guī)劃流程的有效性。有效性的評估依據(jù)依賴與對算法計算結果與仿真環(huán)境下理論位置之間的差異性計算。

對模型所涉及多任務的結果進行了定性的評估，展示了所提算法在各任務模塊下的識別、估計及規(guī)劃的效果如圖3所示。

表1中也給出了模型結果的定量化數(shù)值。其中，識別、估計及規(guī)劃模塊的評價指標分別采用識別準確率、距離誤差與夾角誤差及角度誤差進行評估。在孔位識別模塊中，識別準確率為0%～100%，準確率越大，代表算法的孔位識別精度越高。在裝配位姿估計模塊中，位置誤差通過計算算法估計位置與理論位置之間的距離所獲得，夾角誤差通過計算算法估計矢量方向與理論矢量方向之間的夾角所獲得，兩者的數(shù)值均為越小越好。軌跡規(guī)劃模塊通過計算算法規(guī)劃結果的機器人關節(jié)角度與理論關節(jié)角度之間的差值所獲得，其值也是越小越好。

從表中可以看出，孔位識別的準確率達到了98%，裝配姿態(tài)估計的結果達到了0.01°，所規(guī)劃的裝配軌跡同理論值相比僅有±0.025°的偏差量。表明該方法可有效生成機器人裝配軌跡，在保證機器人裝配準確率同時，顯著提高了機器人裝配效率。

2.實際裝配工位驗證

本文搭建了真實裝配場景對所提算法的泛化性進行驗證，通過所提算法在真實環(huán)境中的表現(xiàn)也可以對所提出的基于仿真數(shù)據(jù)的虛擬調試流程的有效性進行驗證。其中，真實環(huán)境下的孔位位姿與裝配軌跡理論值為人工定義所得，通過對數(shù)據(jù)的人工處理獲取理論真值，便于后續(xù)算法計算結果誤差的評估。

真實場景下算法面向不同任務的計算結果如圖4所示。

表2給出了真實場景下的算法計算結果的定量結果。由于真實點云數(shù)據(jù)具有更大的噪聲，因此對算法的精度產(chǎn)生了較大的影響，因此，算法在真實場景中的精度略有下降。最終算法對于孔位識別的準確率達到95%，裝配位姿估計的精度分別為0.80mm和0.01°，機器人裝配軌跡精度為±0.03°。

通過對數(shù)據(jù)的分析，可以得出以下結論：雖然真實環(huán)境下的算法輸出誤差略大于仿真結果，但是依然保證了裝配的精度，位置度誤差小于1mm。結果證明了所提算法在不同環(huán)境下的泛化性，也證明了人工智能技術與虛擬調試技術相融合可以有效降低現(xiàn)場調試時間，提高交付效率。

結語

本文針對仿真環(huán)境與物理環(huán)境間的差異性所導致虛擬調試結果可信度差的問題，研究虛擬調試技術與人工智能技術融合的可行性，提出一種基于仿真數(shù)據(jù)驅動的汽車裝配虛擬調試方法。所提方法以點云作為輸入量，構建點云到機器人裝配軌跡的端到端人工智能模型，通過虛擬仿真和模型訓練，將仿真和訓練的結果直接應用到實際現(xiàn)場，以達到減少現(xiàn)場調試、交付工作周期的目的。同時，考慮到虛擬數(shù)據(jù)采集具有繁瑣、耗時等問題，本文開發(fā)了自動化仿真數(shù)據(jù)采集插件，極大地提高了數(shù)據(jù)采集效率。實驗結果表明，所提算法在仿真與物理環(huán)境下可以準確地輸出裝配孔位、裝配位姿及機器人裝配軌跡，實現(xiàn)實機調試效率的提升，驗證了本文方法的有效性。

參考文獻：

[1] 何禮.虛擬制造技術在汽車裝配工藝中的應用[J].汽車測試報告，2023（24）：70-72.

[2] 王良濤.多型號復雜輪廓零件視覺識別技術在汽車制造業(yè)中的應用[J].汽車工藝師，2024（1-2）：32-36.

[3] 王世昌，華寶成，周依爾，等.基于TEASER算法的空間非合作目標位姿估計[J].空間控制技術與應用，2024，50（1）：25-34.

[4] 張振，李新宇，董昊臻，等.基于約束采樣RRT的機械臂運動規(guī)劃[J].計算機集成制造系統(tǒng)，2022，28（6）：1616-1626.

[5] Zhao，Cong，et al. A novel direct trajectory planning approach based on generative adversarial networks and rapidly-exploring random tree[J]. IEEE Transactions on Intelligent Transportation Systems， 2022，23（10）：17910-17921.