船舶狹小空間虛擬人維修姿態(tài)建模技術

羅明宇，駱曉萌，朱文敏，張 磊，，范秀敏*

（1.上海交通大學機械與動力工程學院，上海 200240；2.上海船舶工藝研究所，上海 200032）

0 引言

船體和設備在營運過程中都會有自然損耗，會隨著時間的推移暴露出某些缺陷，引發(fā)船體結構受損。為了保證能夠繼續(xù)安全使用，必須有計劃地進行修理船舶維修。由于船舶機械結構復雜，空間利用率高且設備產品眾多，維修場景多為狹小受限空間，例如船艙底層格子作業(yè)間，頂部封閉且空間狹小，嚴重影響維修效率、造成維修困難。然而目前很多船廠在工藝設計階段缺乏便捷高效的船舶狹小空間虛擬人維修姿態(tài)建模技術，輔助完成狹小空間維修作業(yè)的人機工程評價驗證，導致工藝設計方案依賴個人經驗，很難進行仿真驗證，在實際維修作業(yè)中時常出現工人維修操作可達性差、空間不足活動受限、盲裝作業(yè)、疲勞作業(yè)等現象。

虛擬人姿態(tài)建模技術的核心是基于各種條件約束的前提下，在虛擬人關節(jié)空間中尋找到某一特定的姿態(tài)最優(yōu)匹配點［1］，由于人體關節(jié)空間的高維度、運動高復雜度和任務姿態(tài)多樣性，無法直接定義簡單函數對姿態(tài)關節(jié)進行求解計算。目前從虛擬人姿態(tài)建模底層生成機理角度，可將虛擬人姿態(tài)建模分為以下三種方法。

1）手工建模方法（hand-driven method）。

手工調節(jié)生成人體動作姿態(tài)是最早也是最直接的方法，用戶通過手動調節(jié)虛擬人關鍵姿態(tài)，如楊飛等［2］在研究拖拉機駕駛室人機工程評價時，將虛擬人模型手動裝配到駕駛室適配位置。但簡化的虛擬人模型全身自由度也有20～50個，還有空間定位的6自由度，通過手工調節(jié)給出空間定位和每個關鍵姿態(tài)的所有關節(jié)角度是非常費時費力且困難的，且需要用戶具有豐富的人體姿態(tài)制作經驗和技巧才能生成逼真的關鍵姿態(tài)。焦慶龍等［3］通過改進的聚類算法將作業(yè)核心姿態(tài)構建成姿態(tài)庫，然后根據具體任務選取姿態(tài)庫中的姿態(tài)再進行手工調整，雖能一定程度上簡化了建模流程，而且可以通過直接改變關節(jié)角的方式滿足各種約束需求，但該方法進行虛擬人建模仍非常繁復，效率低下。

2）模型建模方法（model-driven method）。

模型建模方法將人體動作姿態(tài)生成過程轉化為某些復雜的數學參數模型。根據數學模型特點，模型建模方法有動力學模型建模、運動學模型建模、生物力學模型建模等。運動學模型研究較多，技術較為成熟。楊宇盟等［4］結合FABRIK（Forward And Backward Reaching Inverse Kinematics）算法、碰撞檢測、Bi-RRT（Bidirectional Rapidly-exploring Random Tree）算法實現了虛擬人手臂無碰撞抓取物體。Qiu等［5］通過構建包含工程屬性的語義參數化模型以及虛擬人姿態(tài)自動推理模型實現了裝配維修場景虛擬人姿態(tài)建模。運動學模型雖然能很快地得到虛擬人姿態(tài)，但并未考慮舒適性等人機工程學因素，導致模型缺乏協(xié)調性。動力學模型與生物力學模型可以優(yōu)化出更合理、協(xié)調的運動姿態(tài)，但求解復雜且操作環(huán)境較為開放，碰撞檢測要求不高。

多種建模模型融合是今后發(fā)展的方向。顧巖等［6］結合運動學模型與動力學模型，采用Bi-RRT算法和基于肘圓的逆向運動學的規(guī)劃方法對手臂路徑進行規(guī)劃，并以最大關節(jié)舒適度對手臂路徑進行優(yōu)化。武維維等［7］將人機因素目標函數與姿態(tài)參數映射，構建姿態(tài)仿真多目標優(yōu)化問題，通過多目標遺傳算法求解最優(yōu)解。王建鵬等［8］基于生物力學構建虛擬人運動控制系統(tǒng)完成虛擬人建模。Sultan等［9］提出一種基于反饋線性化的非線性魯棒技術，并構建了非線性生物力學模型用于進行虛擬人姿態(tài)控制。動力學與運動學結合求解姿態(tài)，易獲得協(xié)調的上肢運動姿態(tài)，但建模過程復雜，且上肢自由度較少；直接用動力學和運動學結合求解只適用于低自由度問題，并不適用于多自由度的全身姿態(tài)求解。

3）數據建模方法（data-driven method）。

數據建模方法通過外部采集設備對人體進行跟蹤，直接將跟蹤結果賦予虛擬人完成虛擬人姿態(tài)建模。Kronfeld等［10］通過機電輸入設備數據驅動虛擬人，并通過運動序列實現虛擬人運動仿真。Lippi［11］通過模塊化控制的方式，構建姿態(tài)學習預測器的機器學習模型，通過模型數據結果構建虛擬人姿態(tài)。邱世廣等［12］通過外設采集數據人體關節(jié)角度數據，之后以人體關節(jié)極限角度和前后幀的角度變化幅值作為判斷準則過濾噪聲，之后以灰色系統(tǒng)理論建立噪聲補償模型補償過濾噪聲而過濾掉的幀的信息完成虛擬人驅動。外設采集雖然能真實地獲取人體運動姿態(tài)，但受硬件限制較大，存在設備精度限制、環(huán)境遮擋限制、噪聲擾動等問題。

針對船舶設備眾多、機械結構復雜、維修場景多為狹小空間等特點，手工建模方法雖然能滿足各種約束需求，但手工操作繁復，效率低下；模型建模方法對多自由度問題求解復雜，且基本適用于開放環(huán)境，對碰撞檢測要求低；數據驅動很難滿足特定維修任務的多約束需求?；诂F有虛擬人建模技術優(yōu)缺點的分析，結合船舶狹小空間的環(huán)境特征，本文提出一種將基于姿態(tài)庫的維修姿態(tài)狹小空間匹配算法和基于多目標問題求解的手臂建模方法相結合的維修姿態(tài)混合建模方法，將虛擬人關節(jié)根據運動復雜度分為軀干下肢和手臂兩部分分別進行姿態(tài)建模。最后結合某型船艙內部罐體閥門維修作業(yè)姿態(tài)建模案例驗證了該方法的有效性。

1 總體方案

本文針對船舶狹小空間虛擬人維修姿態(tài)建模問題，通過對維修過程肢體活動復雜度進行分析，將虛擬人維修姿態(tài)仿真分為兩部分：第一部分是面向活動復雜度較低的軀干及下肢部位的虛擬人軀干及下肢維修姿態(tài)建模；第二部分是面向活動復雜度較高的手臂部位的虛擬人手臂維修姿態(tài)建模。針對虛擬人軀干及下肢維修姿態(tài)仿真，提出了基于維修姿態(tài)庫的狹小空間維修姿態(tài)匹配算法，包含基于八叉樹的未碰撞區(qū)域搜索算法和維修姿態(tài)庫與未碰撞空間匹配問題求解方法；針對虛擬人手臂維修姿態(tài)建模，提出了基于多目標問題求解的虛擬人手臂建模方法，包含虛擬人手臂多目標優(yōu)化模型分析與構建、基于遺傳算法的手臂姿態(tài)多目標問題求解?？傮w方案如圖1所示。

圖1 船舶狹小空間虛擬人維修姿態(tài)建模總體方案Fig.1 Overall scheme for modeling maintenance posture ofvirtual human in narrow spaceof ship

2 基于姿態(tài)庫的維修姿態(tài)狹小空間匹配算法

維修作業(yè)過程中人體軀干及下肢關節(jié)相比手臂關節(jié)運動簡單、復雜度低，并且與環(huán)境的交互干涉相對簡單，因此采取基于姿態(tài)庫的姿態(tài)狹小空間維修姿態(tài)匹配算法，包含基于八叉樹的未碰撞區(qū)域搜索算法、維修姿態(tài)庫與未碰撞空間匹配優(yōu)化方程分析與建立。

2.1 基于八叉樹的未碰撞區(qū)域搜索算法

圖2 八叉樹結構劃分結構示意圖Fig.2 Schematic diagram of octree structure division structure

2.2 維修姿態(tài)庫與未碰撞空間匹配優(yōu)化方程分析與建立

1）虛擬人與狹小空間碰撞比例計算。

2）虛擬人與維修對象有效距離計算。

對于可達性一般通過手臂移動，末端手掌可達最遠位置構成的可達曲面進行描述［14］，即在關節(jié)轉動范圍內，從每個手臂以肩部為中心，臂長為距離構成等距面；在描述雙手可達性中簡化成以脖頸節(jié)點到維修對象的距離作為評估參數Li，再以Larm定義標準差σ，參考高斯分布函數計算虛擬人與維修對象有效距離Deffective，并對函數結果進行歸一化，計算公式如下：

其中：LS為脖頸到操作對象的最適距離。

3）虛擬人作業(yè)姿態(tài)舒適度評價。

虛擬人作業(yè)姿態(tài)評價是針對姿態(tài)庫中軀干及下肢關節(jié)的評 價，采 用Hignett等［15］提 出 的REBA（Rapid Entire Body Assessment）分析中關于Trunk和Legs的評價標準計算姿態(tài)庫中姿態(tài)評分Vcomfort。

根據現實生活維修工作中人與維修對象、人與維修環(huán)境的交互情況，提出了虛擬人姿態(tài)與狹小空間匹配的三個原則：虛擬人與維修對象之間距離盡可能小，以保證后續(xù)手臂姿態(tài)的可達性；虛擬人與維修環(huán)境之間的碰撞盡可能少，以保證仿真中作業(yè)人員的安全性和仿真的真實性；虛擬人自身維修姿態(tài)盡可能舒適。

基于以上3個原則，將虛擬人姿態(tài)與狹小空間匹配問題化為一個優(yōu)化方程：

其中：a與β是有效距離與姿態(tài)舒適度的權重值，優(yōu)化方程的三項分別對應本文提出的匹配3個原則。計算在Ssearch中任意剛 性 變 換tm下Pm，On、Deffective、Vcomfort，滿 足(Pm，On+αDeffectiveβVcomfort)最小的tm即為所求的最優(yōu)剛性變換topt。

3 基于多目標問題求解的虛擬人手臂建模方法

實際維修作業(yè)過程中人體手臂相比軀干、下肢等部位運動復雜，并且與環(huán)境的碰撞干涉相對復雜，不適用于姿態(tài)庫匹配的方式進行建模仿真，因此采取基于多目標問題求解的虛擬人手臂建模方法。

3.1 虛擬人手臂多目標問題分析與構建

狹小空間維修作業(yè)中手臂姿態(tài)建模不僅要保證手臂關節(jié)轉角舒適、手臂末端能夠觸及維修對象，還要避免與狹小空間環(huán)境相碰撞，但各目標之間存在矛盾，難以同時達到全面最優(yōu)的姿態(tài)解。因此以肩（上擺下擺、外展內收、外旋內旋）、肘（彎曲過伸、旋內旋外）、手腕（橈偏尺偏、背伸掌屈）共7個旋轉角為參量，分別將人體左右手臂作業(yè)姿態(tài)構建成多目標優(yōu)化問題：

minfm(θ1，θ2，…，θ7)；m=1，2，…，Ms.t.gk(θ1，θ2，…，θ7)≤0，k=1，2，…，K

3.1.1 關節(jié)轉角評估函數

其中：σi表示第i個關節(jié)角的舒適活動角度范圍大小。frot(θi)代表關節(jié)角越接近最佳值，舒適度越好，評估函數如圖3所示。

圖3 關節(jié)轉角評估函數Fig.3 Joint rotation angleevaluation function

3.1.2 碰撞檢測評估函數

在狹小空間內手臂的活動空間有限，在進行維修作業(yè)時極易與環(huán)境發(fā)生碰撞。以手臂與環(huán)境的碰撞檢測結果作為碰撞檢測的評估函數gcollision：若發(fā)生碰撞則gcollision取1，若未發(fā)生碰撞，則gcollision取零。

3.1.3 手臂末端可達性評估函數

定義世界坐標系下手臂末端的旋轉平移矩陣Mterm，維修目標的旋轉平移矩陣為Mtarget，計算Mterm與Mtarget的旋轉平移變換矩陣M：

其中R表示矩陣中的旋轉矩陣、T表示矩陣中的平移矩陣，計算R對應四元數Q(x，y，z，w)：

其中：x、y、z存儲旋轉變換中旋轉軸信息；w存儲旋轉角信息，以w評估旋轉偏移量DiffR。

基于2-范數計算T表示的平移偏移量DiffT：

綜合評估旋轉偏移量與平移偏移量，計算出手臂末端可達性評估函數faccess：

其中α為DiffR與DiffT之間的權重參量。faccess越小，說明DiffR與DiffT越小，手臂末端與目標位姿差異越小，說明可達性越好。

3.2 基于NSGA-Ⅱ的手臂姿態(tài)多目標問題求解

3.2.1 NSGA-Ⅱ算法

本文采用第二代非支配排序遺傳算法NSGA-Ⅱ（fast and elitist Non-dominated Sorting of Genetic Algorithm）［16］求解該多目標優(yōu)化問題的Pareto最優(yōu)解集，該算法時間復雜度低，全局搜索能力強，保證了較高的種群多樣性，采用的精英策略保證了優(yōu)勢個體的保留、算法的穩(wěn)定性和魯棒性。NSGA-Ⅱ算法流程如圖4所示。

圖4 NSGA-Ⅱ算法流程Fig.4 NSGA-Ⅱalgorithm flow chart

3.2.2 基于NSGA-Ⅱ求解手臂姿態(tài)多目標問題

針對虛擬人手臂姿態(tài)的NSGA-Ⅱ算法步驟如下：

1）基因編碼。

采用實數的編碼方式，利用式（14）線性變換將各關節(jié)轉角值θi映射到[0，1]區(qū)間上的實數ui作為染色體的編碼信息：

其中：ui稱為染色體的基因編碼，[u1，u2，…，u7]構成該優(yōu)化問題中個體的染色體。

2）種群初始化。

3）遺傳算子操作。

選擇操作算子采用隨機聯(lián)賽，交叉操作算子選用模擬二進制交叉算子，變異操作算子選用多項式變異算子，對種群Pt進行選擇交叉變異，生成子代Qt。

4）子代父代種群合并。

將Pt與Qt合并成規(guī)模為2N的合成種群Rt。

5）快速非支配排序和擁擠度計算。

將Rt中uij值代入式（14）可得各基因編碼對應的θi，再將θi代入目標函數可得frot(θi)、faccess，并通過碰撞檢測計算gcollision，之后對Rt全部個體進行快隨非支配排序，并計算各非支配成個體的擁擠度。根據非支配關系和擁擠度選取前J個體作為新父代種群Pt+1。

6）循環(huán)運行步驟3）～5），直到達到預先設定的最大進化次數，完成多目標問題求解，求出最優(yōu)手臂姿態(tài)。

4 實驗研究與應用實例

在Unity 2019引擎下，首先進行基于多目標遺傳算法的建模方法［7］與本文建模方法的對比實驗，進行本文算法優(yōu)勢討論；然后基于本文建模方法，自主開發(fā)了船舶狹小空間虛擬人維修姿態(tài)建模模塊，以某型船舶機艙區(qū)域罐體閥門維修作業(yè)進行了驗證實驗，驗證本文方法的適用性和有效性。

4.1 虛擬人姿態(tài)庫構建

虛擬人的選取：以我國95%人體百分位的男性人體尺寸［17］調整虛擬人模型的身高比例，作為虛擬人模型。

姿態(tài)庫構建：根據人機工程學［17］中的受限空間作業(yè)姿態(tài)與徐達等［18］構建的維修虛擬人姿態(tài)庫，在手臂不影響平衡性的姿態(tài)中將手臂貼近身體兩側盡量避免對虛擬人軀干及下肢姿態(tài)建模中手臂碰撞檢測的影響，構建了虛擬人軀干及下肢姿態(tài)庫（如圖5所示）。

圖5 虛擬人軀干及下肢姿態(tài)庫Fig.5 Virtual human torso and lower limb posture library

4.2 基于多目標遺傳算法的建模方法與本文方法對比實驗

為了進行本文所提姿態(tài)建模方法的優(yōu)勢討論，選取基于多目標遺傳算法的虛擬人姿態(tài)建模方法［7］與本文方法姿態(tài)建模方法進行比較，該方法主要優(yōu)化目標有平衡因素、關節(jié)轉動因素、可達性因素等。在兩種建模方法中設置作業(yè)目標點距地面1 100 mm。

圖6 不同作業(yè)目標距離下基于多目標遺傳算法的虛擬人姿態(tài)建模結果Fig.6 Virtual human posture modeling results based on multi-objectivegenetic algorithm under different target distances

通過設置不同水平距離運用基于多目標遺傳算法進行姿態(tài)建模，通過設定維修對象后運用本文方法進行姿態(tài)建模，選取建模過程中特征關節(jié)——上軀干、下軀干、肩關節(jié)、肘關節(jié)進行分析，肩關節(jié)、肘關節(jié)采用第3章關節(jié)轉角評估函數，下軀干及上軀干參考文獻［14］中關節(jié)最優(yōu)角、同樣運用轉角評估函數進行評估，實驗結果如表1（評估分值越低關節(jié)轉角越接近最優(yōu)值；最后一行是本文建模方法圖7（a）結果）。

表1 不同水平距離虛擬人姿態(tài)評估結果Tab.1 Postureevaluation results of virtual humansat different horizontal distances

圖7 本文建模方法的建模結果Fig.7 Modeling resultsof the proposed modelingmethod

在基于多目標遺傳算法的建模方法中，需提前確定虛擬人的位置，然后針對每個位置進行全身的多目標優(yōu)化求解，獲得指定位置下的全身最優(yōu)Pareto解。本文提出的建模方法通過姿態(tài)庫與空間匹配的貪心算法的方式完成了虛擬人初始位置定位及軀干姿態(tài)建模，之后通過多目標遺傳算法完成了手臂姿態(tài)建模，能更好地解決狹小空間中虛擬人姿態(tài)建模過程中的初始定位問題，且綜合評估接近于不同水平距離多目標遺傳算法建模實驗中的最優(yōu)解，滿足建模需求。

在單一的基于多目標遺傳算法的建模方法中，平衡因素作為多目標之一，而本文提出的建模方法，對于除上肢外關節(jié)采用姿態(tài)庫匹配的方式，因為姿態(tài)本身滿足平衡性的要求，且除上肢外身體部分重量占整個身體重量的90%，基本可忽略手臂運動對身體平衡性的影響，所以手臂進行多目標優(yōu)化中無需考慮平衡性因素；且本文建模方法引入碰撞檢測作為多目標之一，可以有效地解決狹小空間中虛擬人易與環(huán)境發(fā)生碰撞干涉的問題。

4.3 虛擬人軀干及下肢維修姿態(tài)建模應用實例

初始化設定維修任務約束，維修對象為圖8實線框所示罐體，維修部位為圖8虛線框所示閥門。以虛擬人上臂長和下臂長和手長總和作為Larm定義初始正方形空間搜索塊邊長，初始搜索塊如圖9所示；計算未碰撞區(qū)域，結果如圖10所示。

圖8 維修對象及維修部位示意圖Fig.8 Maintenance object and part

圖9 罐體閥門維修任務空間初始搜索塊Fig.9 Initial spatial search block of tank valvemaintenance task

圖10 罐體閥門維修任務未碰撞區(qū)域的空間搜索結果Fig.10 Spatial search resultsof un-collision area for tank valvemaintenance task

進行姿態(tài)庫與維修空間的匹配運算，匹配過程中未匹配剛性變換下的姿態(tài)和最優(yōu)剛性變換topt下姿態(tài)如圖11所示，滿足在船舶狹小空間中的合理姿態(tài)選取，以及根據姿態(tài)與空間匹配計算出合理的剛性變換topt滿足虛擬人與維修對象極少碰撞發(fā)生、虛擬人正方向面對維修對象且維修對象處在虛擬人良好的操作位置。

圖11 虛擬人軀干及下肢維修姿態(tài)匹配過程及建模結果Fig.11 Virtual human torso and lower limb maintenance posture matching process and modeling results

4.4 虛擬人手臂維修姿態(tài)建模

通過表2建立關節(jié)轉角評估函，通過Unity引擎完成對手臂與環(huán)境的碰撞檢測，對手臂姿態(tài)建模的多目標問題運用NSGA-Ⅱ進行求解，求解過程中手臂不良姿態(tài)和最終結果姿態(tài)如圖12。如圖所示，最終計算結果滿足手臂末端執(zhí)行器與維修對象間的可達性要求、手臂與周圍環(huán)境不存在碰撞且手臂姿態(tài)處于相對舒適自然的姿態(tài)。

表2 虛擬人手臂關節(jié)活動轉角Tab.2 Rotation angle rangeof virtual human arm joint

圖12 虛擬人手臂姿態(tài)建模過程及建模結果Fig.12 Virtual human armmaintenance posture matching processand modeling results

5 結語

本文針對船舶狹小空間維修作業(yè)姿態(tài)建模問題，從實際維修姿態(tài)關節(jié)運動復雜度出發(fā)，將建模問題分為虛擬人軀干及下肢姿態(tài)建模和虛擬人手臂姿態(tài)建模，通過基于姿態(tài)庫的狹小空間維修姿態(tài)匹配算法實現軀干及下肢姿態(tài)建模；通過基于多目標問題求解的建模方法完成虛擬人手臂建模。通過與基于的多目標優(yōu)化遺傳算法的建模方式進行比較實驗和某型船舶機艙罐體閥門維修案例的結果表明，特別是針對狹小空間，該建模方法能夠自動初始化虛擬人位置、針對維修任務進行虛擬人維修姿態(tài)建模，滿足了維修任務約束、碰撞檢測的要求，建模過程包含人因因素影響，無需繁瑣的建模過程。

基于空間匹配的虛擬人軀干姿態(tài)建模采用的是貪心算法，沒考慮與后續(xù)手臂姿態(tài)建模的耦合關系，下一步將對此問題進行進一步研究；下一步也將繼續(xù)研究如果獲得更為自然、逼真、實用、可靠的維修姿態(tài)庫，考慮姿態(tài)空間匹配和多目標問題中其他可能的因素指標以及如何對手部姿態(tài)進行精準建模，以便構建出更符合實際的虛擬人維修作業(yè)姿態(tài)。