人體背部動態識別與跟蹤方法

劉曉瑾，孟巧玲，李 平，喻洪流

（1 上海理工大學 康復工程與技術研究所，上海 200093；2 上海康復器械工程技術研究中心，上海 200093）

0 引言

在社會老齡化愈加嚴重的情況下，助老助殘的產品受到社會各界的廣泛關注。近年來開發了各種類型的康復輔助機器人，如洗浴機器人［1］、艾灸機器人［2］、按摩機器人［3］等。這一系列輔助機器人需要利用機械臂模仿人手對受用者的背部進行作業工作。人體背部的識別對此系列機器人的視覺系統至關重要。

目前，常見人體動態識別與跟蹤的研究主要集中在人體姿勢識別［4-5］、手勢動態識別［6-7］，以及臉部識別［8-9］。現有的研究中，對背部區域大部分都是靜態識別。Hongli Chen 等人［10］通過在人體背部設置大量人工標記識別背部，這種方法雖然簡單迅速，但是適用場景有限。例如在洗浴場景中存在無法清洗粘貼標記的區域。K.C.Jones 等人［11］設計的按摩機器人是直接輸入用戶的肩點和腰點的坐標，但其無法適應不同體型用戶的個體差異，并且當用戶在按摩過程中運動，先前輸入的坐標并無法與用戶身體部位對應。Chia-Yu Wu 等人［12］通過Canny邊沿檢測器來提取皮膚片段的邊緣輪廓，但該方法只適用于雙手向上舉的姿勢，在用戶坐姿雙手自然垂下或叉腰等情況下，無法準確地提取背部區域。然而，機械臂在人體背部工作時，人體因呼吸或其他因素調整坐姿狀態，身體會隨之變動，機械臂末端軌跡也應隨之變動，這給在人體背部工作的機械臂控制帶來挑戰。

本文針對人體背部發生位姿變換的情況，提出了一種基于背部幾何特征的方法，識別出沒有任何標記且無明顯紋理特征下不同姿勢的背部區域，并采用一種融合空間運動變換矩陣及點云粗-精配準算法，實現動態背部區域的跟蹤。同時，分別在身體弓背、身體傾斜、身體扭轉和手臂擺動情況下，對背部區域進行了識別跟蹤實驗，并與其他配準方法對比效果和運行時間。

1 人體背部確定

人體背部確定，先利用場景點云進行預處理獲得人體點云，再通過人體背部幾何特征進行識別，其流程如圖1 所示。

圖1 人體背部確定Fig.1 Human back determination

1.1 點云預處理

由雙目相機采集的無RGB 信息場景點云，包含墻面、地面等大量的冗雜信息，為了提高算法后續步驟的工作效率，需對點云進行預處理。預處理分為直通濾波、統計濾波和背景去除3 個部分，最后獲得人體點云。

首先，通過直通濾波去除大量的墻面及周邊無關場景的點云。在研究中對相機采集的場景點云P1＝｛pi ｜pi∈R3，i ＝1，2，…，n｝設置X方向和Z方向閾值（x1，x2）和（z1，z2），將人體前后和左右的場景點云去除。因為Y方向是人體站立的方向，每個人的身高不同，且人體上方并無多余的場景點云，所以無需對Y軸進行處理。通過直通濾波后，獲得包含人體區域和座椅凳子區域的點云P2：

由于相機的內部干擾以及自身精度問題，拍攝的點云中存在離群噪聲，所以需對點云進行統計濾波處理，以減少離群點云對后續工作的影響。統計濾波通過計算點與近鄰點的距離di，以及所有點的距離均值μ和標準差σ，通過去除近鄰距離均值大于α倍的標準差的離群點，得到點云P3＝｛pi∈P2｜μ -α·σ≤di≤μ+α·σ｝。

最后，將座椅點云作為背景點云與點云P3進行比對，通過背景去除法刪去兩幀點云重疊部分，得到單獨的人體點云P4。

1.2 背部分割

預處理后的點云，還存在頭頸部和手臂區域，需進一步處理，來獲得人體背部。本文提出一種基于幾何特征的方法分割人體背部。其主要步驟如下：

（1）遍歷人體點云P4所有點，尋找y方向最小值yhip；

（2）參考正常成年人軀干長度尺寸，在yhip正方向上50～70 cm 范圍區域，在y方向上微元分割（如圖2），并計算分割后每一段長度wi；

圖2 微元法分割Fig.2 Micro dimensional segmentation

（3）利用頸部寬度和肩部寬度的差值進行處理：若滿足wi ＞wi-1+0.1，則wi所對應的y坐標ysh視為肩線，此時將ysh上方區域的點去除；

（4）利用人體背部的厚度，將手臂區域去除。

2 配準跟蹤方法

本文通過人體運動前后相鄰兩幀點云進行配準，獲知背部位姿變換矩陣，解決人體在機械臂工作過程中不自主隨機運動問題。常見配準方法包括：隨機采樣一致性算法（RANSAC）［13］、四點共面算法（4PCS）［14］、主成分分析法（PCA）［15］等。

本文提出的背部跟蹤方法，首先通過體素濾波下采樣減少點云數量，再提取關鍵點，然后由粗配準計算兩幀點云近似旋轉平移矩陣，最后由精配準進一步迭代精確的旋轉平移矩陣。其實現過程如圖3所示。

圖3 配準流程Fig.3 Registration flow

2.1 體素濾波

為了減少點云數據，縮短配準時間，提高機械臂人體交互效率。選擇體素柵格下采樣方法對人體背部點云進行濾波處理，其將背部點云劃分為若干個微小的體素柵格，用體素柵格內的重心點來替代體素內的點。將每個體素柵格邊長設為LeafSize，體素內的重心坐標計算公式如式（1）：

其中，Xc、Yc、Zc表示體素內重心的坐標；xi、yi、zi分別代表體素柵格內每一點的坐標值；m表示體素柵格內點云的數量。

本文選擇邊長LeafSize ＝0.01 和LeafSize ＝0.02兩種不同體素柵格大小，分別對人體背部點云數量簡化，并將兩種情況進行對比。以傾斜前的背部點云為例，其中初始點云數量為3 259，通過體素柵格濾波之后，點數量分別達到2 121 和647。若邊長LeafSize過大，點云數量減少過多，易失去點云特征，最終選擇體素柵格為LeafSize ＝0.01 對人體背部點云進行濾波處理。

2.2 提取關鍵點

內部形狀描述子（ISS）［16］與傳統的SIFT［17］、Harris［18］等關鍵點相比，不僅包含豐富的幾何特征信息，同時計算速度快、重復性高，適用于簡化人體背部點云。ISS 提取過程如下：

（1）用人體背部體素濾波后的點云中每一點pi，建立一個局部坐標系，構建半徑為r的區域。通過該區域內所有點與點pi的距離，計算出這些點的權重wij，其表達式為

（2）計算r鄰域內所有點與點pi之間的協方差矩陣cov（pi）：

其中，δ1和δ2為參數閾值，取值范圍為0～1。

綜合考慮到關鍵點數量和分布，提取出體素濾波處理后點云的關鍵點，參數設置為：半徑r為點云分辨率的3 倍，δ1和δ2均設置為0.975。

2.3 SAC-IA 配準算法

粗配準利用體素濾波提取出的關鍵點進行配準，其中源點云為運動前的點云，目標點云為人體運動之后的點云。粗配準先計算兩幀點云提取出來的關鍵點的快速點特征直方圖（FPFH），再使用采樣一致性（SAC-IA）配準，獲得運動前后的兩幀背部點云初始的變換矩陣。粗配準流程如下：

（1）計算出兩幀點云FPFH 描述子，FPFH 描述子是對點特征直方圖描述子（PFH）的改進，在PFH描述子基礎上減少了時間復雜度，并且提高了運行效率，其表達式為

其中，pk表示其為查詢點pq的一個臨近點；SPFH（pq）和SPFH（pk）分別表示pq和pk兩點的〈α，φ，θ〉；k表示人體背部點云每個點pq的鄰域數量；wk表示pq和pk兩點之間的距離權重。

（2）隨機選擇n個最小距離大于dm的點，在目標點云中查詢與源點云中采樣點具有相似的FPFH特征點作為對應點。

（3）計算運動前后對應點對之間的變換矩陣，并計算變換性能，確定誤差最小的變換，其計算公式如式（6）：

其中，te為給定的預值，ei為第i組對應點變換之后的對應之間的誤差。最后返回最小誤差H（ei）對應的變換矩陣（Rb，tb）。

2.4 ICP 配準算法

經過粗配準，將兩幀點云匹配得到一個近似的變換矩陣。考慮到粗配準精度較低，誤差較大。因此，本文再通過精配準進一步提高配準精度，對這兩組點云進行迭代最近點（ICP）配準。

ICP 算法原理是在初始點云中將每一點進行初始變換，在另一幀點云與初始變換后的點云中最近的點形成點對，再求解變換矩陣（R，t），計算誤差函數E（R，t），計算公式如式（7）：

其中，n為鄰域點個數；pai表示目標點云中的一點；pbi表示與源點云與pai對應的點；R表示旋轉矩陣；t表示平移向量。

配準過程中根據兩幀點云不斷迭代變換，使得誤差函數E（R，t）最小，獲得最終的配準結果。

2.5 跟蹤算法

在完成機械臂跟隨人體發生相應變換的任務中，運動前的背部點云S0＝｛si ｜si∈R3，i ＝1，2，…，j｝ 中任意一點si，通過配準變換矩陣（R，t）。其中，R為3×3 矩陣表示旋轉變換，t為3×1 矩陣表示平移變換，將變換矩陣表示為式（8）的形式，可以得出運動后點si對應的位置si＇，如式（9）：

3 實驗結果與分析

為了驗證本文算法在人體背部的動態識別與跟蹤的有效性，通過Intel RealSense D455 相機采集人體由坐直到傾斜、扭動、背部彎曲，以及手臂隨意擺動4 種不同運動姿勢連貫動作下的點云，進行背部提取實驗，以及運動前后背部點云進行配準實驗，以此驗證本文算法的有效性。

算法運行環境為：Windows 10 操作系統和Intel（R）Core（TM）i5-10500 CPU 處理器，在Visual studio 2017 下結合PCL1.8.1 庫運行。在離線情況下對點云數據進行處理。為了避免引發倫理問題，同時考慮到保護用戶隱私問題，所采集的點云數據是僅有深度信息并沒有RGB 信息。所采集的相鄰兩幀點云的時間間隔短，忽略人體運動前后的形變。5 種不同姿勢下的RGB 照片如圖4 所示。

圖4 人體運動過程的5 種姿勢Fig.4 The five postures of the human movement process

3.1 背部識別實驗

采用基于人體背部幾何特征識別背部的方法，在身體坐直、身體弓背、身體傾斜、身體扭動和手臂擺動5 種姿勢下，識別人體背部區域。處理結果如圖5 所示，其中黑色點云是預處理獲得的人體點云，藍色區域為識別的背部區域。

圖5 識別人體背部區域Fig.5 Identify the dorsal area of the human body

從圖中可以看出，根據幾何人體特征可以有效的分割出背部區域，解決了在無RGB 信息、且無標記和無明顯紋理特征情況下，以及在頭頸和手臂干擾下，識別出人體背部區域的問題。盡管采集的點云存在空洞、偽影等缺陷，但使用本文方法能夠有效的識別出背部區域。

3.2 背部跟蹤實驗

為了驗證跟蹤效果，將身體傾斜、身體扭動、背部彎曲、手臂擺動4 種運動姿勢，分別用本文方法與另外兩種方法配準，從配準效果和運行時間進行對比。其中，算法一為3Dcs 粗配準與ICP 精配準結合，經過相同參數下體素濾波處理和提取關鍵點處理，以及精配準的迭代次數一致；算法二為經過相同參數下體素濾波處理，再進行相同參數下的粗-精配準處理。

實驗1配準效果比較實驗

將4 種不同姿勢人體背部點云在3 種方法配準下進行實驗，配準效果如圖6 所示。其中，綠色點云為運動前的點云，紅色點云為運動后的點云，藍色點云為配準所得到的點云。從配準效果可以看出，手動姿勢變化中，背部區域運動范圍小，3 種配準結果在視覺上基本重合，配準精度高；其他3 種姿勢在不同配準效果中，均存在不同程度的誤差。其中算法一配準精度上偏差最大，本文方法和算法二配準精度較高、魯棒性較好。

圖6 點云配準效果Fig.6 Point cloud registration effect

實驗2運行時間對比實驗

針對算法運行速率對比，將4 種不同姿勢變化的點云在這3 種算法下運行，結果見表1。

表1 運行時間分析Tab.1 Running time analysis s

4 種姿勢的變換運用同一種配準算法的運行時間差別并不明顯。其中，手動姿勢變換的背部區域變化較小，在不同配準方法下的運行時間均最短。4種姿勢變換平均運行時間相比較，算法一平均時間為4.211 s，算法二配準平均時間為38.391 s，本文方法配準平均時間為1.424 s。

實驗3配準均方根誤差分析

采用運行時間和均方根誤差（RMSE）來評估配準精度，RMSE計算公式如式（10）：

其中，n表示點云的數量，Xi和分別表示配準后對應點之間的歐式距離和對應點之間的歐式距離的真值。分別計算X、Y和Z3 個方向的均方根誤差來評估配準方法。

均方根誤差分析結果見表2。可以看出，配準均方根誤差在X方向和Y方向上較小，由于人體在Z方向運動幅度大，且相機采集的點云精度較低，導致Z方向上均方根誤差較大，4 種姿勢變換的平均均方根誤差為0.651 cm。當機械臂執行任務時，較小的誤差在一定程度上提高了用戶的舒適度。

表2 點云配準均方根誤差分析Tab.2 Root mean square error analysis of point cloud registration cm

綜合考慮時間和配準效果等因素，本文方法運行效果比算法一偏差小，運行時間比算法一耗時減少了66.18%，運行時間比算法二耗時減少了96.29%。結合配準的均方根誤差，本文所提出的方法適合用于機械臂在人體背部表面工作。

4 結束語

本文提出了一種背部識別動態跟蹤方法。該方法分成兩個部分，第一部分基于無RGB 信息點云，通過預處理識別出人體，根據人體部位幾何特征識別出背部區域。第二部分通過提取背部關鍵點，對人體運動前后背部點云粗-精配準，獲得變換矩陣，實現背部動態跟蹤。實驗結果表明，本文背部識別方法可以準確的分割出人體在不同姿勢下的背部區域，背部跟蹤方法在身體弓背、傾斜、扭動，以及手動4 種不同運動姿勢進行實驗驗證，本文方法運行時間與其他兩種算法相比明顯減少，X、Y和Z方向的平均均方根誤差分別為0.264 cm、0.261 cm 和0.517 cm。滿足機械臂在人體背部工作中的條件。與其他算法相比，本文算法的背部識別速度和準確度得到提高，也為其他器官的跟蹤與識別提供參考。下一步研究將側重于機械臂在人體背部的路徑動態規劃，使得機械臂末端軌跡按照預定軌跡在人體對應部位工作。