姿勢估計技術在多人場景中的試驗方法探索

姜昱健 應夢 尾方義人

作者簡介：姜昱健（1992— ），男，上海人，博士研究生；研究方向：藝術工學。

摘要：日常生活中包含了很多與他人之間的相互行為，相互行為分析研究中經常會用到對身體運動和對話互動的微觀分析。文章以JENGA游戲為研究對象，通過嘗試多拍攝角度，使用二維姿勢檢測系統OpenPose獲取人體關鍵點坐標信息，對比不同拍攝角度下所獲取的關鍵點的信任度，抽取信任度高的關鍵點作為分析對象，以此探索多人場景下的人體姿態數據化分析方法，為行為觀察法提供客觀的量化分析手段，豐富姿態捕捉技術的應用場景。

關鍵詞：姿態數據化；行為觀察；設計輔助；JENGA；OpenPose

中圖分類號：TP39 文獻標志碼：A

0 引言

人們的日常生活中包含了很多與他人之間的相互行為（不僅僅包含會話，也包含與他人一同搬運物體、游戲等），這些相互行為因為自身差異（身高、視力、聽力、性格等），效果也會有明顯的差異。

相互行為分析研究中經常會用到對身體運動和對話互動的微觀分析，以在工作場景中的“常規化實踐”為例，池古在2016年提到，能夠把特定工作場景中被習慣化的相互行為模式作為知識進行學習，并在相應的場景下進行再現與實踐。這種可學習可復制的方式具有公共屬性。錄像機使人們有可能記錄這些相互行為，通過反復觀看，并具體分析這些由語言和動作組成的相互行為。

Martin等［1］指出，伴隨著相互行為分析的發展，數據和分析結果的共享增多，增進了設計師和工程師的合作。利用視頻數據進行相互行為分析，使人們能夠創造一個以視頻數據為中心的被分析和討論的環境（也包括其他現場中的環境數據）。工作環境研究中，相互行為分析的發展不僅提供了一種新的方法，而且還擴展了技術與設計間的合作。對比目前姿態數據化技術，非接觸式測定方法與接觸式測定方法相比具有高效性、低花費的特征［2］。因此，本研究使用Cao等［3］在2017年開發的二維姿勢檢測開源系統OpenPose，采集試驗過程中關鍵位置信息。

1 選擇JENGA作為試驗內容的原因

在JENGA游戲中，游戲參與者們可被分為實施者及等待者，實施者與等待者的角色隨著游戲的進行而不斷發生改變。游戲過程中所發生的社會相互作用可以用社會信息加工模型（Information Processing Theory）［4］進行解釋。這個模型中，個體從接觸社會線索到做出反應，需要經歷6個信息加工步驟：社會線索編碼、社會線索解釋、明確目標、反應提取或構建、反應決策、實施行為反應。

根據這個模型，在JENGA游戲中，當下實施者將一塊積木從塔中拔出放置于最上層被稱作“一回”；等待者將實施者在此回的動作結果進行編碼、解釋（步驟1與步驟2）；從哪一層用什么樣的方式將積木取出的目標進行明確化（步驟3）；選擇最好的方式（步驟4）；決定取出哪一塊積木（步驟5）；實施動作（步驟6）。如此一連串過程結束之后，實施者的身份向等待者進行轉移交換。因此，引入JENGA的任務環境可以定義成不斷變化的環境，在這個環境中，參與者的身份以一種變化的方式發生，即對方的反應是相互產生的。

2 試驗設計

試驗場景如圖1所示。JENGA游戲過程分為合作與競爭。其中合作過程為3名試驗者協作，將散亂于桌面的積木搭建起來，3條并排積木為1層，下一層積木與上一層積木呈90°直角交叉狀。

競爭過程為3名試驗者依次以單手狀態從搭建好的積木中的任意層（除頂層）中抽取或推拉出一塊積木，隨后按照3條1層的方式將取出的積木重新放回積木塔頂層，隨著游戲的進行，積木塔會越疊越高，造成高塔倒塌的那一位試驗者為當回合的輸家。

以上述流程進行3回合的游戲，并對其進行視頻記錄。

如圖1所示，在3位試驗參與者的前方、右方分別設置一臺攝像機。前方攝像機用于拍攝記錄試驗對象的上肢運動過程，右方攝像機用于拍攝記錄試驗對象的軀干狀態。每個拍攝角度可獲得25個關鍵點的位置信息。

3 關鍵點的選取

因為拍攝角度與遮擋情況的發生，并不是獲取的每個關鍵點都可以用于數據分析。OpenPose所獲取的每個關鍵點信息分別以x值、y值、信任度進行表示。其中信任度也稱作可信度，以0～1的數值進行表示，數值越大，可信任水平越高。因此，首先將每個試驗者、每個拍攝視角下所得到的關鍵點信任度進行匯總與對比分析。

從正面拍攝與右側拍攝得到的各點信任度平均值如圖2—3所示［5］。

從表1、表2可知，利用相關分析去研究試驗者1分別和試驗者2、 試驗者3共兩項之間的相關關系，使用Pearson相關系數去表示相關關系的強弱情況。具體分析可知：在正視角拍攝中，試驗者1和試驗者2之間的相關系數值為0.955，并且呈現出0.01水平的顯著性。試驗者1和試驗者3之間的相關系數值為0.976，并且呈現出0.01水平的顯著性。在右視角拍攝中，試驗者1和試驗者2之間的相關系數值為0.899，并且呈現出0.01水平的顯著性。試驗者1和試驗者3之間的相關系數值為0.784，并且呈現出0.01水平的顯著性。因而說明在相同視角下，不同試驗者之間的關鍵點信任度有著顯著的正相關關系。數據化分析將會置于信任度高的關鍵點上。

4 分析結果

基于右側視角拍攝到的視頻資料所得到的關鍵點坐標信息中，point1與point8的信任度均在0.7以上，兩點連線與y軸的夾角可以計算出上肢軀干的前后傾斜狀態。如圖4所示，兩點連線平行于y軸時為0°，軀干向前傾斜為正數角度，軀干向后傾斜為負數度數。

3名試驗者的軀干在試驗過程中的狀態如圖5所示。試驗者1的軀干傾斜角度在試驗中有29%的時間維持在-10°～10°，70%的時間軀干傾斜角度大于10°。試驗者2的軀干傾斜角度有84.6%的時間在-10°～+10°，13.5%的時間軀干傾斜角度大于10°。試驗者3的軀干傾斜角度有95.6%的時間在-10°～+10°，0.2%的時間軀干傾斜角度大于10°。

由此可見試驗者1相比其他兩名試驗者，在試驗過程中軀干更多是前傾的狀態。試驗者3相比其他兩名試驗者，在試驗過程中軀干更多是維持直立的狀態，且前后變化要小于另外兩名試驗者。

5 結語

通過以上所述對姿勢的量化統計，研究組發現了傳統行為觀察法依靠人眼重復瀏覽視頻所難以發現的運動規律，并將在后續研究中加入性格評價，進一步探索行為與性格間的關系，為姿態分析提供更廣泛的應用場景。

參考文獻

［1］MARTIND， SOMMERVILLE I. Patterns of cooperative interaction： linking ethnomethodology and design［J］.ACM Transactions on Computer-Human Interaction， 2004（1）：59-84.

［2］姜昱健，應夢，尾方義人.輔助器具設計開發中肢體姿態的測定方法研究［J］.藝術設計研究，2021（1）：28-30.

［3］CAO Z， HIDALGO G， SIMON T， et al. Realtime multi-person 2D pose estimation using part affinity fields［J］. Transactions on Institute of Electrical and Electronics Engineers， 2017（7）：21-26.

［4］CRICK N R， DODGE K A. A review and reformulation of social information-processing mechanisms in childrens social adjustment ［J］. Psychological Bulletin，1994（1）： 74-101.

［5］The SPSSAUproject（2022）. SPSSAU（Version 22.0）［EB/OL］. （2016-08-18）［2022-01-10］.www.spssau.com.

（編輯 王雪芬）

Abstract： Daily lives contain many mutual behaviors with others， and microscopic analyses of body movements and conversational interactions are often used in mutual behavior analysis studies. This study takes JENGA game as the research object， by trying multiple shooting angles， using the two-dimensional pose detection system OpenPose to obtain the coordinate information of human key points， comparing the trust degree of the key points obtained under different shooting angles， and extracting the key points with high trust degree as the analysis object. In this way， we explore the data analysis method of human posture in multi-person scenes， provide objective quantitative analysis means for behavior observation method， and enrich the application scenarios of posture capture technology.

Key words： postural datafication; behavioral observation; design assistance; JENGA; OpenPose