自然人機交互新進展專題前言*

田 豐,喻 純

1(計算機科學國家重點實驗室(中國科學院 軟件研究所),北京 100190)

2(人機交互北京市重點實驗室(中國科學院 軟件研究所),北京 100190)

3(清華大學 計算機科學與技術系,北京 100084)

自然人機交互是計算機領域重要的前沿技術,是計算機、心理學、人體工學等多學科交叉的領域,自然人機交互建立在對人的認知和行為能力充分理解和建模的基礎之上,與圖像識別、語音識別、自然語言處理等人工智能技術也有著密切的聯系.近年來,國內自然交互領域發展迅速,取得了系列的進展.為了能系統地展示國內自然人機交互領域的最新進展,推動國內自然人機交互的發展,帶動多學科圍繞著計算機領域的進一步發展.本專題與中國圖形學大會Chinagraph 2018 合作,收錄會議論文經過評審推薦,以及公開征文,特約編輯先后邀請了多位領域專家參與審稿,通過編輯部評審的預錄用文章作者到會陳述報告,最終有9 篇稿件通過評審,入選本專題.其中,

論文“ICOMDT:一個面向動態任務的交互計算模型”,提出一個面向動態任務的交互計算模型ICOMDT,用于解釋用戶與動態任務的交互行為并實現用戶意圖預測.該模型可用于針對運動目標的交互錯誤率預測和輔助選擇,能夠有效提升針對運動目標的交互效率.

論文“基于空中手勢的跨屏幕內容分享技術研究”,建立了一套跨屏幕界面共享系統,支持使用空中手勢完成屏幕間界面內容的實時分享,提出了“抓-拖拽”和“抓-拉-放”兩種空中手勢,通過用戶實驗考察了兩種空中手勢的可用性,并建議兩種手勢結合使用的方法.

論文“基于模糊綜合評價的疲勞駕駛檢測算法研究”,設計了一個駕駛員疲勞檢測機制.通過將連續幀圖像進行人臉檢測,利用模糊綜合評價算法對眼睛矩形區域的長寬比、擬合橢圓面積、瞳孔黑色素所占比例這3 個影響因子進行分析,判別出眼睛的睜開閉合狀態,并通過PERCLOS 原理對駕駛員的疲勞狀態做出檢測.

論文“面向肌電信號的虛擬現實提線木偶動畫研究”,提出了一種基于EMG 信號的手勢驅動虛擬現實提線木偶動畫方案,并給出了整體算法流程.設計了基于人體內蘊EMG 信號為輸入的動畫運動方法,實現了單純依靠人體生理信號的虛擬現實運動控制.

論文“無菌條件非接觸式多通道自然交互手術環境”,借助遮擋環境下的深度圖像人體骨架提取、手勢跟蹤與理解、手術室環境遠場語音識別,多模態信息處理與融合技術,構建無菌條件下的非接觸式多通道自然交互手術環境,從而支持醫生在手術中通過語音、手勢等自然交互方式進行病灶定位等任務.

論文“CNN 實現的運動想象腦電分類及人-機器人交互”,在減少腦電采集通道數目、增加分類數目的前提下,基于卷積神經網絡對運動想象中的腦電信號進行分類.設計與開發了腦機交互應用原型系統,驅動人-機器人之間的實時交互,幫助用戶利用運動想象控制仿人機器人的抬手、前進等運動狀態.

論文“面向比特幣交易網絡的拓撲結構可視探索方法”,提出了一種基于拓撲結構推薦的比特幣交易網絡可視分析方法.為每個節點生成一個向量化表達,在用戶交互的基礎上,可檢測一系列相似的結構.該文使用了表達學習來為比特幣交易網絡的每個節點生成向量化表達.基于表達學習,該方法能夠利用節點的向量化表達,在用戶交互的基礎上,為用戶生成一組與其指定的結構類似的結構,從而支持用戶對比特幣交易網絡的探索.該方法能夠支持用戶對比特幣交易中的交易模式進行探索和分析.

論文“一種無標記的身體與面部運動同步捕獲方法”,提出了通過Kinect 深度相機和長焦彩色相機同步捕獲身體與面部運動的方法.通過利用在環境中加入閃光來進行時間同步,并使用張氏標定法進行空間標定,從而組成一組時間同步且空間對齊的混合相機.

論文“多用戶眼動跟蹤數據的可視化共享與協同交互”,建立了基于梯度優化的協同標定模型,提出了面向多用戶的眼動跟蹤計算架構,探索了眼動跟蹤數據的可視化形式在協同交互環境下對用戶視覺注意行為的影響,設計與開發了基于眼動跟蹤的代碼協同審查系統,實現了注視點與代碼間的可視化屬性的共享.

本專題面向從事人機交互領域的研究人員和工程人員,內容涵蓋人機交互理論、技術和應用多個層面的一些最新科研進展.感謝《軟件學報》編委會、中國圖形學大會、CCF 人機交互專委會對專題工作的指導和幫助,感謝專題全體評審專家及時、耐心、細致的評審工作,感謝踴躍投稿的所有作者.希望本專題能夠對人機交互領域的科研工作有所促進.