電子皮膚作為人機交互界面的機器人VR真實再現觸覺感知，助力元宇宙現實落地

人機界面是用戶和機器及機器人之間互動的媒介。

遠程操作機器的人機界面在醫療健康（非接觸性生物樣本收集或護理傳染病患者）、沉浸式游戲或社交、教育培訓、假肢或外骨骼控制和極端環境操作等眾多領域都有著巨大應用價值。

然而，傳統的人機界面在可穿戴性、舒適性和功能方面有較多限制，其使用的機器笨重且昂貴，同時還缺乏足夠的反饋。因此，開發具有精確傳感和反饋功能的閉環人機界面變得十分重要。

近日，中國香港城市大學團隊提出了一種基于皮膚集成電子設備的閉環人機界面系統。該電子設備與人的全身兼容，可通過近場通信、藍牙、Wi-Fi乃至全球范圍內互聯網進行無線運動捕捉和觸覺反饋。通過皮膚集成的電子設備將視覺和觸覺感知集成到機器人VR的閉環人機界面中。

相關論文以《電子皮膚作為機器人VR的無線人機界面》為題發表。中國香港城市大學生物醫學工程系博士生劉一明為該論文第一作者，中國香港城市大學軟生物電子學實驗室負責人于欣格為通訊作者。

據了解，中國香港城市大學軟生物電子學實驗室致力于開發柔性觸覺反饋界面、可穿戴電子和生物電子器件，例如可以真實再現觸覺感知的皮膚VR、具有兼容物理和化學特性的生物醫學電子設備，以及實時健康監測產品。同時，該實驗室還進行多學科研究，以應對實際應用中的挑戰。

為了打造新型生物集成電子器件，該實驗室專注于開發和工程化功能材料、設計和制作用于傳感、控制和驅動的不同尺度傳感器件、集成和優化系統級電子設備。

該論文中介紹了一個皮膚集成電子系統，其可作為一個帶有類皮膚傳感器和小型化軟驅動器的無線控制人機界面。同時，研究團隊對它的材料選擇、設備設計、集成策略和系統布局也做了完整說明。

近年來，柔性電子設備得到快速發展。目前，各種柔性傳感器被用來檢測電生理信號，如腦電圖、眼電圖和肌電圖或捕獲人體運動，這些信息同時被轉換為機器人控制指令。

柔性傳感器可以直接安裝在身體的不同關節，并能夠準確捕捉身體不同程度的彎曲變化。此外，相同的傳感器還可作為機器人上的壓力傳感器， 用于檢測機器人的活動。

然而，目前的柔性/可穿戴式人機界面只能從身體的局部（ 例如手或手臂） 獲取信息，而且，由于缺乏必要的自我調節行為反饋系統， 其很難在動態環境中執行復雜任務。

因此，為了進一步提升先進機器人的控制，閉環可穿戴系統的人機界面的發展極其關鍵。

作為下一代人機界面，閉環人機界面能夠靈活地與皮膚集成，準確捕獲廣泛的身體運動信息;且具有遠程無線傳輸功能，在聯網情況下，用戶在世界任何角落都能發布指令來操作目標設備。

同時，其還擁有良好的反饋系統，用戶可從機器人那里同步接收信息，以及時進行指令調整。

閉環人機界面系統通過視覺、聽覺和觸覺VR結合的方式與機器人進行交互，實現了機器人VR的廣泛應用。

從上圖可看到，護士戴上閉環人機界面，便能通過遠程操作機器人來虛擬讀取溫度計示數。

而當閉環人機界面用在假肢或外骨骼上時，用戶可以根據觸覺反饋的強度，精確地控制假肢的彎曲角度和力量。這彌補了傳統技術中反饋不足的問題，可以更為精細地對機器人進行控制與感知。

另外， 研究測試結果還顯示， 柔性傳感設備能夠長時間穩定運行， 不會輕易從皮膚脫落。

然后，當人們身穿閉環人機界面系統的電子皮膚，可通過VR與機器人進行實時交互， 完成各種復雜的任務，包括蹲伏、房間清潔和病人護理等。

值得一提的是，如今，新冠疫情仍在全球蔓延。為了排查病毒感染者，人們通常都需要做核酸檢測。而利用機器人VR技術，醫務人員可在實時視覺信息和觸覺反饋的幫助下，通過遠程操作機械手來進行鼻咽拭子的樣本采集。這既能減輕有限的醫療資源及人力壓力，又可減少醫務人員暴露于傳染性環境的風險。

除此之外，近來，元宇宙概念大熱，雖然其目前還沒有一個統一的定義，未來發展也有待商榷，但VR普遍被認為是其一個入口，不少科技公司都在此有著巨大投入。而觸覺反饋技術在一定程度上決定了元宇宙概念的高度。比如，聲稱為了全力發展元宇宙而改名為Meta的臉書，近期也展示了一款觸覺手套，可讓佩戴者在VR中體驗現實中的一系列真實感覺。

最后，總的來說，該論文中介紹的皮膚集成閉環人機界面，在形式和功能上與以前的可穿戴式人機界面都有著明顯區別。其對人機交互系統中材料、設備和集成方案的廣泛實驗和理論研究，為機器人VR的開發奠定了堅實的基礎。