北美洲·美國 麻省理工學院研究人員讓AI連接感官

人類賴以探索世界的兩個重要工具是視覺和觸覺。人類可以結合視覺和觸覺來了解他們持有和看到的物體。機器人和人工智能系統無法做到這一點。

來自麻省理工學院的研究員Yunzhu Li和他的團隊正在研究一種系統，該系統從視覺輸入中創建觸覺信號，并預測從這些觸覺輸入中觸摸到的對象和部分。研究人員將他們的系統與麻省理工學院另外一個小組設計的Kuka機器人手臂和一個叫做Gelsight的特殊觸覺傳感器一起使用。

該小組使用網絡攝像機記錄了近200件物品，包括工具、家用產品、織物以及其他物品，它們被觸摸超過12000次。然后，他們將這12000個視頻片段分解成靜態幀，并編譯了一個包含300多萬個視覺/觸覺配對圖像的VisGel數據集。

研究人員表示，通過觀察現場，他們的模型可以想象到觸摸平面或鋒利邊緣的感覺。通過觸摸周圍，模型可以從純粹的觸覺上預測與環境的互動。他注意到，通過將兩種感官結合起來，它們可以賦予機器人力量，減少涉及操作和抓取物體任務所需的數據。