Recognition of group activities for understanding intraoperative state of surgical team

合理評估手術團隊的術中狀態,對于提升團隊協作和確保手術環境安全至關重要。傳統評估方法通常是由人來執行,如對每個手術團隊成員進行采訪、發放自查問卷,而這樣做既耗時間,又可能產生回憶偏差。一種有效的解決方案是通過分析手術視頻來追蹤手術團隊的重要活動,例如成員是否遵循手術規程,或者因意外事件而分心。但是,由于手術科室情況復雜,在不付出任何人力的情況下識別團隊活動仍然具有挑戰性。一篇文章(Advanced Biomedical Engineering,DOI:10.14326/abe.11.37)介紹了一種人工智能識別系統,能從手術視頻中自動識別、分析手術團隊的術中活動,以了解術中團隊的狀態。研究團隊重點關注了兩類術中需要多人參與的活動:無菌包裝器械的傳遞(如在巡回護士和洗手護士之間的傳遞),以及可能導致團隊注意力轉移的意外事件。該系統使用支持向量機(support vector machine,SVM)作為識別模型,主要包含以下步驟:①姿勢判斷:輸入手術視頻,利用深度學習的人體姿態評估技術和粒子濾波器對視頻中手術團隊成員的姿勢進行判斷;②成員動作追蹤:為每名成員創建個人身份標識號,通過分析人體朝向、面部朝向、手臂動作來追蹤各成員動作;③團隊行為識別:基于提取出的個人動作數據,識別手術器械傳遞、注意力轉移等團隊行為;④可視化界面顯示:在手術視頻右側界面展示2D 模型,按照時間軸對團隊活動進行可視化。研究還使用了模擬手術場景的視頻來測試此系統,結果顯示,該系統能夠有效識別器械傳遞動作和團隊注意力轉移事件。這項研究提供了機器識別術中關鍵動作的技術,有可能改變手術視頻的使用方式,幫助手術團隊更有效地獲取有價值的信息,為探索術中團隊合作的定量評估提供了可能性。