基于雙目視覺的三維重構在運動損傷中的應用與研究

盧 榮，宋權予

（廣東科技學院 廣東 東莞 523083）

1 引言

目前，我們有很多場景是通過普通相機無法拍攝的，更不可能得到三維全景圖像，比如說人體的膝關節。而基于雙目視覺的三維膝關節重構，通過兩臺相機獲得的數據進行立體匹配后，得到深度信息，之后進行三維模型的構建，也就是從二維圖像到三維模型的構建。這項技術除了對VR技術、計算機視覺方面有著重要的影響外，對醫學中的人體結構的三維重構也具有很深的臨床醫學研究價值。

2 研究現狀

通過兩個感光CCD攝像機固定在同一條水平軸上類似于人眼看物體時雙眼成像的原理，然后兩個角度同時去觀測膝關節，將不同視角下的不同光照環境下的膝關節圖像，利用水平視差得出深度信息，然后采用立體匹配的方式。立體匹配是為搜索物體同一點在左右兩個視覺圖中的投影。為了能夠在重建精度效果和時間效率上均衡，可通過模式匹配處理算法，來進行圖像的均勻增強和圖像的分割。三維重建技術是計算機視覺、人工智能、虛擬現實等領域研究的熱點和難點問題，用計算機來顯示虛擬的人體膝關節技術，三維建模的關節測量數據值接近真實人體，對如何選擇關節內口位置具有顯著的臨床醫學意義，通過測量的數據進行統計分析，比對運動屈曲狀態和伸直狀態下的膝關節數據進行膝關節的三維重構，比原始的二維數據更加真實貼切。

在基于雙目視覺的三維重構發展史上，日本東京大學研發了機器人動態行走導航方針系統，大阪大學則研發了自適應的雙目視覺伺服系統，實現了自適應的運動數據跟蹤。日本的Nihon大學則采用雙目視覺進行對人體身高自動測量的研究。我國多個科研機構諸如中科院自動化研究所、浙大機械系都曾采用了雙目視覺進行了機械物的三維重構。

三維建模后的模型和真實實體相差無異，對模型上的測量數據甚至可以替代對實體上的測量，仿佛實體上的測量，不需要切除所覆蓋的組織即可深入內部測量，可以任意增加大量的測量點，使得測量點均勻的分布在要測量的膝關節內部，這樣通過關節的運動，對測量點的運動軌跡的追蹤和數據的分析，更容易找出膝關節中的關鍵數據-等距點。該模型的建立除了具有良好的研究價值外，還利于外科手術的定位，有利于臨床醫學的研究和手術當中的應用。

3 研究策略

在體育運動當中，有關體育運動的損傷大多數都是人體關節的損傷，而這其中以膝關節和踝關節居多。前交叉韌帶是維持膝關節穩定的重要靜力結構，在運動和外傷中經常受損，如不及時修復將會造成膝關節其他韌帶的松弛，以及關節內部軟骨和半月板的受損，都對關節運動產生不可逆轉的巨大影響，甚至影響到今后的關節屈曲運動。關節鏡下ACL重建術作為修復ACL是延緩關節退變的重要方法，對關節鏡下ACL重建術后10天內的患者，進行多層螺旋CT三維重建，具有非常高的臨床醫學價值。有關膝關節的韌帶損傷，通過外部物理檢測誤差較大，雖關節鏡檢測精度較高，可是關節鏡是有創操作，有一定的風險，很難被患者所接受。本課題的主要意義是通過對人體關節點的三維重構，再現關節外部及內部韌帶結構，來實現對體育運動中人體膝關節外部和韌帶損傷的檢測，從而對患者實施有效的重建手術。

本文是對標定方法、匹配方法和深度后處理等方法進行深入的研究，并將人體部位進行具有較好直觀效果的三維重構。所采用的技術儲備方案有三種：

（1）技術儲備一：攝像機標定技術。研究基礎是在傳統的攝像機標定方法上提出基于棋盤平面方格的半自動攝像機標定方法。

（2）技術儲備二：匹配策略與匹配算法。同過研究平滑窗口函數自適應算法以及和Harris角點與區域聯合的立體匹配算法。

（3）技術儲備三：深度信息處理求和后續處理。深度的感知測量從而進行了三維重建，通過不同視角下的雙目視差，進行了數據測量從而獲得了3D的建模數據，通過深度數據分析、計算和統計，在MFC的OpenGL平臺上，進行深度提取和三維重建。

4 實驗效果

本項目的特色和創新之處，將人工智能、模式識別與圖像處理等技術綜合應用于開發，從技術上實現三維重構在人體組織上的有效應用。通過高效率且低成本的三維重構人體運動關關節，基于特征的匹配，重構的三維模型更接近真實人體關節，在運動關節的病理臨床治療上提供了一個更加真實的參考模型，因此具備一定的醫學研究價值。

如圖1所示，暫時未考慮軟骨組織的人體左右膝關節三維重建圖。

5 結論與改進

5.1 結論

本文研究的最終目的是為了醫學重建ACL，通過最終建立的ACL模型的參數和人體損傷的關節所反饋出來的疼痛感來對ACL的受損程度進行判斷。如果為嚴重的關節損傷者，那么則需要最終重建ACL損傷部位來植入到患者關節當中。

5.2 改進

（1）如何解決匹配速度與精度以及匹配窗口大小難以選擇的問題；（2）如何利用區域匹配視差圖的致密性以及特征匹配視差圖的魯棒性；（3）如何解決匹配誤差及標定偏差等原因帶來的深度圖不平滑、邊界不對齊的問題；（4）如何完成韌帶醫學的三維重建。

[1]余俊.基于雙目視覺的機器人目標檢測與控制研究[D].背景交通大學，2011.

[2]佟帥、徐曉剛，等.基于視覺的三維重建技術綜述[J].計算機應用技術研究.2011，28(7)：2411-2417.

[3]薛亞東.雙目視覺技術在人體交互體育運動中的應用[J].自動化與儀器儀表.2016年第8期：267-268.

[4]高艷、唐曉英，等.基于物體空間序法的CT圖像三維重建算法的研究[J].北京生物醫學工程.2003，22(3)：180-183.