基于類腦計算的三維影像記錄與重建

鄭雨豪 王子洵 賴曉桑 肖 靈 邱觀秀 蘇秉華

北京理工大學珠海學院 廣東 珠海 519088

1 引言

三維影像的記錄和重現技術應用范圍十分廣泛,可以應用于虛擬主持人、虛擬實驗室、虛擬會議、虛擬旅游、3D網絡教學、醫療研究、電影制作、文物及產品展示等,具有重要的現實意義和應用價值。

人眼所接收到的光信息是客觀三維世界物體在視網膜上的二維投影,大腦視覺皮層通過分析三維世界的二維投影規律,將視網膜上的二維影像重建為三維模型,幫助人感知三維物體、理解三維世界。該生理功能所依賴的信息包括雙目視差、空間遮擋、光影關系(反光、陰影、明暗分界等)以及透視關系(近大遠小),這些信息所同樣可以被圖像傳感器記錄下來,因此通過模擬大腦皮層的視覺處理機制,對三維物體的二維投影圖像進行三維重建具有可行性。

三維重建問題在傳統的數學模型上通常以三角函數方程組的形式來表達,這一形式可以幫助利用現有的空間幾何知識進行計算。然而,任何模型的參數都存在不準確之處,需要根據可用的實驗數據(即灰盒建模)進行糾正,可以采用基于遺傳算法、神經網絡和神經模糊系統的智能優化算法,也可以使用基于最小二乘法和最大似然法的不同數學方法來實現參數校正問題,Hopfield神經網絡正是一種可用于上述灰盒模型實時校正參數來解決優化問題的類腦計算算法。

本文旨在運用基于Hopfield神經網絡的類腦計算算法模仿人腦視覺皮層加工處理來自雙眼的光信息,合成三維立體影像的機制,設計一種可記錄和重建物體三維影像的設備。

2 類腦計算技術

類腦計算又稱神經形態計算,是借鑒動物神經系統的信息處理模式和結構的計算理論、體系結構、芯片設計以及數學模型與算法的總稱,在算法層面較為常見的有脈沖神經網絡、Hopfield遞歸神經網絡等。本文旨在運用基于Hopfield神經網絡的類腦計算算法模仿人腦視覺皮層加工處理來自雙眼的光信息,合成三維立體影像的機制,設計一種可記錄和重建物體三維影像的設備。

Hopfiled神經網絡是一個單層遞歸神經網絡模型,由物理學家約翰·霍普菲爾德于1982年提出,一種結合存儲系統和二元系統的單層反饋網絡,具有n個神經元節點,每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處于一種可能的狀態,即當該神經元所受的刺激超過其閾值時,神經元就處于一種狀態,否則神經元就始終處于另一狀態。該網絡的所有神經節點之間兩兩相互連接,形成一個無分層結構的球狀全連接網絡模型,網絡結構圖如圖1所示。

圖1 Hopfiled神經網絡結構圖

3 三維圖像重建

平面影像的三維重建工作核心在于從兩個(或多個)視點獲取同一物體不同視角度的圖像,通過計算空間點在不同圖像中的位置偏差(即視差),根據三角測量原理來確定物體表面各點的距離信息(即景深)。正如人腦視覺皮層對視網膜二維影像的三維感知,如果只有單眼的視覺影像,則大腦只能利用固有經驗對物體的空間遮擋、光影、透視關系等要素進行分析,確定大致的三維形狀,而難以估計物體的距離信息。這一規律最直觀的現象是觸筆實驗:實驗者雙手持兩支鉛筆,雙臂張開而后合攏,試圖讓兩支鉛筆的筆尖相互觸碰。當試驗者閉上一只眼睛時,很難讓兩只鉛筆的筆尖準確碰到一起,這即是大腦皮層無法通過單眼視覺估計距離信息的體現。

運用計算機對二維圖像進行三維重建時也會遇到這一問題,因此本文利用兩個或兩個以上的圖像傳感器從不同角度獲取被測物體圖像(多機位)或單個圖像傳感器在不同角度獲取被測物體圖像形成圖像序列(單機位多角度),再將圖像信息導入計算機,運用基于Hopfield遞歸神經網絡的類腦算法對視差、空間遮擋、光影關系和透視關系進行分析,實現平面圖像的三維重建。

通過comsol軟件及實物試驗進行三維影像記錄與重建的試驗設計與仿真測試,同時運用編寫的三維重建算法對獲得的多角度圖組進行測試,仿真結果和實物試驗結果都表明算法具有良好的三維重建效果,其原因在于本文運用類腦算法模仿大腦皮層視覺處理的過程,在Hopfield遞歸神經網絡的基礎上引入非線性權重向量計算函數,對二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關系等信息進行處理,實現二維圖像的三維重建,相對于傳統三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。

圖2左右側分別為兩個不同角度拍攝的三維物體實景圖像,將這一組圖片導入基于Hopfield遞歸神經網絡的類腦計算算法,可重建出該物體在視場范圍內的三維圖像,從而得到視角范圍內(即圖2兩圖拍攝角度之間的角度)任意角度的擬合圖像,由于計算機上無法直接顯示三維圖像,故在視角范圍內從左到右依次截取6個角度的重建圖像如圖3所示。

圖2 拍攝的三維物體圖像

圖3 從左到右依次截取6個角度的三維重建圖像

4 結論

本文運用類腦算法模仿大腦皮層視覺處理的過程,在Hopfield遞歸神經網絡的基礎上引入非線性權重向量計算函數,對二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關系等信息進行處理,實現二維圖像的三維重建,相對于傳統三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。