基于圖像處理技術的X線圖像拼接方法研究*

楊　帆， 何　艷**， 鄧振生， 嚴　昂

(1.貴州醫科大學 生物醫學工程教研室， 貴州 貴陽　550004； 2.中南大學 生物醫學工程研究所， 湖南 長沙　410083； 3.中南大學湘雅二醫院 設備科， 湖南 長沙　410011)

?

基于圖像處理技術的X線圖像拼接方法研究*

楊帆1， 何艷1**， 鄧振生2， 嚴昂3

(1.貴州醫科大學 生物醫學工程教研室， 貴州 貴陽550004； 2.中南大學 生物醫學工程研究所， 湖南 長沙410083； 3.中南大學湘雅二醫院 設備科， 湖南 長沙410011)

[摘要]目的： 探討一種基于圖像處理技術的全脊柱及下肢X線圖像自動拼接算法的可行性。方法: 采用醫學圖像處理技術，通過相位相關算法確定粗略重疊區域，利用Harris算法提取特征點和角點鄰域灰度信息實現圖像的精確配準，對40組多次拍攝的脊柱或下肢X線圖像進行算法拼接，并與設備自帶軟件拼接的圖像進行比較。結果: 對40組多次拍攝的脊柱或下肢X線圖像進行算法拼接，誤差4 mm內拼接成功率達到95%，高于自帶軟件拼接結果。結論： 算法拼接法能有效實現多次拍攝的脊柱或下肢X線圖像拼接。

[關鍵詞]X線圖像； 相位相關； 角點； 自動拼接

臨床使用的X線設備(如CR、DR等)常用于骨骼脊柱側凸和下肢畸形檢查[1]，由于單次拍攝面積限制(43 cm×43 cm)，要獲得完整脊柱和全下肢圖像至少需要拍攝2～3次，過去采用有手動對齊膠片和網格拼接[2]，對圖像添加標尺[3-4]、在暗盒上做標記[5]、對系統設備改進[6]、Photoshop手動[7]和后處理工作站[8]對多次拍攝的圖像進行拼接，這些方法存在誤差大、速度慢或需要特殊設備，后處理工作站拼接精度不高等缺點。隨著圖像處理技術的發展，有學者提出基于特征的圖像拼接方法和基于投票策略的拼接方法，但也存在各自的缺點[9-11]。本文利用圖像處理技術，提出一種全自動的X線圖像拼接方法，在明確相位相關初步選定圖像重疊區域后，通過Harris算法提取角點，利用角點鄰域的灰度信息實現圖像配準，最后通過線性漸變方法實現圖像融合。

1材料與方法

1.1實驗圖像

實驗圖像由湘雅二醫院設備科提供，采集設備為西門子DR，包括40組脊柱和下肢X線圖像，其中脊柱29例，下肢11例；40組圖像中男性10例，女性30例，平均年齡(38±15)歲。圖像尺寸約為3 000×3 000像素(空間分辨率=7像素/mm)。

1.2方法

1.2.1相位相關算法相位相關是通過計算圖像傅里葉變換，然后計算互功率譜沖擊函數，利用峰值信息來獲取圖像的平移關系[12-13]，該方法受光照影響較小，適合圖像剛體變換之間位置估計。圖像之間互功率譜為：

對上式求傅里葉逆變換，可以得到沖擊函數δ(x-x0,y-y0)，其峰值位置即圖像之間平移關系(x0,y0)。

1.2.2Harris角點檢測Harris角點檢測[14]是通過在圖像上設置窗口，當窗口朝任意方向移動時，窗口內灰度發生顯著變化的點即為角點。由于X線圖像中骨骼周圍灰度變化顯著，可以采用Harris來檢測圖像特征，具體算法如下。

對于圖像I(x,y)，將圖像窗口平移[u,v]后產生灰度變化E(u,v)為：

其中，Ix和Iy分別為圖像x和y方向的偏導數。由上式定義角點響應函數R為：R=detM-k(traceM)2，detM=λ1λ2，traceM=λ1+λ2其中，k∈(0.04,0.06)，R只與M的特征值有關，當R>threshold，提取R的正數局部極大值，則為圖像角點。

通過相位相關確定圖像粗略重疊區域后，該區域特征點檢測運用Harris算法，角點響應函數采用文獻[15]中定義方式：

這里ε可以忽略不計，I表示圖像。

1.2.3角點匹配方法改進選取以角點為中心的方形區域進行相關計算，根據圖像中角點之間相關系數確定角點是否匹配。用R1×N和D1×M表示圖像I1和I2中N和M個角點的方形區域，則兩幅圖像中角點方形區域之間相關系數矩陣V如下所示：

vi,j=corr(r1,i,d1,j)

其中，corr為2個角點方形區域的相關系數，在VN×M中找出每行最大相關系數vi,j，這里相關系數閾值為0.9，當vi,j>0.9，則I1第i個角點和I2中第j個角點匹配，得到匹配集A；然后調換I1和I2順序，再進行相關系數計算，通過相同方法，得到匹配集B，最后A和B中相同的匹配點集即是兩幅圖像的匹配點。而vi,j小于0.9時則沒有匹配點。

為了提高配準的精確度，可以利用X線圖像之間是近似剛體變換性質，即用兩幅圖像之間角點歐式距離保持不變性質，采用角點之間的歐式距離剔除錯誤匹配的角點。假設上一步兩幅圖像配準角點集合分別為P1(x,y),P2(x,y),兩幅圖像垂直方向位移為H，則它們之間的歐式距離可以表示為：

這里，E∈(H-Δ,H+Δ)，當兩幅圖像匹配角點之間歐式距離在這個范圍時，保留匹配角點，Δ取H的10%。

1.2.4RANSAC和圖像融合通過角點匹配算法得到匹配點對后，運用RANSAC(隨機一致性采樣)[16]計算兩幅圖像空間變換參數。由于臨床X線圖像拍攝環境受光照影響較小，采用線性漸變融合算法[17]能實現重疊區域的平滑過渡，且運算量較小。

2結果

對40組具有一定重疊區域的脊柱和下肢X線圖像進行拼接，圖1顯示兩幅待拼接全脊柱和下肢X線圖像。以圖1脊柱為例，通過相位相關算法估計兩幅圖像粗略重疊區域，提取兩幅圖像重疊區域Harris角點，如圖2所示。緊接著應用前文提出的角點配準算法，并運用RANSAC剔除誤配點，得到圖3角點匹配圖，最后融合效果如圖4左圖所示。隨后對所有拼接的X線圖像的進行誤差統計，如表1所示，這里誤差是指垂直方向上偏移距離(mm)，計算方法為垂直方向偏移像素與空間分辨率之比。統計結果顯示本文算法誤差為(15.1±14.9)像素，軟件拼接誤差為(16.2±16.3)，雙尾成對t檢驗P=0.252。圖5顯示了設備自帶軟件拼接結果及局部放大圖，圖6顯示了本研究的算法拼接結果及局部放大圖。

圖1　全脊柱及下肢X線情況Fig.1　Full-spine and lower limbs X-ray images

圖2　Harris算法提取X線圖像角點Fig.2　Harris algorithm for X-ray images to extract features

圖3　角點配準結果Fig.3　Corner registration result

全脊柱　　　　　　　　　下肢圖4　全脊柱或下肢X線圖像融合情況Fig.4　Blending result of full-spine or lower limbs

部位誤差(mm)本文算法與軟件拼接例數(n)百分比(%)成功率(%)脊柱0-11-22-4>46/712/109/82/420.7/24.141.4/34.531.0/27.66.9/13.893.1/86.2下肢0-11-22-4>45/66/50/00/045.5/54.554.5/45.50/00/0100/100

圖5　設備自帶軟件拼接的X線結果(右)和局部放情況(左)Fig.5　X-ray image stitching result of software (right) and partially enlarged view (left)

圖6　算法拼接法的X線結果(右)和局部放大情況(左)Fig.6　X-ray image stitching result of proposed method (right) and partially enlarged view (left)

3討論

本文對40組脊柱和下肢X線圖像進行拼接實驗，圖2和圖3顯示了1例全脊柱X線圖像拼接過程，通過相位相關算法粗略估計確定重疊區域，再提取角點，與提取整幅圖像角點相比，極大減少配準過程的運算量，有利于減少錯誤匹配點。隨后采用的線性漸變融合算法能有效實現融合區域平滑過渡，從圖4中可以看出本文算法結果沒有明顯拼接縫隙。表1顯示誤差4 mm內，脊柱拼接成功率達到93.1%，高于自帶軟件拼接結果，其中拼接誤差大于4 mm的幾組數據是由于拍攝時病人運動導致。通過對圖像局部細節進行放大，從圖5和圖6可以看出，自帶軟件拼接結果出現較大的拼接誤差，如圖中圓圈標識區域，而本文所提算法誤差明顯低于軟件結果。對于下肢圖像拼接，受病人運動干擾因素較小，因此成功率較高。通過分析所提方法與軟件結果誤差(P>0.05)，結果無統計學顯著差異，所提方法能用于X線圖像拼接。

本文針對現有X線圖像基于特征的拼接算法，對整幅圖像提取特征點，運算量大和特征點誤匹配率增加的缺點，提出一種利用相位相關粗略估計重疊區域的圖像拼接算法，該方法只對重疊區域進行角點檢測，降低了特征點提取算法運算量，并運用角點的方形區域灰度信息和距離抑制等配準手段，保證角點匹配正確，從而有效實現X線圖像正確無縫拼接。通過和臨床后處理工作站結果進行比較，驗證了本算法的拼接可靠性，該算法對于臨床診斷脊柱側凸和下肢畸形具有重要意義。

4參考文獻

[1] 白亞妮,賀洪德,鄧振生.CR在雙下肢全長投照技術中的應用[J]. 實用放射學雜志, 2006 (9):1141-1142.

[2] Dewaele P, Vuylsteke P, Schoeters EP, et al. Full-leg/full-spine image stitching: a new and accurate CR-based imaging technique[C]. Medical Imaging 1999:131-138.

[3] Yaniv Z, Joskowicz L. Long bone panoramas from fluoroscopic x-ray images[J]. IEEE transactions on medical imaging， 2004 (1):26-35 .

[4] Gooben A, Schluter M, Pralow T, et al. A stitching algorithm for automatic registration of digital radiographs[C]. In A. Campilho and M. Kamel, editors, Image Analysis and Recognition, Lecture Notes in Computer Science, 2008:854-862.

[5] Markus G, Wilfried B, Berned L, et al. An Algorithm for Automatic Stitching of CR X-ray Images[J]. Advances in Medical Engineering, 2007(114):193-198.

[6] Wang L, Traub J, Weidert S, et al. Parallax-Free Long Bone X-ray Image Stitching[C]. Medical Image Computing and Computer-Assisted Intervention (MICCAI), London, UK, 2009:173-180.

[7] 徐亮,覃濤.DR圖像手動拼接技術在全膝關節置換術中的應用[J].華中科技大學學報:醫學版, 2014(4)：456-458.

[8] 李振宇,蘇文姬.DR圖像拼接技術的臨床應用[J].醫學理論與實踐， 2012(21)：2678-2679.

[9] 張旭峰，嚴壯志，Wanigasekar NR, 等. 基于拼接技術的醫學X光片全景成像[J]. 航天醫學與醫學工程， 2005(5)：360-364.

[10]王雙玲. 基于雙向異步投票策略角點匹配的X線醫學圖像拼接[D]. 長沙：中南大學， 2011.

[11]趙宏，趙凱，江春花，等. 旋轉不變的X線圖像相關度拼接[J]. 中國圖象圖形學報， 2013(6)：654-660.

[12]Kuglin CD, Hines DC. The phase correlation image alignment method[C]. IEEE International Conference on Cybemetics and Society, 1975:163-165.

[13]Foroosh H, Zerubia JB, Berthod M. Extension of Phase Correlation to Subpixel Registration[J]. IEEE Transactions on Image Processing, 2002 (3):188-200.

[14]Harris C, Stephens M. A Combined Corner and Edge Detector[C]. Proc. of 4th Alvey Vision Conference, 1988:147-152.

[15]Noble J A. Finding corners[J]. Image and vision Computin, 1988 (2):121-128.

[16]Fischler MA, Bolles RC. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communication of ACM, 1981 (6):381-395.

[17]Szeliski R. Video Mosaics for Virtural Environments[J]. IEEE Computer Graphics and Applications, 1996 (2):22-29.

(2016-01-07收稿，2016-03-24修回)

中文編輯： 吳昌學； 英文編輯： 劉華

The Research of X-ray Image Stitching Method Based on Image Processing Technique

YANG Fan1, HE Yan1, DENG Zhensheng2, YAN Ang3

(1.DepartmentofBiomedicalEngineering,GuizhouMedicalUniversity,Guiyang550004,Guizhou,China; 2.DepartmentofBiomedicalEngineering,CentralSouthUniversity,Changsha410083,Hunan,China; 3.EquipmentDepartment,theSecondXiangyaHospitalofCentralSouthUniversity,Changsha410011,Hunan,China)

[Abstract]Objective: To explore the feasibility of automatic stitching method for full-spine and lower limbs X-ray images based on image processing technique. Methods: Medical image processing technology was adopted in this research. Phase correlation algorithm was used to identify rough areas, and Harris algorithm to extract features and corner neighborhood gray scale information to actualize accurate image registration. 40 pairs of spine or lower limbs X-ray images were used to conduct algorithm stitching and compared with the result of stitching software. Results: 40 pairs of spine or lower limbs X-ray images were used to conduct algorithm stitching, and the stitching success rate with deviation within 4mm was 95%, which was higher than that of stitching software. Conclusion: The algorithm stitching method can effectively actualize image stitching of spine or lower limb X-ray images.

[Key words]X-ray images; phase correlation; corner; auto-stitching

[中圖分類號]TP391.41

[文獻標識碼]A

[文章編號]1000-2707(2016)04-0395-04

*[基金項目]國家自然科學基金地區科學基金項目(81460206)

**通信作者 E-mail:smileconfidence@163.com

網絡出版時間：2016-04-20網絡出版地址：http://www.cnki.net/kcms/detail/52.5012.R.20160420.1819.026.html