基于坐標(biāo)變換的快速高精度圖像拼接算法

劉凌云，羅 敏，陳志楚，吳岳敏

（湖北汽車工業(yè)學(xué)院 電氣與信息工程學(xué)院，十堰 442002）

目前視覺檢測技術(shù)在工業(yè)的各個(gè)領(lǐng)域都有著廣泛的應(yīng)用，基于工件影像的幾何量測量手段和方法也得到了快速的發(fā)展，各種影像測量儀層出不窮[1-5]。但對幾何尺寸的視覺測量研究主要集中在微小尺寸的檢測和測量方面[6]，對于較大零件幾何尺寸的綜合檢測，則很少采用機(jī)器視覺，其主要原因在于當(dāng)前主流CCD器件像素級相對于測量精度僅在10-3數(shù)量級，難以一次獲得大視場、高分辨率圖像。文獻(xiàn)[7]將圖像拼接技術(shù)應(yīng)用到大尺寸機(jī)械零件的視覺測量中，但所提出的測量方法也僅僅適用于表面具有條形紋理的機(jī)械零件。文獻(xiàn)[8]中嘗試將位姿變換方法應(yīng)用到圖像拼接算法實(shí)現(xiàn)圖像之間的精確配準(zhǔn)，但該算法中序列圖像焦平面映射的數(shù)學(xué)模型較為復(fù)雜，映射變換時(shí)間開銷較大。

本文在文獻(xiàn)[8]的基礎(chǔ)上，借助改進(jìn)的攝像機(jī)標(biāo)定方法對攝像機(jī)的位姿進(jìn)行調(diào)整找正，提出了一種基于向后映射的圖像歸一化焦平面重采樣算法以實(shí)現(xiàn)像素點(diǎn)的等精度映射及消除影像畸變，同時(shí)通過合理規(guī)劃攝像機(jī)移位采像的運(yùn)動(dòng)軌跡，提出了一種基于坐標(biāo)變換的快速高精度圖像配準(zhǔn)算法，用以解決光學(xué)測量系統(tǒng)視場大小與測量精度的矛盾問題。

1 基于后向映射的圖像歸一化焦平面重采樣算法

為了保證測量平面上的物面成像清晰且等精度成像，在攝像機(jī)采像時(shí)要求其光軸與測量平面保持垂直，并且采用與測量平面（Zw=0）平行的歸一化焦平面（即無畸變虛擬攝像機(jī)的成像平面）作為投影平面，將實(shí)際成像平面上的圖像映射到投影平面上，如圖1所示。

圖1 圖像無畸變焦平面投影的數(shù)學(xué)模型Fig.1 Mathematical model of undistorted imagging mapping to focal plane

假設(shè)世界坐標(biāo)系｛W｝的XW/YW軸位于測量平面上，坐標(biāo)原點(diǎn)OW為攝像機(jī)坐標(biāo)系｛C｝的Z軸與測量平面的交點(diǎn)，則齊次變換矩陣可以用參數(shù)θ表示為

由小孔成像數(shù)學(xué)模型可知：

式中： f、ξ、SX、SY、u0、v0均為攝像機(jī)內(nèi)參；θ、ZC為攝像機(jī)外參，θ為坐標(biāo)系｛W｝與｛C｝對應(yīng)X軸之間的夾角，ZC為光心在攝像機(jī)坐標(biāo)系｛C｝中Z軸上的投影坐標(biāo)。

由于虛擬攝像機(jī)坐標(biāo)系｛C′｝與世界坐標(biāo)系｛W｝姿態(tài)相同且與Z軸重合，則測量平面上的坐標(biāo)點(diǎn)（XW、YW、ZW）與其在虛擬攝像機(jī)｛C′｝中的成像坐標(biāo)（u′、v′）滿足關(guān)系式：

其中：ZC′為光心在虛擬攝像機(jī)坐標(biāo)系｛C′｝中 Z軸上的投影坐標(biāo)，由投影平面上所設(shè)定的圖像分辨力δ確定；u0′、v0′為光學(xué)中心在映射圖像中的坐標(biāo)。

由式（2）、式（3）可得從實(shí)際成像坐標(biāo)（u、v）到投影坐標(biāo)（u′、v′）的映射關(guān)系式如下：

式（4）采用從投影平面到成像平面的坐標(biāo)位置映射關(guān)系，建立圖像無畸變焦平面向后映射數(shù)學(xué)模型，這種后向映射法不會(huì)產(chǎn)生計(jì)算浪費(fèi)問題且方便采用高精度插值算法來實(shí)現(xiàn)。

根據(jù)圖像平面映射變換所需分辨力δ（單位：m/pixel）按式（5）確定參數(shù) ZC′的值：

其中，Col是寬度為Wid（單位：m）的映射區(qū)域在虛擬攝像機(jī)中所成圖像的列寬（單位：像素）

2 攝像機(jī)采像軌跡規(guī)劃及圖像拼接算法

為了保證攝像機(jī)相鄰2次采集圖像經(jīng)映射變換后的圖像能實(shí)現(xiàn)無縫拼接，現(xiàn)對攝像機(jī)采像路徑進(jìn)行特定規(guī)劃如下：設(shè)任意第 i、j（其中 i=1，2，3……，j=i+1）相鄰2次移位采像，攝像機(jī)僅作相對于世界坐標(biāo)系｛W｝的X軸或Y軸單軸向平移，移動(dòng)量為tj，如圖2所示。

圖2 攝像機(jī)移位采像圖像拼接示意Fig.2 Stitching schematic diagram of images acquisited in the process of moving to the camera

在對每次采集圖像進(jìn)行映射變換時(shí)，限定光學(xué)中心的圖像坐標(biāo)（u0′，v0′）為映射圖像的中點(diǎn)，則第 j次投影圖像區(qū)域大小（高度 Hj′/寬度 Wj′，單位：像素）滿足遞推關(guān)系式：

針對第 j次采集圖像，以式（7）確定的參數(shù)（u′0j，v′0j）及式（1）確定的外參矩陣，在式（6）所確定的映射區(qū)域內(nèi)按照式（4）進(jìn)行映射變換，獲得圖像區(qū)域大小為（Hj′，Wj′）的第 j次投影圖像，則對第 i、j次投影圖像只需簡單對接即可實(shí)現(xiàn)映射圖像的無縫拼接。

3 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)中采用攝像機(jī)相對于標(biāo)準(zhǔn)測試板進(jìn)行移位采像獲取圖像序列，并利用上述算法進(jìn)行圖像拼接、對完整成像中的特征小孔的孔間距進(jìn)行檢測，以此來驗(yàn)證該算法的有效性。實(shí)驗(yàn)硬件平臺如圖3所示，以小型十字滑臺臺面為檢測平臺，攝像機(jī)借助于雙自由度角度微調(diào)裝置安裝在Z軸滑臺上，通過Z軸旋轉(zhuǎn)手柄調(diào)整物距；X/Y軸旋轉(zhuǎn)手柄控制滑臺臺面移動(dòng)從而實(shí)現(xiàn)攝像機(jī)的移位采像。

圖3 實(shí)驗(yàn)硬件平臺Fig.3 Experimental hardware platform

3.1 攝像機(jī)找正及參數(shù)標(biāo)定

為了確保攝像機(jī)光軸垂直于測量平面，并獲得攝像機(jī)內(nèi)外參數(shù)，采用了如下實(shí)驗(yàn)方法及步驟：

1）采用張氏標(biāo)定算法對視覺測量系統(tǒng)進(jìn)行標(biāo)定，獲得攝像機(jī)的內(nèi)參矩陣M1/外參矩陣M2；

2）將外參矩陣M2進(jìn)行歐拉角序列變換，獲得繞固定坐標(biāo)系的X軸、Y軸、Z軸的轉(zhuǎn)角γ、β、α；

3）調(diào)整雙自由度微調(diào)裝置，使其俯仰及偏轉(zhuǎn)角依次減小 β、γ；

4）再次對視覺測量系統(tǒng)進(jìn)行標(biāo)定，直至所獲得的 β、γ均小于閾值 ε（其中 ε＜＜1），則可認(rèn)為攝像機(jī)光軸垂直于測量平面，即找正完成。否則返回步驟2。實(shí)驗(yàn)中所獲得的攝像機(jī)內(nèi)參如表1所示。

表1 攝像機(jī)內(nèi)參標(biāo)定結(jié)果Tab.1 Camera internal calibration results

平面標(biāo)靶坐標(biāo)系相對于攝像機(jī)坐標(biāo)系的變換矩陣為

則：外參 ZC=30.130757+1.5=31.630757 mm，其中1.5 mm為標(biāo)靶的厚度；

5）沿十字滑臺的X軸（即世界坐標(biāo)系｛W｝的X軸向）適量移動(dòng)臺面，使攝像機(jī)先后2次對測量平面上同一特征點(diǎn)進(jìn)行采像，先后獲得特征點(diǎn)圖像坐標(biāo)分別為（ux1，vx1），（ux2，vx2），則坐標(biāo)系｛W｝與｛C｝對應(yīng)X軸之間的夾角可由公式得到。

3.2 實(shí)驗(yàn)結(jié)果

在保證攝像機(jī)位姿不變的情況下，使加工中心的滑臺依次沿X軸正向、Y軸正向、X軸負(fù)向作3次移動(dòng)，每次移動(dòng)量15 mm，并依次對測量平面上的標(biāo)準(zhǔn)測試板 （由7行7列個(gè)小孔組成，小孔半徑0.9375 mm，相鄰孔間距3.75 mm）進(jìn)行局部采像4次，采集的圖像序列如圖4所示。

圖4 攝像機(jī)依次移位采集的圖像序列Fig.4 Acquisited image sequences during camera moved successively

取完整圖像的分辨率 δ=3.42292×10-5m/pixel，初始投影圖像區(qū)域大小為500×500，則由遞推公式（6）、（7）可知，后續(xù)2幅投影圖像區(qū)域大小均為500×500，光學(xué)中心的圖像坐標(biāo)為（249.5，249.5）。將上述4幅采集圖像按式（4）進(jìn)行映射變換，并進(jìn)行無縫拼接得到像素大小為1000×1000的完整圖像如圖 5（a）所示。

為檢測拼接精度，在完整圖像中進(jìn)行子像素輪廓提取，如圖5（b）所示，在完整成像的4個(gè)不同區(qū)域分別獲得 9 個(gè)小孔圓心 Dij（i=1，2，3，4； j=1，2，…9；i為圖幅區(qū)域，j為圓點(diǎn)標(biāo)號）。對其圖像坐標(biāo)進(jìn)行提取如表2所示。

圖5 拼接后的完整圖像Fig.5 Final mosaic image

表2 特征點(diǎn)圖像坐標(biāo)測量結(jié)果Tab.2 Image coordinates measuring results of feature points 單位：（pixel）

圖6為橫向或縱向相鄰2個(gè)圖幅區(qū)域之間標(biāo)號相同的2小孔圓心的間距數(shù)據(jù)圖，橫坐標(biāo)X表示圓點(diǎn)標(biāo)號，縱坐標(biāo)Y表示孔間距。通過數(shù)據(jù)分析可知，測量誤差約為±0.006 mm。

圖6 橫向或縱向相鄰圖幅區(qū)域同標(biāo)號孔的孔間距數(shù)據(jù)Fig.6 Spacing data graph between the same label holes along the horizontal or vertical adjoining area

4 結(jié)語

文中提出的基于坐標(biāo)變換的完整成像映射方法，采用從投影平面到成像平面的坐標(biāo)位置映射關(guān)系，建立了圖像無畸變焦平面向后映射數(shù)學(xué)模型，這種向后映射法不會(huì)產(chǎn)生計(jì)算浪費(fèi)問題且方便采用高精度插值算法來實(shí)現(xiàn)。基于2D標(biāo)定模板位姿檢測的攝像機(jī)找正方法能精確保證攝像機(jī)光軸垂直于檢測平臺。對攝像機(jī)采像時(shí)的軌跡合理規(guī)劃，致使圖像映射變換算法中的遞推外參矩陣計(jì)算簡單、累積誤差小且精度高；又由于將光學(xué)中心坐標(biāo)限定在映射圖像區(qū)域的中心位置，保證了序列投影圖像均是以光心為中心的小區(qū)域，能實(shí)現(xiàn)投影圖像的等精度拼接。所提出的圖像拼接算法解決了視覺系統(tǒng)分辨率與視場之間的矛盾問題，實(shí)現(xiàn)了大尺寸機(jī)械零件的視覺綜合測量。其測量精度基本滿足機(jī)械零件二維尺寸精密測量的要求。

[1]黃偉瓊.基于機(jī)器視覺的影像測量系統(tǒng)的研究與設(shè)計(jì)[D].廣州：華南理工大學(xué)，2012.

[2]劉一，胡曉東，鄧淑娟，等.基于圖像拼接的微表面三維測試系統(tǒng)開發(fā)[J].電子測量技術(shù)，2008，31（9）：100-102.

[3]蔡勇，秦現(xiàn)生，張雪峰，等.多攝像機(jī)視覺檢測大范圍布置方法及其數(shù)據(jù)拼接[J].中國機(jī)械工程，2011（16）：1984-1987.

[4]祁曉玲，趙霞霞，靳伍銀.基于機(jī)器視覺的軸類零件幾何尺寸測量[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2013（1）：65-67，73.

[5]楊光.基于機(jī)器視覺的精密零件尺寸檢測關(guān)鍵技術(shù)研究[D].沈陽：沈陽理工大學(xué)，2014.

[6]鄧小峰.基于機(jī)器視覺的零件識別和測量系統(tǒng)研究[D].南京：南京航空航天大學(xué)，2014.

[7]何博俠，張志勝，徐孫浩，等.大尺寸機(jī)械零件的機(jī)器視覺高精度測量方法[J].中國機(jī)械工程，2009，20（1）：5-10.

[8]劉凌云，羅敏，方凱.基于圖像拼接的尺寸精密檢測算法研究[J].制造技術(shù)與機(jī)床，2012（11）：106-110.

中國工業(yè)企業(yè)盈利能力呈現(xiàn)分化

一項(xiàng)新的研究發(fā)現(xiàn)，受重工業(yè)疲軟以及國有企業(yè)境況不佳的拖累，去年中國工業(yè)企業(yè)的盈利能力下滑至2003年以來的最低水平，而持續(xù)的產(chǎn)能過剩可能給利潤率帶來持久下行壓力。

研究公司牛津經(jīng)濟(jì)研究院（Oxford Economics）的亞洲經(jīng)濟(jì)負(fù)責(zé)人高路易（Louis Kuijs）發(fā)現(xiàn)，中國官方工業(yè)調(diào)查的約32.8萬家公司——包括所有國企以及年銷售額超過2000萬人民幣的非國有企業(yè)的平均利潤率，從近年高點(diǎn)——2010年的7.6%下滑至2015年的5.8%。

然而，這一整體數(shù)字掩蓋了不同類型企業(yè)之間的巨大差異。高路易表示，去年，國有企業(yè)很可能延續(xù)了自2010年以來資產(chǎn)回報(bào)率下滑的趨勢，而非國有企業(yè)的資產(chǎn)回報(bào)率似乎保持得較好。

這種差異部分源于這樣的現(xiàn)實(shí)，即采礦、鋼鐵、其他金屬及化學(xué)品等遭受重創(chuàng)的行業(yè)——都受到房地產(chǎn)市場疲軟的影響——大量集中了中央或地方政府控制的國有企業(yè)。

這些資本密集的行業(yè)內(nèi)部，窘境已經(jīng)顯現(xiàn)。例如，鋼鐵企業(yè)的平均利潤率已從2010年3.9%的近期高點(diǎn)下滑至去年的0.8%。化工企業(yè)的平均利潤率從2010年的7.7%下滑至去年的5.3%，“其他金屬”企業(yè)的平均利潤率則從2010年的5.6%下滑至2.7%。

高路易預(yù)計(jì)，未來這種艱難境況很可能將持續(xù)。“在遭受重創(chuàng)的行業(yè)，就業(yè)崗位已經(jīng)大幅削減。盡管如此，由于投資水平仍居高位，工業(yè)產(chǎn)能擴(kuò)張依舊太快，這將壓低利潤前景。”

總的來說，自2014年初至2015年底的兩年時(shí)間里，工業(yè)部門削減了約390萬個(gè)就業(yè)崗位，包括87.3萬個(gè)煤礦業(yè)崗位以及53.3萬個(gè)鋼鐵業(yè)崗位。

但問題在于，雖然減員數(shù)量巨大，產(chǎn)能過剩的情況依然突出。中國歐盟商會(huì) （European Chamber of Commerce in China）最近發(fā)布了一份評估報(bào)告，認(rèn)為中國鋼鐵、鋁、水泥、煉油、平板玻璃及造紙等行業(yè)的產(chǎn)能利用率在65%至85%之間。該商會(huì)估計(jì)，自2008年以來，所有這些行業(yè)的產(chǎn)能利用率都出現(xiàn)了大幅下滑。

以鋼鐵業(yè)為例。官方計(jì)劃未來5年削減1億至1.5億噸產(chǎn)能。但這一巨大數(shù)量僅占當(dāng)前總產(chǎn)能的10%至15%，這意味著在這項(xiàng)5年目標(biāo)實(shí)現(xiàn)后（如果能實(shí)現(xiàn)），很可能還要繼續(xù)削減更多產(chǎn)能。