基于CNN的十字像中心檢測

武華敏 楊漠雨 黃曉雪 吉才全 王煒杰 張榮福 陳楠

摘要：十字線中心檢測是反射法測量透鏡中心偏的重要組成部分，十字中心的檢測精度決定了透鏡中心偏的測量精度。針對邊緣不規則、對比度差、信噪比低的圖像，提出了基于深度卷積神經網絡的十字線中心檢測算法。算法的思想是，卷積神經網絡可以在一定程度上解決傳統算法局限于提取十字像邊緣直線和角點特征的問題，實現對十字像整體特征的識別與定位，這可以相對減小圖像噪聲對十字像中心定位的影響，從而實現在圖像質量比較差的情況下對十字像中心準確定位。實驗結果表明，提出的算法能夠在圖像邊緣不規則、對比度差、信噪比低等的條件下比較精確得到十字線中心點。

關鍵詞：十字線中心;卷積神經網絡;圖像標注;圖像增強

中圖分類號：TP391 文獻標志碼：A

引言

隨著高精度光學測量設備的快速發展，透鏡作為光學系統的主要零部件，對其精度要求也越來越高。但是由于生產條件和工藝的限制，在透鏡加工過程中，不可避免的會產生一定缺陷，進而破壞了鏡面的共軸性，產生中心偏。中心偏會導致光學測量系統成像質量的下降。

基于反射式測量的透鏡中心偏檢測儀是將光源產生的光線聚焦在被測鏡面曲率半徑中心，然后反射到CCD上得到一個清晰的十字像，能否精確檢測十字像中心點對透鏡中心偏測量儀的測量精度有著重要的影響。目前，偏心儀在測量透鏡中心偏時導致測量誤差比較大的情況主要有三個方面：一是偏心儀設備采用的測量鏡頭個數有限，對于曲率半徑比較大的被測鏡片來說，在測量中心偏時，可能在CCD上只能得到一個比較模糊的十字像;二是在被測鏡片直徑較大時，CCD上所呈十字像總是比較寬且邊緣不規則;三是由于鏡片表面質量比較差，CCD上所呈十字像往往信噪比低、對比度差。

針對上述問題，傳統的基于十字像的幾何結構的檢測算法，如直線擬合、形態學腐蝕、模板匹配、霍夫變換等往往有一定的局限性。對于邊緣不規則的十字像，采用直線擬合算法得到的結果就會有比較大的偏差;對于信噪比較低的十字像，采用形態學腐蝕的方法就無法檢測到精確的中心點。因此，本文提出了一種基于卷積神經網絡的十字像中心定位算法。由于目前沒有相關的數據集和模型，本文從十字像關鍵點標注方法的設計、十字像數據集的構建、模型評價標準的設定、模型結構的設計等四個方面來研究，在對數據集進行訓練以及模型結構改進后，得到了在邊緣不規則、對比度差、信噪比低等成像條件下的十字像中心準確定位模型。

1卷積神經網絡理論

神經元是組成一個神經網絡的基本結構，一個神經元主要由以下及比分部分構成，如圖1所示，假設x1，…，xm是感知器的m個輸入信號，6是偏置，W1，W2，…，Wm是感知神經元輸入對應的權重，用權值對輸入進行加權求和并加上偏置，得到誘導局部域（z），再用激活函數限制誘導局部域輸出的振幅。最終得到的輸出的數學計算公式可表示為：

式中：A為神經元的輸出;f為激活函數，b為偏置。

卷積神經網絡在語音識別、人臉識別、通用物體識別等多個方向得到應用，受到越來越多的重視。卷積神經網絡，不需要對原始圖像進行復雜的前期預處理以及特征提取，原始圖像可以直接作為輸入，避免了復雜的數據預處理和特征提取過程，由此在圖像識別等領域得到了非常廣泛的應用。卷積神經網絡通過局部感受野、權值共享和池化來識別位移、旋轉和縮放不變性。通過局部感受野，神經網絡可以提取圖像的視覺特征;權值共享相對于全連接神經網絡來說只需要很少的參數就能完成對數據的訓練;池化層可以大大減少整個網絡的計算量，并且在一定程度上可以防止過擬合。卷積神經網絡是一種多層的有監督神經網絡，包括輸入層、隱含層（卷積層、池化層）、全連接層、輸出層等，通過反向傳播算法來優化網絡，更新并求解未知參數。

1.1卷積層

卷積操作如圖2所示。在一個卷積層，對于特征圖來說，其中每一個神經元與前一層的局部感受野相對應，感受野與一個可學習的卷積核進行卷積運算，經過卷積運算后可以得到局部特征圖。卷積層的計算公式如下：

1.3反向傳播和參數更新

在神經網絡開始訓練時，初始的權值都會被賦予較小的隨機數。因此，在卷積神經網絡訓練的初始時期，網絡的損失值較大，效果無法體現，通過神經網絡的反向傳播算法不斷更新參數，網絡也在不斷的優化，最終網絡收斂，達到最優的分類或回歸目標。網絡權值的更新公式如下：

2實驗過程及結果分析

2.1構建十字像中心檢測數據集

本文數據集包含的圖片是從基于反射法搭建的偏心儀測量平臺上獲取。相機拍攝到的圖片分辨率統一為1920×1200。在圖像數據集的獲取與選擇過程中，主要考慮以下幾方面的因素。

（1）測量鏡頭焦點距被測鏡面曲率半徑中心的遠近。在透鏡中心偏測量過程中，對于大多數中心偏測量設備來說，設備的測量范圍往往是有限的，原因在于測量鏡頭焦距大小是有限的。根據中心偏測量原理可知，當測量鏡頭焦點和被測鏡面曲率半徑中心重合時，才能得到清晰的十字像，進而測量透鏡中心偏，所以一般只能測量曲率半徑小于測量鏡頭焦距的鏡片。對于曲率半徑大于測量鏡頭焦距的被測鏡面來說，測量頭焦點只能移動到被測鏡面曲率半徑中心附近，這種情況下會得到一個模糊十字像。因此，為了實現在模糊十字像下的準確定位，本實驗通過采集在各種情況下所呈模糊十字像，加入訓練集，通過基于CNN的十字像中心定位模型訓練，來精確預測這些十字像的中心點。如圖4所示為測量鏡頭焦點距被測鏡面曲率半徑中心不同遠近情況下采集到的十字像，從左至右表示測量鏡頭焦點距被測鏡面曲率半徑中心越來越遠。

（2）鏡片表面質量差。在進行中心偏測量時，由于鏡片表面質量比較差，反射回的光線經十字劃線板后在CCD上所呈十字像會非常模糊，圖像背景和十字像的對比度也要低很多。在這種條件下，用傳統十字像中心定位算法無法有效擬合出十字像邊緣，也無法對十字像角點進行有效檢測。因此，將此類圖片加入到樣本集中，經過神經網絡模型訓練，可以提升針對此類圖片的檢測精度。采集的部分圖片如圖5所示。

（3）不同的角度。在實際的測量過程中，偏心儀測量設備的光源和相機的抖動很容易造成十字像的偏轉，將各種不同旋轉角度的圖像采集作為樣本，可以顯著地提高深度學習算法的魯棒性，同時也增加了樣本集的多樣性，圖5展示了不同角度的圖片。

（4）圖片差異性。在對所拍攝圖片挑選過程中，充分考慮各個圖片之間的差異性。采集了22種不同規格的鏡片在不同條件下所呈十字像。在一定程度上，這可以避免數據的重疊，同時降低訓練的難度，避免計算資源的浪費，提升深度學習算法的泛化性能。

綜合考慮以上各種因素，共拍攝了882張十字像圖片。由于圖像樣本在采集過程中充分考慮了鏡片類型、光源、相機抖動、鏡面質量、角度等因素，使得整個樣本集中包含的圖片在寬度、清晰度、傾斜度、顏色、背景等方面都具備了較大的差異性。從總體上看，本章采集的圖像樣本比較有代表性，能夠有效反應中心偏測量過程中十字像各方面的特征。

2.2圖像預處理

本實驗對采集到的原圖像做預處理的目的是突出十字像的特征，即增強十字像與背景的對比度，同時處理一些常見的圖像噪聲，提升卷積神經網絡的泛化性能，減少噪聲帶來的干擾。如圖6所示，十字像十分模糊，相對于背景的對比度比較低，不利于卷積神經網絡的識別，可能會被視為異常從而影響卷積神經網絡模型的性能，因此，通過預處理來增強十字像的信號。通過觀察發現，圖像中的十字像都呈現淡藍色，對于模糊的圖像，首先將RGB圖像中的藍色通道的圖像提取出來作為初始的灰度圖，接著對該灰度圖進行濾波、平滑、去噪等操作，進一步得到初步處理后的圖像。經過上述預處理后，可以看到中間圖片中的十字像相對于背景還是比較模糊。對此，可以采用灰度變換的方法來提升圖像的對比度?；叶茸儞Q中的冪變換和對數變換都可以實現圖像灰度級的擴展和壓縮，除此之外，對數變換還有一個性質，它可以壓縮圖像灰度值變化范圍較大的圖像的動態范圍。對數變換的計算公式如下：

s=c×lg（1+r）（6）式中：c表示一個常數;r表示圖像中某個像素的灰度值;s表示圖像中某像素經過對數變換后得到的灰度值。從式中可以看出，對數變換可以將原圖像中范圍較寬的的高灰度值區間映射到范圍較窄的灰度區間，同時將范圍較窄的低灰度值映射到范圍較寬的灰度區間。圖6（c）經過灰度變換后的圖像相對于圖6（a）沒有經過灰度變換的圖像，十字像變得更加清晰，和背景的對比度也顯著提高了。

2.3圖像的標注方法

對于十字像中心檢測的任務，對十字像的標注有三種方案可選擇，如圖7所示。

（1）中心點標注。利用halcon軟件讀取圖像的中心點并做亞像素級別的標注。人工找出十字像的中心區域，通常情況下會描繪出一個矩形區域，根據矩形區域的四個頂點坐標，可以求得精確到0.01個像素級的十字像中心坐標及樣本的標簽，記為[x，y]，作為算法的測試和訓練數據。

（2）角點標注。利用halcon軟件讀取圖像后，找到十字像的四個角點坐標。在角點標注的過程中，圖像放大后十字像的交叉處并不是嚴格意義上的垂直，而是呈弧形，這給角點標注帶來了比較大的困難。通中心點標注相似，在交叉處選取一個小的矩形區域，通過求解矩形區域的中心點得4個角點的坐標來作為樣本的標簽使用，從左上角第1個角點坐標起，按順時針方向，可以得到一個樣本的標簽為4個標點，記為[x1，y1，x2，y2，x3，y3，x4，y4]。

（3）十字交叉線標注。參考骨骼關鍵點檢測的標注方法，對十字線直接進行標注關鍵點，進而擬合兩條通過十字像中心的兩條交叉線。此標注方法不僅可以很好地體現十字像的特征，同時標注的關鍵點位置相對于整幅圖像的偏移量也不大，提供給神經網絡訓練的監督信息也更多，在實際的學習過程中更容易回歸，網絡的收斂速度也會加快。該方法同樣使用halcon軟件進行人工標注，每條交叉線上標注四個點加上中心點一共9個點。與前兩種標注方法類似，需要實現精確到0.1個像素級的標注，最終通過兩條擬合的交叉線求取十字像中心點的精度可達到0.01個像素級的檢測精度。

2.4數據集的劃分

在對十字像樣本標注完成之后，需要對得到的數據集進行劃分。劃分主要分為測試集和訓練集兩類，沒有設置驗證集。常見的數據集的劃分方法主要有交叉驗證法和留出法等。在深度學習中，測試集一般從樣本集的整個樣本空間上獨立同分布采樣得到，同時測試集在選取的同時要注意與測試集互斥。對于采樣，常見的采樣方式主要有隨機采樣、分層采樣、等距采樣和整群采樣等。

在數據集的劃分方面，根據以往的經驗，將采集到的樣本集分為訓練集和測試集，按照8：2的比例來劃分數據集。在數據劃分的過程中，為了避免引入額外的偏差，同時保證測試集和訓練集在數據分布上保持一致性，本實驗采用分層抽樣和等距抽樣相結合的采樣辦法，從原始樣本集中采樣得到訓練集和測試集。

2.5網絡結構的設計

本實驗中提出的用于檢測十字像中心的卷積神經網絡結構如圖8所示，共包含四組卷積池化層，每組包含兩個卷積層和一個最大池化層，除此之外，還包含一組全連接層用于模型的輸出。輸入層是從經過圖像預處理之后的原始圖像經過下采樣得到的大小為243x243的灰度圖。第一組卷積池化層首先采用8個9×9大小的卷積核進行卷積運算，接著是3×3的最大池化之后輸出8個不同的特征圖進入下一組卷積池化層。前三組卷積池化層都是采用9×9大小的卷積核參與卷積運算，在第4組卷積池化層中使用一組5×5的卷積核，主要是參考了骨骼關鍵點檢測中在最后的卷積層中使用了5×5的卷積核。

本文將十字像中心檢測問題轉化為十字像關鍵點的檢測問題。同骨骼關鍵點和人臉關鍵點檢測類似，通過標記圖像中的關鍵點即特征點來構建訓練集和測試集。關鍵點的檢測問題歸根結底來說就是一個回歸問題，關鍵點的位置用圖像坐標系中的對應坐標來表征，而關鍵點的位置坐標是連續的，不是一個分類問題。對于回歸問題來說，常用的評價標準有均方誤差、平均絕對誤差、解釋方差和決定系數。本文采用絕對誤差損失作為卷積神經網絡模型的損失函數，即模型的評價標準。絕對誤差的公式如下：

2.6實驗結果及分析

在深度學習模型的調試過程中，為了調整網絡結構，提升模型的性能，需要不斷對學習率、hum features、卷積核的大小等超參數進行交叉驗證，以找到最優的超參數，同時需要不斷的優化網絡結構來提升模型的整體性能。因此，為了方便調試網絡結構以及尋找模型的最優化參數，需要將計算圖進行可視化。本實驗是基于Tensor-Flow框架實現的卷積神經網絡模型，Tensor-Flow框架中提供了一個Tensorboard可視化工具，可以在TensorFlow的Graph中顯示各種指標隨著迭代步數或者運行時間的變化趨勢。

Tensorboard可視化工具可以把程序運行的信息通過圖表的形式展現出來，比如標量圖可以顯示回歸損失、分類準確率、學習率、權重和偏置隨程序迭代步數的變化情況。通過權重的變化可以了解到是否有梯度消失和梯度爆炸等情況，通過損失值的變化趨勢可以了解到模型是否收斂。因此從這些參數的變化情況可以了解到每一層網絡的訓練情況，從而對相應的參數做出調整和優化網絡結構。

如圖9所示為本實驗的深度學習算法模型在中心點標注、角點標注、直線標注三種不同的標注方式下的模型損失隨迭代步數的變化趨勢。其中縱坐標表示模型在訓練集上的回歸損失，橫坐標表示模型的訓練步數。從圖9（a）中可以看出，基于中心點標注的損失值在模型迭代的過程中隨機跳動，無法收斂。原因在于在一幅243×243的圖片上只標注一個中心點坐標作為樣本的標簽，即直接將十字像的中心點作為關鍵點，作為卷積神經網絡的回歸目標，這種標注方式本質上需要回歸的是每一個關鍵點相對于整個圖片的offset，而長距離的offset在實際的模型訓練中難以收斂，誤差很大，同時在模型訓練的過程中提供的監督信息較少，導致整個網絡的收斂速度變慢。圖9（b）是基于角點標注的損失值隨迭代步數的變化情況，可以看出，相對于中心點標注，模型在一定程度上收斂了，原因在于四個角點處于十字交叉線的位置，可以在一定程度上表征十字交叉線的特征點，但是圖片中的十字交叉線最終還是處于波動狀態，損失值無法繼續減小并保持穩定，原因還是相對于整幅圖片的offset較大導致模型無法穩定收斂，最終結果誤差較大。圖9（c）十字交叉線標注相對于前兩種標注方式來講，共標注了9個點的位置信息，這就為模型的訓練提供了更多的監督信息，同時也可以比較好的表征十字叉線的特征信息，因此模型在此訓練集上訓練可以穩定的收斂，得到比較好的預測結果。

實驗基于3種標注方式的數據集分別進行了模型訓練，最終采用十字交叉線標注的圖像作為深度學習算法模型的訓練集和測試集。在此基礎上不斷對模型進行優化，基于深度學習關鍵點檢測收斂相對較難的問題，添加了指數衰減使學習率隨著迭代步數的增加逐漸減小，有利于模型收斂。同時在卷積層添加了Dropout正則化和L2正則來避免算法模型的過擬合，以增加模型的泛化性能。

如圖10所示，實驗采用五折交叉驗證來評估模型的性能。將原始數據集D共882張圖片分為5個子數據集D1、D2、D3、D4、D5，每次選取4個子數據集進行訓練，剩余1個子數據集作為測試數據集使用，上述過程重復5次可以得到5個測試結果，測試結果為對應模型在測試集上的絕對誤差損失值，這5個測試結果可以反應模型對十字像關鍵點預測的有效性和模型的泛化性能。交叉驗證測試數據集總共包含176張圖片，在模型訓練完成之后，對訓練集的每張圖片分別進行預測，每張圖片的預測結果為9個關鍵點，共18個坐標值，對這9個關鍵點進行直線擬合可以得到兩條直線方程，計算兩條直線的交點即可得到各個圖片的中心點位置坐標。

經過5次訓練和預測，依次得到每一次訓練后模型對測試集的預測結果，即絕對誤差損失值的大小。如圖11所示，橫坐標值為第幾次訓練，縱坐標值為模型在測試集176張圖片上的絕對誤差損失，根據式（7）計算得出。5次結果的損失平均值為431.995 4，模型對每一張圖片中心點坐標（x，y）的預測值和標注值平均相差1.23個像素值?？紤]到測試集176張圖片中包含各種不同類型的圖像，同時模型對清晰十字像的預測誤差比較小，那么模型對邊緣不規則、模糊、信噪比低的圖像的預測誤差應在2-3個像素，這在成像質量比較差的情況下對十字像中心進行定位，和傳統算法做對比，誤差在可接受范圍內。

從測試集中選取4張不同類型的圖片作為待測圖片，包含清晰十字像、邊緣不規則十字像、模糊十字像、信噪比低十字像。每張圖片經過已建立好的卷積神經網絡模型輸出后得到9個關鍵點的18個坐標值，將預測得到的關鍵點坐標標記在原圖像上，得到圖12（a）、（c）、（e）、（g）所示的結果。對每張圖像上的9個關鍵點進行直線擬合，得到兩條直線方程，然后求兩條直線的交點，最終得到該十字線的中心點坐標。將計算的中心點坐標標記在在原圖上，得到圖12（b）、（d）、（f）、（h）所示的結果。

本文選取了兩種傳統算法，SUSAN算法和直線擬合算法對圖12中4張不同類型的十字像進行中心點定位，并和基于卷積神經網絡的十字像定位算法結果做對比分析。

SUSAN算法原理如圖13所示，圖中的暗區為目標檢測區域，SUSAN算法會指定一個圓形模板對圖像進行遍歷，如果模板中心點的像素值和模板內的像素值小于設定的閾值，就認為該點和模板中心點屬于同一類點，由這些點組成的區域就叫USAN區域，USAN區域越大，距離目標區域也越近。此原理可以用來定位十字叉線的中心，即當圓形模板的中心與十字像中心重合時，USAN區域的面積達到最大值，模板中心記為十字像中心坐標。

基于十字線邊緣直線擬合求十字像中心點也是一種常用的算法，其原理是首先通過邊緣擬合來確定十字像的四條邊緣直線方程，得到四條邊緣直線方程之后，兩兩直線求交點可以得到十字像的四個角點坐標，通過四個角點坐標可以求得兩條對角線方程，兩條對角線的交點即為所求中心點。

表1所示為圖12中4張不同類型的圖片在不同算法下檢測到的十字像中心坐標，從表中可以看出，對于清晰十字像而言，3種不同算法的檢測結果誤差都在1-2個像素，差異不大;對于邊緣不規則的十字像，使用直線擬合得到的中心點橫坐標誤差比較大;對于模糊的十字像，使用SUSAN算法的誤差較大;對于對比度低的十字像，經圖像去燥二值化后得不到一個僅僅包含十字像的二值圖，無法進行直線擬合或使用SUSAN算法，因此無法給出結果。

相對于傳統算法的預測結果，本文中所采用的基于CNN的十字像中心檢測算法在邊緣不規則、模糊、對比度低的十字像上定位更準確，誤差可以控制在1-3個像素以內。

3結論

本文從十字像數據集構建、模型評價標準設定、標注方法設計、模型結構設計等方面來建立可以用于不同成像條件下的十字像中心預測模型，以及在實驗過程中通過不斷變換參數來優化網絡模型。同時介紹了兩種常見的十字像中心定位算法邊緣直線擬合和SUSAN算法，之后對實驗中選取的4張具有代表性的圖片進行定位，最后對比并分析實驗結果。實驗結果表明，本文算法在邊緣不規則的十字像、模糊十字像、對比度低的十字像上可以實現更準確定位，相對于傳統算法魯棒性更強，抗干擾能力更好，驗證了該算法的有效性。