改進FCOS算法正樣本選擇的交通標志檢測

崔港濤，馬社祥

(天津理工大學 電氣電子工程學院，天津 300382)

0 引 言

交通標志檢測和識別(TSD&R)是必不可少的交通標志檢測或現代自動車輛駕駛技術。作為車輛行駛的指引標志，交通標志被設計成不同的形狀、顏色和獨特的象形圖，方便辨認和最大化。盡管這樣設計，但是提出算法檢測時用到的交通標志形狀信息很少。近些年，由于深度學習檢測速度快的同時能夠保證精度，大量的算法出現并用在交通檢測系統中[1]。

早期基于深度學習的目標檢測器是兩階段的，建議框生成后回歸框分類的方法如Faster-RCNN[2]，在第一階段，生成一組感興趣區域，并在第二階段由卷積神經網絡對它們進行回歸分類。后來，單階段的端到端檢測算法得到了越來越多的關注[3，4]，其中建議框被預定義的anchor所取代，結構更簡單速度更快，但是anchor必須密集地覆蓋圖像，其位置和尺度都需要手動調整，以最大化召回率；單階段算法在訓練中還存在產生的正負樣本不平衡性問題。針對anchor的缺點，已經提出了幾種方法來改變anchor的分配和提高其質量[5，6]，以避免一些極端的前景背景不平衡。近些年也提出了一階段anchor-free方法，來避免anchor設置復雜的問題，有兩組突出方法，第一組是基于關鍵點的自下而上的方法，在CornerNet[7]的開創性工作之后得到推廣，這組算法通過檢測目標的關鍵點(如角點、中心點和極值點)，然后對它們進行回歸預測從而達到目標的檢測；第二組anchor-free物體檢測器遵循自上而下的方法[8]，直接對提取后的特征圖中每個位置進行類和邊界框坐標的預測。

FCOS算法作為一種自上而下的anchor-free物體檢測器，在輸入圖像通過特征提取網絡提取特征和FPN[9]特征融合之后，在其檢測圖像上落在真值框內的特征被標記為正，其它特征被標記為負，但在這些正面標記的特征中并不是每一個都有助于損失函數進行計算訓練。因為這些正標簽中的一些可能是完全錯誤的或者質量很差，由于交通標志目標小形狀類似并且只有標志的中心位置具有分辨信息，所以這個問題在交通標志的檢測中被放大[10]，這會在訓練過程中注入了大量的標簽噪聲，影響最后模型的檢測精度值。FCOS算法中的回歸位置的選取方法使得正樣本標簽的質量差，導致檢測器性能不高，本文基于FCOS算法設計一種融合交通標志形狀特點的正樣本標簽選擇策略，去除大量的正樣本標簽噪聲，最終的在TT100K(tsinghua-tencent 100K)數據集的檢測效果比改進前FCOS算法效果好。

1 FCOS算法

FCOS算法是anchor-free的單階段目標檢測算法，是在基于anchor的目標檢測方法上分析提出的。此前提出的基于anchor的檢測器，取得了不錯效果，但是注意到基于anchor的檢測器存在一些不足，檢測性能對anchor的大小、縱橫比和數量很敏感。例如，在RetiaNet[11]中，改變上述的超參數在coco數據集中的map降低4%[11]，鑒于此，FCOS算法去除anchor的設置，去除了大量不確定的超參數，因此比一些基于anchor的檢測器檢測效果要好，圖1是FCOS算法整體結構。

圖1 FCOS整體結構

FCOS算法通過特征提取網絡進行特征提取，對相對原圖縮放尺寸為1/8、1/16和1/32特征圖進行類似FPN自下往上的特征融合，融合后分成5部分，縮放尺寸分別為1/8、1/16、1/32、1/64和1/128。對預測這5個不同級特征圖上的位置特征進行目標類別和目標框的預測，每級縮放尺度不同，預測不同大小的目標，通過這樣多級預測來提高召回率和解決由重疊包圍盒引起的歧義。與基于anchor的檢測器不同，基于anchor的檢測器將輸入圖像上的位置視為多個anchor框的中心，并以這些anchor框進行回歸目標邊界框，FCOS算法直接在該位置進行正負樣本選擇訓練回歸目標邊界框。預測模塊對目標的分類預測時，預測數目大小為H×W×C，H和W分別為特征圖的長和寬，C為預測的種類。對目標回歸部分預測數目大小為H×W×4， 每個回歸位置點的4個值l*，t*，r*，b*分別表示目標框內回歸位置點離框的左邊、上邊、右邊、下邊的距離。設位置坐標為 (x，y)， 則該位置訓練的回歸目標可以表示為

(1)

除了對分類和目標框預測，對特征圖上每個位置預測Center-ness值，這個簡單的方法能夠用來抑制低質量的檢測到的邊界框，并且不用引入其它超參數，公式為

(2)

式中：centerness*的范圍是0～1，通過將預測的centerness*值乘以相應的分類分數來計算最終分數。

訓練損失函數為

(3)

類別損失是對每個類別作二分類，用focal loss[12]方法計算

(4)

式中：γ因子使得減少易分類樣本的損失，使得模型更關注于困難的、錯分的樣本，因子?用來平衡正負樣本本身的數量比例不均。

回歸損失用GIoU計算[13]。公式為

(5)

式中：D和F分別為兩個預測對象框，V為包住它們的最小方框。V(D∪F) 的面積為V的面積減去D∪F的面積。

2 算法設計

數據集真實框中目標特征分布在框中的位置是隨機的，FCOS中直接將其真實框的中心作為目標特征的中心，這樣顯然會影響檢測效果，目前還沒有很好的方法確定目標的中心特征點。但是由于交通標志形狀特點是固定的，在算法中，可以結合其特點設計新的正樣本選擇方法，更加合理設置目標中心點，同時提出與交通標志類別形狀相對應的收縮方法進行交通標志正樣本選擇。

2.1 交通標志形狀特點

交通標志種類多，每類交通標志有固定的形狀信息。按照交通標志的功能，我國把交通標志分為三大類：警告、禁止和指示。

警告標志：具備對駕駛員的警告作用，標志顏色是以黃色為背景，外框被黑色包圍，內部標志內容也是黑色。在形狀特點上，將其設計成正三角形，如圖2(c)部分。禁令標志：具備禁止作用，用于規范駕駛員的交通行為。標志顏色是以白色為背景，外框被紅色包圍，內部所標識的內容由黑色和紅色線條組成，標志形狀特征主要有圓形，如圖2(a)部分；指示標志：具備指示行駛人員行進作用，用于改善交通情況。標志顏色是以藍色為背景，內部標志內容是白色。在形狀特點上，主要將其設計成圓形、矩形，如圖2(b)部分。

圖2 交通標志示例

上述對我國交通標志的形狀信息分析，可以得到不同的交通標志有不同的形狀。目標檢測網絡訓練時這些信息是已知的，依據真實框目標的類別可以判斷出其形狀是三角形、圓形和矩形等的哪一種，利用獲得的這些形狀的特點信息，可以對目標的特征中心點重新設置，并且數據集信息的不同，正樣本設置時的尺度放縮也不是矩形的時候最好，在交通標志數據集中，根據不同類別的形狀特點進行放縮更加合理。

2.2 結合特點的正樣本選擇策略

上節中分析了交通標志形狀特點，根據交通標志的類別能夠判斷出對應交通標志的形狀。在原算法中，對于圖3中的真實目標，無論是三角、矩形和圓形都按照矩形處理。本節設計將正樣本標簽選擇與交通標志的形狀特點相結合的更合理正樣本標簽選擇策略。由于交通標志圓形和三角形居多，下面對這兩類交通標志正樣本選擇策略設計說明。

圖3 圓形交通標志真實框

圓形特點的交通標志，在原算法中，直接按照矩形框進行處理，但是為了獲得更高質量的特征點，需要取目標特征中心點附近的位置點為正樣本標簽。基于圓形交通標志的目標特征中心點與真實框中心點正好吻合，中心位置選擇不用進行處理，但是原算法樣本選擇時對應的是矩形收縮，根據圓形交通標志的結構特點，將矩形放縮變成圓形放縮更加合理。首先設置一個縮放因子[14]，但是放縮后不是直接按照放縮后的矩形區域作為正樣本區域，而是根據圓形的交通標志的形狀特點做一個內切圓，其內區域代替原來的矩形框區域為正樣本選擇區域，如圖4所示。

圖4 結合圓形交通標志正樣本選擇

圖4中前后真實框和圓形交通標志的中心點吻合，但是由于圓形交通標志的特征信息是包含在圓內的，所以將矩形正樣本區域更換成圓形區域更加合理。本文設計對應正樣本選擇策略，當真實目標框不收縮時，將內切圓作為正樣本區域能夠去除對應的噪聲信息，對應圖中的實線內切圓。此時的目標特征中心點是圓心即圖中的實心黑點，當以其為中心按照圓形收縮時，對應右圖的虛線圓，以獲得更高質量的正樣本。

三角形特點的交通標志如圖5所示，原算法中也直接按照矩形框進行處理，但是三角形交通標志面積只占真實目標矩形框的1/3左右，設置矩形框作為正樣本區域會引入大量的噪聲信息，而且從圖6中可以觀察到，相比圓形交通標志，接近矩形框的中心位置存在更多噪聲信息。除此之外，在圖中實心圓點為真實目標矩形框中心點，空心圓點為三角形交通標志特征中心點，兩點不是同一個點，而算法中將矩形目標真實框中心作為正樣本區域中心點顯然不合理。當真實目標框不收縮時，將內接三角形作為正樣本區域能夠去除對應的噪聲信息，對應圖中的黑色三角形。此時的目標特征中心點是三角形中心點，對應右圖中的空心圓點，當以其為中心按照三角形收縮時，對應右圖的虛線三角形，以獲得更高質量的正樣本。下面對三角形特征中心點進行計算。

圖5 三角形交通標志真實框

設目標真實框的按順時針順序4個頂點坐標分別為 (m1，n1)，(m2，n2)，(m3，n3)，(m4，n4)， 則3個頂點坐標分別為：((m1+n2)/2，(m1+n2)/2))，(m3，n3)，(m4，n4)。 對應的中心點坐標 (m，n) 為

(6)

位置點是否在圓和矩形框中很好判斷，現在具體討論判斷一個點是否在三角形正樣本區域內中。設點M在三角形ABC內，可以利用點M與點C在邊AB同側、點M與點B在邊AC同側和點M與點A在邊BC同側這個條件確定。當符合這個條件時，則判斷點M在三角形ABC內。因為叉乘可以判斷一個點在直線的那一側，本文通過叉乘計算對3個條件進行判斷。對應叉乘公式為

(7)

從圖7仿真結果可以看到通過叉乘能夠準確判斷出位置點是否在三角形正樣本區域內，此方法能夠作為三角形交通標志正樣本區域內位置點的選取方法。

圖7 仿真結果

改進后的FCOS算法正標簽選擇策略是將提出的真實框收縮正樣本選擇策略與原算法中Center-ness策略相結合，共同提取高質量正樣本標簽。其中三角形形狀特點的交通標志目標特征點不是原來的真實框中心點，所有Center-ness需要重新計算。計算方法與原算法保持一致，只是改變了特征中心點位置，三角形交通標志計算Center-ness公式為

(8)

式中：4個值l*，r*，t*，b*， 分別表示目標框內回歸位置點離矩形框左邊、右邊、上邊、下邊的距離。Δα表示三角形交通標志目標特征中心點到真實框中心點的距離。

圓形交通標志和三角形交通標志在改進算法后的Center-ness值仿真結果圖如圖8所示，從圖中得Center-ness的大小與檢測目標特征中心值相關，當位置點與特征點重合時最大，然后隨位置點到特征中心點的位置距離線性減小。

圖8 圓形和三角形交通標志Centerness值仿真對比

3 實 驗

本文算法使用小目標占多數的TT100K交通標志數據集進行訓練預測。該數據集是由騰訊公司發布，平均尺寸為2048×2048，該數據集統計得到大多數目標尺寸都是在16-60像數點之內，對目標的檢測模型要求很高。該數據集的訓練集的圖片有6105張，測試集圖片有3071張。按照上文提到的交通標志的分類規則，將該數據集目標為3類：Prohibitory、Mandatory和Danger進行標注。對應的目標數量分布圖為圖9。

圖9 數據集目標分布

實驗平臺硬件配備了兩個TITANXp GPU(顯存大小20 GB)，Intel(R)Core(TM)i7-7800X CPU，32 GB RAM；軟件搭建Ubuntu16.04 操作系統，Python3.6，以下實驗訓練測試全部是在該平臺上完成。實驗訓練過程中，使用PyTorch框架對不同算法網絡模型進行搭建，特征提取網絡ResNet50[15]初始權重在ImageNet上預訓練得到。訓練超參數設置，見表1。

3.1 結果評價指標

本文使用目標檢測常見的精度評價指標mAP(mean average precision)對實驗結構進行分析。由于mAP是數據集中所有類別AP值求平均，所以要計算mAP，首先得知道某一類別的AP值怎么求。不同數據集的某類別的AP計算方法大同小異，主要分為3種，本文將VOC2010及以后的方法作為評價標準，根據每一個不同的Recall值選擇Precision值，然后根據PR曲線計算AP值。數據集中每張圖片中這一類別的Precision和Recall由下列公式計算

(9)

式中：TP表示準確檢測出的正樣本，FP表示檢測失敗的正樣本，FN表示檢測錯誤的負樣本。

平均精度AP近似等于精確率和召回率曲線下面積，計算公式為

(10)

式中：p(k) 對應召回率在k點對應的精確率，指任何召回率在大于k點時的最大準確率。 Δr(k) 表示k點變化時對應召回率的變化量。N表示檢索出的目標集數目。不同類別的AP分開計算，i表示不同類別的索引值。

3.2 實驗結果和分析

實驗首先為確定改進算法選擇正標簽的最佳的收縮因子，將原正樣本收縮算法與新設計的結合交通標志形狀特點的正樣本策略分別進行消融實驗，確定最佳收縮因子后，然后與原算法進行實驗對比，最后對預測結果進行非極大值抑制(NMS)[17]分析，驗證新的正樣本選擇策略的有效性。

為確定改進后正標簽策略的最佳正標簽的收縮因子，首先做消融實驗，將結果最好的正標簽的收縮因子確定為最佳收縮因子。實驗中，通過將真實框寬度和高度乘以一個收縮因子來調整正樣本區域的大小。在相同的實驗環境下，分別對收縮因子1.0、0.8、0.6和0.4做實驗，其它參數保持一致。性能結果見表2。

表2 不同收縮因子消融實驗

從表2不同收縮因子對比實驗結果得到，收縮因子減少到0.8，檢測精度提高，驗證了一些遠離目標中心的正標簽的消除對算法的訓練有好處，即遠離目標中心的正標簽訓練時會引入噪聲，影響檢驗精度。將新的融合交通標志形狀的正標簽選擇策略與原收縮策略檢測對比，得到融合交通標志正標簽選擇策略性能更好，當收縮因子為0.8時，mAP最高達到83.2%，驗證了融合交通標志正標簽選擇策略的合理性。由上述實驗確定了最佳收縮因子為0.8，下面的對比實驗中將收縮因子設置為0.8。

確定收縮因子為0.8后，從損失函數值的變化進一步分析使用交通標志形狀特點的正樣本標簽選擇對改進算法的性能提升的原因。從圖10的損失函數圖看出，使用改進后融合交通標志形狀特點的正樣本選擇策略去除大量噪聲正樣本標簽，損失曲線收斂更快，擬合效果更好。

圖10 損失曲線對比

與原算法進行對比實驗，對比結果表3中得到對算法應用改進后的正樣本標簽策略后檢測精度得到提升，由于Danger類中交通標志三角形形狀居多，訓練時改變了目標特征中心點位置，相比其它類檢測精度提升最大，進而分析得到并不是每一個樣本都有助于損失函數進行計算訓練，因為正標簽中的一些樣本可能是完全錯誤的或者質量很差，造成訓練干擾。由于交通標志目標小形狀類似并且只有標志的中心位置附近具有分辨信息，在訓練過程中注入了大量的標簽噪聲，影響最后的檢測精度。實驗驗證了新的正樣本選擇策略能有效去除噪聲標簽，有助于交通標志的檢測識別，提高檢測器性能。與其它算法實驗結果對比見表4。

表3 實驗結果對比

表4 與其它算法實驗結果對比

由上表實驗結果可以看出，在數據集的3種類別Prohibitory、Mandatory和Danger上與其它檢測算法對比，改進后的算法精度上優勢明顯。最后對上面實驗結果綜合分析得到，本文對FCOS算法正標簽選擇策略進行改進，改進后的正標簽的選擇策略對原算法的檢測精度提高明顯，與其它算法相比，在交通標志數據集TT100K中，該算法對交通標志檢測效果性能上有很大提高，由表5檢測速度結果對比得出改進后與其它算法檢測速度相差不大，分析改進后算法如圖11實驗效果圖得到改進后算法可以較好檢測出交通標志目標。

4 結束語

為獲得更高質量的正樣本標簽對交通標志進行檢測識別，分析得到基于anchor-free正樣本位置點的選取并不是根據目標特征中心點，而是直接將真實框的中心點作為特征中心點。基于交通標志獨特的形狀特點，圓形、三角形和正方形等，設計新的正樣本選擇策略，更好去除噪聲標簽、低質量標簽并且選擇更加合理的特征中心，實驗驗證其有效性。提出的基于交通標志形狀特點的正樣本標簽選擇，雖然能夠進一步提高正樣本標簽的質量，但是基于交通標志獨特的特點來確定檢測目標的特征中心點，遇到特征中心點沒有規律的檢測圖像，如何設計算法準確預測目標特征中心點，選擇高質量正樣本標簽是下一步研究的關鍵。