一種面向魚眼圖像的行人檢測算法

摘 "要： 魚眼鏡頭非線性光學畸變導致魚眼圖像行人檢測算法精度低，且校正算法也無法完全克服魚眼圖像的邊緣嚴重變形。針對上述問題，文中以Faster R?CNN架構為基礎，建立了魚眼圖像校正光路模型。針對魚眼圖像畸變，提出一種基于微分方程的魚眼圖像校正模型，并提出一種改進算法用于魚眼圖像的行人檢測。構建了ResNet 50融合特征金字塔網絡結構，以增強網絡的多尺度特征提取能力，提高網絡對行人小目標的定位和識別能力；優化平滑[L1]損失函數解決大梯度難學樣本與小梯度易學樣本間的不平衡問題，提高訓練效果。實驗結果表明，文中算法與現有魚眼圖像行人檢測算法相比，檢測精度提高了39.68%。在邊緣輕微畸變及小尺度行人的檢測精度可以達到90%以上，有助于提高極端條件下魚眼圖像的行人檢測性能。

關鍵詞： 魚眼鏡頭； 魚眼圖像； 畸變校正； 行人檢測； Faster R?CNN； ResNet 50

中圖分類號： TN911.73?34； TP391.4 " " " " " " " " "文獻標識碼： A " " " " " " " " 文章編號： 1004?373X（2024）15?0040?07

A pedestrian detection algorithm for fisheye images

ZHANG Yao1， LIU Fabing2， HUANG Guoyong1， QIAN Junbing1， RUAN Aiguo2， SHEN Zhongming2

（1. Faculty of Civil Aviation and Aeronautics， Kunming University of Science and Technology， Kunming 650500， China;

2. CGNPC Yuxi Huaning Wind Power Co.， Ltd.， Yuxi 652800， China）

Abstract： The nonlinear optical distortion of the fisheye lens leads to low accuracy of pedestrian detection algorithms for fisheye images， and the correction algorithm fails to fully overcome the severe edge deformation of fisheye images. Therefore， a fisheye image correction optical path model is established based on the Faster R?CNN architecture. A fisheye image correction model based on differential equations is proposed to address the distortion of fisheye images， and an improved algorithm is proposed for pedestrian detection of fisheye images. A ResNet 50 fusion feature pyramid network structure is constructed to enhance the multi?scale feature extraction ability of the network and improve its localization and recognition ability for pedestrians （small objects）. The smooth [L1] loss function is optimized to eliminate the imbalance between difficult?to?learn samples with large gradients and easy?to?learn samples with small gradients， so as to improve training effectiveness. The experimental results show that the detection accuracy of the proposed algorithm is improved by 39.68%， and its detection accuracy of slight edge distortion and small?scale pedestrians can reach over 90% in comparison with the existing fisheye image pedestrian detection algorithms. Therefore， it is helpful to improve the pedestrian detection performance for fisheye images under extreme conditions.

Keywords： fisheye lens; fisheye image; distortion correction; pedestrian detection; Faster R?CNN; ResNet 50

0 "引 "言

魚眼鏡頭焦距短、景深長，近距離拍攝大范圍場景時具有明顯優勢。隨著計算機視覺技術的不斷發展，作為其重要分支的魚眼鏡頭視覺技術得到了快速推進，在工業檢測、目標識別與跟蹤、三維重建、智能視頻監控、醫療輔助檢查以及機器人導航等領域得到廣泛應用[1]。由于其采用非線性投影方式，成像時壓縮畸變嚴重。魚眼圖像中物體的形變會影響工業檢測系統、視覺識別系統以及導航系統的精確度。消除魚眼鏡頭成像畸變，充分利用其廣闊的視場，不僅可以提升魚眼鏡頭視覺技術的實用性，還為計算機視覺領域提供了更有效的解決方案。當前的魚眼圖像畸變校正方法主要分為基于相機標定[2]、基于投影模型[3?4]以及基于深度學習[5]的方法。

魚眼圖像的目標檢測領域主要有兩種類型的檢測方法：傳統方法和深度學習方法。最早的魚眼圖像行人檢測研究使用前景分割將目標數量聚類為斑點以提取特征[6]，后有研究使用定向梯度直方圖（HOG）提取特征[7]，并通過線性SVM分類器對特征進行分類[8]。上述傳統方法具有一定的可行性，但檢測精度較低，尤其體現在畸變較大區域，而且極容易受到復雜背景的干擾，缺乏泛化能力。隨著計算機視覺的快速發展，基于卷積神經網絡的目標檢測算法性能得到了極大提高，例如YOLO（You Only Look Once）[9]、SSD（Single Shot Detector）[10]、Faster R?CNN（Faster Region Convolutional Neural Network）[11]、Mask R?CNN（Mask Region Convolutional Neural Network）[12]以及CornerNet[13]等，但該類方法直接應用在魚眼圖像行人檢測任務中的平均精度依然較低。文獻[14]提出了一種名為HD?YOLO的頭部檢測方法，設計了半徑感知損失函數，針對頂視魚眼圖像的行人檢測時只檢測人的頭部，泛化能力較差。文獻[15]基于定向空間變壓器網絡和卷積神經網絡校正圖像并進行訓練和檢測，該方法檢測精度較高，但網絡結構過于復雜，對實驗平臺有較高要求，工程使用價值較低。文獻[16]在全卷積神經網絡加入周期性損失函數回歸每個邊界框的角度，開發了一種端到端的旋轉感知人員檢測方法，稱為RAPiD。文獻[17]提出了一種全卷積網絡ARPD，使用關鍵點估計確定每個對象的中心點，并預測了每個邊界框的角度，用于檢測魚眼圖像中任意旋轉的人。上述方法沒有加入校正算法，加入了旋轉框的思想，取得了一定的進步，但增加了模型的推理時間，實時性較差。文獻[18]設計了具有角度和尺度自適應的高斯核函數，提出一種使用旋轉邊界框的行人檢測算法，在公開數據集上算法的平均精度為51.33%，取得了較佳的檢測結果。

綜上所述，魚眼圖像的行人檢測成為計算機視覺領域的一個主要研究方向，數據集的缺乏和行人畸變也是該領域兩個最大的挑戰[19]。因此，本文根據魚眼鏡頭光學特性，提出一種基于微分方程的魚眼圖像校正算法，用以校正增強畸變圖像，建立校正圖像的行人檢測數據集。以Faster R?CNN的基本架構為基礎，提出一種改進算法用于校正魚眼圖像的行人檢測。將骨干網絡改進為ResNet 50，增強網絡的特征提取能力。融合FPN設計了多尺度特征融合網絡，提高網絡對行人小目標的定位能力和識別能力。采用優化后的平滑[L1]損失函數解決大梯度難學樣本與小梯度易學樣本間的不平衡問題，提高訓練效果，極大地提高了魚眼圖像行人檢測的平均精度。

1 "改進魚眼圖像校正及識別算法

魚眼圖像校正的線性模型難以準確地模擬魚眼鏡頭的復雜畸變，因此，本文針對魚眼鏡頭光學原理展開研究，建立魚眼鏡頭的非線性投影模型，從而解析其非線性化內在關系。以Faster R?CNN的基本架構為基礎，改進骨干網絡為ResNet 50，并融合FPN設計了多尺度特征融合網絡，提高魚眼圖像行人檢測精度。下文將對魚眼鏡頭的非線性投影模型以及行人檢測算法展開詳細介紹。

1.1 "魚眼圖像校正模型

基于魚眼鏡頭光學成像原理，借助空間直角坐標系、相機坐標系以及圖像坐標系，建立如圖1所示的魚眼圖像非線性畸變模型，以解析魚眼鏡頭的非線性投影過程。

空間[O?XYZ]中的真實長度[c1]、[c2]經過魚眼鏡頭的折射，投影為圖像平面[xoy]上的[s1]、[s2]。鏡頭模型上的[c1]和[c2]的長度相等，但其所對應的圖像中的[s1]和[s2]的長度不相等，且[s1]的長度大于[s2]，說明越靠近鏡頭邊緣的入射光線被折射的量越大，即越靠近圖像邊緣的像素點壓縮畸變量越大，從而證明了魚眼圖像的形變是一種非線性畸變。

魚眼鏡頭的所有入射光線都要經由[XOY]投影到圖像平面[xoy]上，因此將[XOY]平面模擬為魚眼圖像成像平面，將魚眼鏡頭模擬為空間中的半圓球面，建立如圖2a）所示的空間球面投影模型。

在空間球面投影模型中，空間中某兩個物點[S']、[S]分別與鏡頭模型圓弧[AB]上的兩點[P']、[P]共線，入射光線在這一過程中不發生折射。[P']、[P]經過魚眼鏡頭投影到圖像平面上的[Q']、[Q]，入射光線在這一過程發生折射，導致魚眼圖像發生非線性畸變，[P'P]與[Q'Q]的差就是非線性畸變量。

圖2b）和圖2c）為非線性畸變模型的建立與求解過程，依據微分方程原理，將圖2a）中鏡頭模型圓弧[AB]微分處理，目的是求得在空間中的理想物點到相機坐標系原點的徑向距離與畸變圖像中的畸變像點到圖像坐標系原點的徑向距離之間的長度量關系，即非線性畸變量。

圖中[P']和[P]點的坐標分別為[P'x，y]、[Px+Δx，y+Δy]，將[Δx]設為1 mm，當[Δx]足夠小時，[Δx-dy]就是[Δx]的高階無窮小，因此在點[P]附近，就可以用切線段來近似代替曲線段。由此可知線段[Q'Q]上的像素長度量與[P'P]上的像素長度量的對應情況，以此來反映非線性畸變量。具體計算方法如式（1）～式（4）所示：

[y=R2-x-x02+y0] " " " （1）

[Δy=R2-x+Δx-x02+y0-y] （2）

[PP'=Δx2+Δy2] （3）

[OO'=cosα·PP'] "（4）

式中：[R]為圖像半徑；[P]點處導數的反正切函數為[α]。

1.2 "改進Faster R?CNN的行人檢測算法

傳統Faster R?CNN主要包括以下四個模塊：特征提取網絡、區域候選網絡、感興趣區域池化、分類以及回歸。特征提取網絡采用VGG 16，結構復雜、計算成本過高[20]。

為了解決上述問題， 本文算法將ResNet 50和FPN代替VGG 16作為骨干網絡，增強網絡對圖像中的扭曲目標、小目標的提取能力，特征提取后，將Feature Map送至RPN網絡以獲取準確的區域建議框Proposals；然后，通過ROI Pooling模塊進行候選區域的坐標量化操作，此時使用平滑[L1]損失函數增強網絡對大梯度難學樣本與小梯度易學樣本間的不平衡特征的學習能力；最后，將池化后信息送至二級檢測器中，對圖像進行目標類別判斷和位置回歸，改進后的模型稱為FE?Faster R?CNN，如圖3所示。

1.2.1 "骨干網絡融合改進

卷積神經網絡達到一定的深度后，即使再加深網絡，特征提取能力也不會提高，而是會導致網絡收斂更緩慢，準確率也隨著降低。有研究提出把數據集增大，以解決過擬合的問題，但識別性能和準確度也不會提高。文獻[21]發現殘差網絡能夠解決這一問題，如圖4所示的骨干網絡結構圖中，ResNet 50分為5個階段，第1階段是對Input的預處理，后4個階段由Bottleneck進行卷積操作。

在骨干網絡中融合特征金字塔網絡（Feature Pyramid Network， FPN）結構如圖4所示。將FPN用于RPN提取ResNet 50處理得到的特征圖，經過卷積、下采樣、再次卷積后輸出特征圖。FPN算法可以同時利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到較好的預測效果[22]。

1.2.2 "損失函數優化

本文所提出的FE?Faster R?CNN目標識別網絡的損失主要分為RPN的損失和Fast R?CNN的損失，兩部分損失都包括分類損失和回歸損失[12]，計算公式如式（5）所示：

[Lpi，ti=1NclsiLclspi， p*i+λ1Nregip*iLregti，t*i] " " （5）

邊界框預測本質上是回歸問題，Faster R?CNN通常使用平方損失函數（[L2]），對較大的誤差懲罰高。因此，本文采用隨誤差線性增長的絕對損失函數（[L1]），但該函數在原點處的導數不存在，因此可能會影響收斂。針對該問題，采用分段函數，在原點附近使用平方函數使得其更加平滑，如公式（6）所示。函數通過參數[σ]來控制平滑的區域，在FE?Faster R?CNN網絡中令[σ]=3。

[SmoothL1（x）=12x2·1σ2， " " xlt;1σ2x-12， " " x≥1σ2] （6）

2 "實驗結果及分析

2.1 "實驗環境配置與網絡參數設定

本文實驗基于Pytorch深度學習框架進行，選用一塊NVIDIA RXT 3060Ti顯卡和Intel Core i7?12700F CPU 作為硬件平臺，實驗環境見表1。

在訓練和測試過程中，將Batch size設置為4，即隨機采樣4個標注文件及其對應圖像。隨機梯度下降（SGD）的參數動量參數設為0.9，防止模型過擬合的權重衰減參數設為0.000 1，將學習率設置為0.01，步長設置為0.03，訓練50次。本文算法實驗所使用訓練參數如表2所示。

2.2 "實驗數據集構建

本文實驗采用VOC?360公開數據集[23]提供的魚眼圖像數據，篩選出4 067張含行人的圖像，使用本文所提出的校正算法對其進行校正，得到用于下一步目標檢測任務的校正圖像數據集，圖5展示了校正結果以及數據集部分圖像。

由圖5可見，圖像中包含豐富的行人信息，包括占圖片比例較小的行人、處于邊緣形變的行人以及處于圖像中部的行人，因此能更加全面地評估FE?Faster R?CNN魚眼圖像行人識別算法的性能。為了充分驗證本文算法的有效性，將輸入的原始魚眼圖像的尺寸全部初始化為1∶1，確保目標識別準確率的對比實驗不受干擾。每幅圖像為279×279像素，實驗過程中對魚眼圖像校正數據按照VOC 2012數據集格式進行標注，并隨機以7∶3的比例劃分訓練集和驗證集。

2.3 "評價指標

本文主要研究目標檢測算法在魚眼圖像上的應用，因此選取了平均精確率（Mean Average Precision， mAP）以及相關的[AP50]、[AP75]等作為評價目標檢測方法的性能評價標準。精確率[P]和召回率[R]分別見式（7）和式（8）所示：

[P=TPTP+FP] （7）

[R=TPTP+FN] （8）

式中：TP表示正例被正確識別為正例的樣本個數；FP表示負例被錯誤識別為正例的樣本個數；FN表示正例被錯誤識別為負例的樣本個數。

通過取不同的精確率和召回率值可以得到[PR]曲線，[PR]曲線上的精確率平均值就定義為AP，如公式（9）所示：

[AP=01PRdR] （9）

[AP50]表示交并比（Intersection?over?Union， IoU）閾值為0.5時的AP值，[AP75]表示IoU閾值為0.75時的AP值，AP即為候選框與原標簽框的重合率。

2.4 "實驗結果分析

本文實驗首先載入MS COCO 2017數據集的預訓練模型權重，接著混合精度訓練的方式在數據集下進行微調。如圖6所示為模型訓練50次得到的總體損失變化和學習率變化，當迭代20次時模型達到穩定。

不同骨干網絡的對比結果如表3所示。由表中可以看出：改進Faster R?CNN在校正圖像數據集上的平均檢測精度達到91.01%；骨干網絡為MobileNet v2的Faster R?CNN在校正圖像數據集上的平均檢測精度為82.26%；而骨干網絡為VGG 16的原始Faster R?CNN在校正圖像數據集上的平均檢測精度為84.70%。說明本文算法在骨干網絡融合改進上的有效性，并證明了ResNet 50和FPN結合有助于提高魚眼圖像行人識別的準確率。

FE?Faster R?CNN算法在畸變圖像上的行人識別結果和在本文所構建的校正圖像數據集上的識別結果，如圖7、圖8所示。實驗結果表明，FE?Faster R?CNN算法校正圖像數據集上的識別結果優于在原始魚眼圖像上的行人識別結果。如圖7所示，原始魚眼圖像行人檢測結果出現大量目標漏檢現象，漏檢目標主要為小尺寸行人以及分布在圖像邊緣行人。這一現象在算法校正圖像數據集上的識別結果中得到很大改善，如圖8所示，不僅無目標漏檢現象，且大部分行人檢測精度達到99%。

3 "結 "論

本文基于建立的魚眼圖像校正光路模型，針對魚眼圖像多尺度行人的準確、快速識別，提出了一種FE?Faster R?CNN魚眼圖像行人檢測算法。該算法以Faster R?CNN為基礎架構，首先將骨干網絡中的VGG 16改進為ResNet 50，提高網絡的特征提取能力；然后在骨干網絡中嵌入FPN模塊，進一步增強網絡對多尺度目標的提取能力，并減少外界環境因素影響；最后，通過重新設計[SmoothL1]損失函數，解決大梯度難學樣本與小梯度易學樣本間的不平衡問題，損失函數訓練收斂速度和學習率收斂速度較快。

本文實驗基于VOC?360數據集，提出一種基于微分方程的校正算法對原始畸變圖像進行校正增強，構建了一個校正圖像行人數據集。將FE?Faster R?CNN模型在該數據集上進行訓練，實驗結果表明，本文算法平均檢測精度達到91.01%，并且在極端環境下幾乎沒有漏檢與誤檢現象，適用于大部分基于魚眼鏡頭的機器視覺任務，對提升魚眼鏡頭視覺技術的視覺感知能力具有實際工程價值。

注：本文通訊作者為錢俊兵。

參考文獻

[1] MARTíN?MARTíN R， PATEL M， REZATOFIFHI H， et al. JRDB： A dataset and benchmark of egocentric robot visual perception of humans in built environments [J]. IEEE transactions on pattern analysis and machine intelligence， 2023， 45（6）： 6748?6765.

[2] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[3] 王正家，錢峰，柯楠，等.兩步式魚眼圖像畸變校正方法研究[J].現代電子技術，2020，43（18）：146?149.

[4] KANNALA J， BRANGT S S. A generic camera model and calibration method for conventional， wide?angle， and fish?eye lenses [J]. IEEE transactions on pattern analysis amp; machine intelligence， 2006， 28（8）： 1335?1340.

[5] DOOLEY D， MCGINLEY B， HUGHES C， et al. A blind?zone detection method using a rear?mounted fisheye camera with combination of vehicle detection methods [J]. IEEE transactions on intelligent transportation systems， 2016， 17（1）： 264?278.

[6] MEINEL L， FINDEISEN M， HE? M， et al. Automated real?time surveillance for ambient assisted living using an omnidirectional camera [C]// 2014 IEEE International Conference on Consumer Electronics. New York： IEEE， 2014： 396?399.

[7] KUBO Y， KITAGUCHI T， YAMAGUCHI J. Human tracking using fisheye images [C]// Proceedings of SICE 2007 Annual Conference. [S.l.： s.n.]， 2007： 2013?2017.

[8] CHIANG A T， WANG Y. Human detection in fish?eye images using HOG?based detectors over rotated windows [C]// 2014 IEEE International Conference on Multimedia and Expo Workshops. New York： IEEE， 2014： 1?6.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real?time object detection [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 779?788.

[10] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector [C]// European Conference on Computer Vision. [S.l.： s.n.]， 2016： 21?37.

[11] REN S Q， HE K M， GIRSHICK R， et al. Faster R?CNN： Towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（6）： 1137?1149.

[12] HE K M， GKIOXARI G， DOLLlláR P， et al. Mask R?CNN [C]// 2017 IEEE International Conference on Computer Vision. New York： IEEE， 2017： 2980?2988.

[13] LAW H， DENG J. CornerNet： Detecting objects as paired keypoints [J]. International journal of computer vision， 2020， 128（3）： 642?656.

[14] WEI X， WEI Y， LU X B. HD?YOLO： Using radius?aware loss function for head detection in top?view fisheye images [J]. Journal of visual communication and image representation， 2023， 90： 103715.

[15] QIAN Y Q， YANG M， ZHAO X， et al. Oriented spatial transformer network for pedestrian detection using fish?eye camera [J]. IEEE transactions on multimedia， 2020， 22（2）： 424?431.

[16] DUAN Z H， TEZCAN M O， NAKAMURA H， et al. RAPiD： Rotation?aware people detection in overhead fisheye images [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York： IEEE， 2020： 2700?2709.

[17] MINH Q N， LE VAN B， NGUYEN C， et al. ARPD： Anchor?free rotation?aware people detection using Topview Fisheye camera [C]// 2021 17th IEEE International Conference on Advanced Video and Signal Based Surveillance. New York： IEEE， 2021： 1?8.

[18] 張賽強，司紹峰，魯斌，等.一種基于旋轉框的魚眼圖像行人檢測算法[J].光子學報，2021，50（10）：364?374.

[19] WIEDEMER T， WOLF S， SCHUMANN A， et al. Few?shot supervised prototype alignment for pedestrian detection on Fisheye images [C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York： IEEE， 2022： 4141?4152.

[20] 韓松臣，張比浩，李煒，等.基于改進Faster?RCNN的機場場面小目標物體檢測算法[J].南京航空航天大學學報，2019，51（6）：735?741.

[21] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[22] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 936?944.

[23] FU J L， BAJIC I V， VANGHAN R G. Datasets for face and object detection in Fisheye images [J]. Data in brief， 2019， 27： 104752.

[24] YE Y Z， YANG K L， XIANG K T， et al. Universal semantic segmentation for fisheye urban driving images [C]// 2020 IEEE International Conference on Systems， Man， and Cybernetics. New York： IEEE， 2020： 648?655.

作者簡介：張 "瑤（1997—），女，山東濟寧人，碩士研究生，研究方向為計算機視覺、深度學習、圖像處理。

錢俊兵（1976—），男，云南昆明人，博士，副教授，研究方向為機器視覺、水下機器人、智能制造及圖像處理等。