一種基于環視圖像的空停車位檢測方法

李 偉 東， 鐘 健 聰， 孫 浩， 李 冰， 唐 琪， 鄭 國 君*

(1.大連理工大學 汽車工程學院，遼寧 大連 116024；2.大連理工大學人工智能大連研究院，遼寧 大連 116000)

0 引 言

隨著社會的不斷發展與生活水準的提高，全球汽車保有量逐年增加，停車難的問題越發突出.由此引起了對自動泊車系統的廣泛研究[1]，而停車位檢測是自動泊車系統的重要組成部分.停車位檢測的方法可以分為4種類型：基于用戶界面的方法、基于自由空間的方法、基于車位標記的方法和基于基礎設施的方法.基于用戶界面的方法需要駕駛員手動選擇停車位，基于基礎設施的方法需要借助外部設備來指定停車位.而基于自由空間[2-5]與基于車位標記的方法能夠實現完全自動化且能僅通過車載傳感器來正確檢測停車位，因此得到了廣泛的研究.基于自由空間的方法是通過車位旁邊停有的車輛來檢測空停車位的.該方法在空停車位旁邊停有合適的車輛時能夠準確檢測，但當沒有停靠車輛時就無法實現停車位檢測.基于車位標記的方法不依賴于相鄰車輛就可以檢測停車位，目前大多在環視圖像上進行.現在車輛上逐漸配備了全景監控影像系統(around view monitor，AVM)，位于車輛周圍的4個魚眼攝像頭拍攝圖像，通過相關算法將其進行畸變矯正、逆投影變換以及環視拼接，就可以得到車輛周圍的環視圖像.因此，根據AVM得到的環視圖像來檢測空停車位具有深遠的實際意義.

目前基于環視圖像的停車位檢測方法主要可以分為3類：基于線的方法、基于點的方法和基于語義分割的方法.基于線的方法中，Wang等[6]采用基于Radon變換的車位特征提取方法對車位進行提取，通過聚類和濾波來檢測車位線，能有效抑制噪聲的影響.白中浩等[7]提出了一種通過識別車位線來確定停車位的算法，采用金字塔分層搜索策略，利用Hough變換檢測車位線，進而確定車位角點的候選點，再采用遺傳算法進行車位角點的匹配，確定最終停車位.Hamada等[8]通過邊緣檢測及Hough變換等操作來檢測平行線對和垂直于平行線對的線，并通過組合這些線來識別停車位.Lee等[9]提出了一種基于Directional-DBSCAN 的線級特征聚類算法對不同類型的車位線進行檢測，在線段較短或者不清晰的情況下都能較好地檢測出車位線，再設計一種決策樹分類器來確定停車位類型.Li等[10]提出了一種基于LSD算法的線聚類方法來檢測車位線，根據其幾何特征對車位線進行配對生成候選停車位，再對車位入口進行檢測得出最終停車位.

不同于基于線的方法，有些停車位檢測方法是基于點的.Suhr等[11]利用Harris角點檢測器來檢測停車位的角點，然后進行匹配，根據停車位的幾何特征得到各種類型的停車位.Zhang等[12]提出了DeepPS，先使用YOLOv2[13]檢測模型檢測車位標記點，再使用分類網絡獲取車位入口，最后根據檢測結果推斷出停車位.Huang等[14]提出了一種使用方向性標記點回歸的停車位檢測方法，通過神經網絡模型得到方向標記點，根據檢測到的標記點推斷出停車位.Wu等[15]提出圓形描述符來描述不同類型的車位標記點，表現出在復雜場景下檢測停車位的能力.Li等[16]提出了一種基于YOLOv3[17]的停車位檢測方法，將停車位的分類與標記點的檢測相結合，相較于之前需要配對標記點的方法，簡化了檢測過程，但仍然會出現標記點不明顯時可能無法檢測或者對停車位是否為空閑狀態分類錯誤的情況.

通過信息化系統，提供了項目考核與績效測量的基準所需要的工作內容、工作量、完成時間、完成效果等關鍵要素的數據，有助于軍工科研單位建立一套以貢獻為導向、以執行率為參考、以效果為考核的評價體系，實現合理有效的評價機制，充分發揮人員工作積極性。

(2)樣品的Ba/Sr比值為2.35～50.47，U/Th比值為1.32～24.37，其稀土元素分配模式、∑REE、LREE/HREE和(La/Ce)N值表明硅質巖主要形成于大陸邊緣，沉積時還受到熱水作用影響。

為了提高復雜環境下停車位檢測的可靠性，出現了一些基于語義分割的停車位檢測方法.Wu等[18]提出了一種VH-HFCN網絡，從停車位和車道標線中提取線性特征信息，有效地分割各種標記，在分割標記的基礎上再通過骨架抽取、線性Hough變換和排列匹配等處理得到最終的停車位和車道.Jiang等[19]提出了一種DFNet分割模型，通過動態損失權重和殘差融合塊來提高預測精度，能夠準確分割出受背景噪聲影響較小的車位標線，再通過后處理得到停車位.Jiang等[20]利用Mask R-CNN[21]得到標記點的分割結果，再利用LSD算法在標記點分割的基礎上檢測車位入口線和平行線，進而確定停車位，該方法在復雜光照情況下有較好的檢測效果.雖然上面的分割模型擁有較強的性能，但需要在標記點或者車位線的分割基礎上進行后處理，如骨架抽取、線性Hough變換或車位入口線和平行線檢測等.若車位標記點或標記線不清晰或者出現遮擋情況下分割效果差，則無法準確得到最終的停車位信息.

恩智浦半導體(NXP Semiconductors)以其領先的射頻、模擬、電源管理、接口、安全和數字處理方面的專長，提供高性能混合信號和標準產品解決方案。這些創新的產品和解決方案可廣泛應用于汽車、智能識別、無線基礎設施、照明、工業、移動、消費和計算等領域。該公司在全球逾25個國家設有業務執行機構。

1 停車位檢測方法

本文提出的停車位檢測方法是基于環視圖像進行的，用于得到環視圖像的4個攝像頭與車輛的位置關系如圖1所示.該方法將整個空停車位視為一個整體目標，在進行目標檢測的同時進行語義分割，再對語義分割結果進行多邊形擬合得到最終的空停車位.該方法可以直接檢測得到空停車位，而不需要進行停車位的占用分類或者對車位標記進行推斷匹配.同時，可以對不同類型停車位進行檢測.該方法可以檢測車位線及角點不清晰或者出現遮擋的不同類型停車位(如圖2所示).為了得到精確的語義信息，檢測網絡是在Mask R-CNN基礎上進行的改進.為了提升檢測速度，運用MobileNetV3進行特征提取，并將網絡中的普通卷積替換成深度可分離卷積.同時，為了得到精確的空停車位信息，在得到語義分割結果后添加Douglas-Peucker算法進行擬合，在圖3中可以看到停車位檢測網絡模型的示意圖.停車位檢測過程中，首先使用MobileNetV3[10]提取特征并構建特征金字塔(feature pyramid network，FPN)，再經過區域生成網絡(region proposal network，RPN)以及ROI Align層進行分類、邊框回歸和語義分割，最后利用Douglas-Peucker算法對語義分割結果進行多邊形擬合得到車位框.利用該模型可以直接檢測得到空停車位，而不需要進行停車位的占用分類.

1.1 特征提取構建特征金字塔

特征提取網絡負責對輸入圖片進行特征提取用于特征金字塔的構造，在Mask R-CNN中選擇的是ResNet-101，而本文選擇MobileNetV3對輸入的環視圖像進行特征提取.該網絡作為一種輕量級網絡，參數量相較于ResNet-101有顯著減少，可提升網絡檢測速度.如圖4所示，輸入512×512×3的環視圖像，經過特征提取網絡得到長寬分別壓縮了2次、3次、4次、5次的特征層C2、C3、C4、C5，再利用這些特征層構造特征金字塔，獲得有效特征層P2、P3、P4、P5、P6.其中MobileNetV3 中的bneck結構如圖5所示，其綜合了以下幾個特點：

(1)在語義分割輪廓曲線兩點之間連接一條線段，該線段為曲線的弦.

(2)MobileNetV1的深度可分離卷積塊(depthwise separable convolutions).深度可分離卷積塊由深度可分離卷積和1×1卷積兩部分組成.以一個3×3大小的卷積層為例，輸入通道數為8，輸出通道數為16.標準卷積所需的參數個數為8×16×3×3=1 152.而利用深度可分離卷積塊所需的參數個數為8×3×3+8×16×1×1=200.使用深度可分離卷積塊可以大幅減少模型參數及運算量.

其中

(4)利用h-Swish代替Swish函數.h-Swish是基于Swish[22]的改進，Swish函數是Google于2017年提出的一個激活函數.Swish具備無上界有下界、平滑、非單調的特性，并且其在深層的模型上效果優于ReLU函數.但這種激活函數在移動設備上有較大的成本，因此Ramachandran等提出了h-Swish函數，利用一個近似函數來逼近Swish函數[22].使用h-Swish激活函數可以減少運算量，提高模型性能，公式如下：

(1)

(3)輕量級的注意力模型.在通道上施加注意力機制，先對3×3深度可分離卷積后的特征層進行全局平均池化，再進行兩次全連接得到特征層每個通道的權重，對特征層進行加權.這就是通過注意力機制來調整每個通道的權重.

ReLU6(x)=min(6，max(0，x))

(2)

1.2 建立分類、邊框回歸及語義分割

根據獲得的有效特征層P2、P3、P4、P5、P6的大小設置對應的先驗框.將有效特征層P2、P3、P4、P5、P6傳入區域生成網絡中，獲取先驗框調整參數以及確定先驗框內部是否包含停車位.再根據區域生成網絡獲得的結果對先驗框進行調整獲得候選框.候選框是對環視圖像中車位初步篩選的結果，代表了圖像中某些區域可能存在停車位.ROI Align層利用候選框對相應的有效特征層P2、P3、P4、P5進行截取以獲得局部特征層，再將局部特征層大小調整成一致，即利用插值計算非像素坐標點處的近似像素值使得對于不同大小的局部特征輸入都可以得到相同大小的輸出.將調整后的局部特征層傳入分類、邊框回歸模型中，判斷獲得的候選框中是否真實存在停車位，并對候選框進行調整以獲得預測框.利用該預測框可以初步得到停車位在圖片中的大致區域位置，為得到更為準確的停車位信息，再利用預測框對特征層進行截取與調整，通過語義分割模型對像素點進行分類，獲得整個停車位語義分割結果.

綜上所述，通過對上述影響因素的分析，不僅對政府部門工作具有重要的啟示作用，同時也為公司管理層提供了一定的借鑒參考。尤其是我國在近幾年以來加大力度推動私募基金投資的發展，并實施了相應的規范措施，使其無論在完善上市公司治理結構方面，還是在解決與減少投資不足問題方面，都初見成效，而且在進行長遠戰略投資規劃時，應側重首選私募股權基金。

相對于其他普通高校學生來說，高職院校學生對新知識、新事物的認知能力相對偏弱，自主學習能力相對較差。再加上會計理論知識十分抽象，初學者“丈二和尚摸不著頭腦”，部分學生在學習一學期之后仍然不明白“借”“貸”含義，不理解會計分錄，不能完全理解會計要素，賬務處理經常稀里糊涂。久而久之，產生(畏難)恐懼心理甚至產生厭學情緒，即使勉強學了一點理論知識，卻也支離破碎。

1.3 擬合語義分割結果得到空停車位

獲得整個停車位語義分割結果后，使用Douglas-Peucker算法對得到的語義分割停車位輪廓進行多邊形擬合，通過動態調整點到相對應線段距離的閾值將停車位輪廓擬合為停車位在環視圖像中的形狀，擬合情況如圖6所示.當停車位語義分割內部出現不屬于停車位的像素點或者不是閉合的時候，需要對其進行填充再根據整體輪廓曲線擬合停車位.用Douglas-Peucker算法對停車位進行擬合步驟如下：

(1)MobileNetV2的具有線性瓶頸的倒殘差結構(the inverted residual with linear bottleneck).倒殘差結構主要可以分成主干部分和殘差邊部分.主干部分先利用1×1卷積升維，再利用3×3的深度可分離卷積進行特征提取，最后利用1×1卷積降維；而殘差邊部分是輸入和輸出直接相接.

為了驗證本文提出方法的性能，在ps2.0數據集和自注釋數據集上進行了實驗.ps2.0數據集是目前較大、較全面的環視圖像停車位檢測數據集，包含了不同類型、不同情景下共12 165張環視圖像，分為包含9 827張圖像的訓練集和包含2 338張圖像的測試集.將訓練集中的圖像用于停車位檢測模型訓練，從測試集中挑選出車位線及角點不清晰或者出現遮擋的圖像共197張，用于測試模型對車位線及角點不清晰或者出現遮擋下的檢測情況.197張測試圖像分為6種情況：室內、室外正常日光、室外雨天、室外陰影、室外傾斜和室外路燈.需要注意的是，原始ps2.0數據集中未提供環視圖像中空停車位語義分割標注信息，因此對其進行了手動標注.同時，為了評估所提出方法的泛化能力，從自注釋數據集中選出249張車位線及角點不清晰或者出現遮擋的圖像進行實驗.

(3)比較該距離與預先給定閾值的大小，如果小于閾值，則該線段作為輪廓曲線的近似，這段輪廓曲線處理完畢.

上述方法需要環視圖像中存在準確的車位標記信息，當車位線及角點不清晰或者出現遮擋時，停車位檢測精度較低或無法檢測.有些方法需要進行后處理，步驟煩瑣且檢測速度較慢.針對以上問題，本文提出一種基于環視圖像的空停車位檢測方法，即將整個空停車位視為一個整體目標，在進行目標檢測的同時進行語義分割，再對語義分割結果進行擬合，在環視圖像上不用進行標記點或標記線匹配且不用對停車位占用情況分類而得到空停車位信息.

本文提出的方法使用Tensorflow框架實現，所有實驗均在裝有Intel(R)Core(TM)i7-9700 CPU @3.00 GHz、NVIDIA GeForce RTX 2070 SUPER顯卡和32 GB RAM的服務器上進行.在訓練過程中，將輸入圖像調整為512×512，使用初始學習率為1×10-5的Adam優化器，所有數據訓練100次.訓練時若檢測網絡的損失值在10次內都不下降，提前終止訓練防止過擬合.

(5)當所有曲線都處理完畢時，依次連接各個分割點形成的折線，即可以將其作為輪廓曲線的近似.

2 實驗結果及分析

2.1 數據集

(2)得到輪廓曲線上離線段距離最大的點，計算其與線段的距離.

2.2 實驗條件

(4)如果該距離大于閾值，則用離線段距離最大的點將曲線分為兩段，并分別對兩段曲線進行(1)～(3)的處理.

2.3 空停車位檢測實驗

在實驗中，采用精確率P、召回率R和單幀圖像檢測時間作為空停車位檢測的評價指標.精確率也稱為查準率，指在所有被檢測為空停車位的樣本中被正確檢測為空停車位樣本所占比例.召回率也稱為查全率，指在實際為空停車位的樣本中被正確檢測為空停車位樣本所占比例.其定義如下：

(3)

(4)

式中：Stp表示正確檢測出空停車位的樣本數量；Sfp表示不是空停車位被誤檢測為空停車位的樣本數量；Sfn表示空停車位被誤檢測為不是空停車位的樣本數量.

在整體新能源戰略布局方面，廣汽集團于2017年非公開發行A股股票150億元，主要用于智能網聯、新能源與前瞻技術、關鍵零部件以及自主品牌發展，今年繼續增強“三電”及智能網聯核心技術的研發，全力推進廣汽智聯新能源汽車產業園項目建設以及廣汽寧德時代電池合資項目等合作。未來隨著新能源市場規模不斷擴大，也將迎來新能源自主品牌、造車新勢力、合資品牌和豪華品牌的激烈競爭，廣汽集團全產業鏈的新能源布局將具備較強競爭優勢。

表1顯示了本文方法對選出的197張車位線及角點不清晰或者出現遮擋的測試圖像的檢測性能.在實驗中共有251個空停車位，正確檢測出244個空停車位，產生了4個誤檢，精確率為98.39%；召回率為97.21%.由此得出，該方法能準確地對車位線及角點不清晰或者出現遮擋的停車位進行檢測，可以直接得到空停車位而不用再對停車位占用情況進行分類判斷.

表1 空停車位檢測結果

表2顯示了當特征提取網絡采用ResNet-101、MobileNetV1以及MobileNetV2時與本文采用的MobileNetV3進行停車位檢測時的性能對比.從表2中可以看出本文提出方法相較于特征提取網絡采用ResNet-101時在檢測精度略有提高的情況下，檢測速度得到較大提高，單幀圖像檢測時間為11 ms.相較于特征提取網絡采用MobileNetV1以及MobileNetV2時，在檢測速度略有提高的情況下，檢測精度得到較大提高.

表2 不同特征提取網絡停車位檢測性能比較

表3中顯示了ps2.0數據集用于模型測試的圖像中不同環境條件下具體空停車位的檢測結果.同時為了評估提出方法的通用性，對自注釋數據集進行了實驗，實現了97.24%的精確率和96.70%的召回率.結果表明，該方法具有優秀的性能和較好的泛化能力.

整個大壩填筑為面板堆石壩，需要填筑石方總量約540萬m3，實際填筑工期約30個月，平均每月需18萬m3，按每車24m3計算，每天需要車數18萬/30d/24m3每車=250車，但實際高峰期每天可能達到450～500車左右，傳統過磅方式根本沒有辦法滿足生產需要，人員過磅記賬強度也沒有辦法滿足要求，所以夾巖水利工程決定應用無人值守自動稱重系統。通過現代射頻技術、計算機軟件技術、遠程數據傳送技術、及地磅鋼梁結構設計的整合來完成這套全自動無人稱重記錄系統工程。

表3 不同環境條件下的停車位檢測結果

3 結 語

本文提出了一種在環視圖像中車位線及角點不清晰或者出現遮擋情況下的空停車位檢測方法.該方法將整個空停車位視為一個整體，可以不依賴于環視圖像中車位線或角點信息來進行空停車位檢測，而且步驟簡便，具有較好的檢測速度，不需要進行停車位占用分類就可以直接檢測出空停車位.利用MobileNetV3進行特征提取并構建特征金字塔，從而進行分類、邊框回歸并得到空停車位語義分割結果，根據Douglas-Peucker算法進行擬合就可以得到空停車位.為了評估所提出方法的性能，在ps2.0數據集和自注釋數據集上進行了實驗.結果表明，該方法能有效、準確地檢測車位線及角點不清晰或者出現遮擋情況下的空停車位，具有優秀的性能與泛化能力.