基于全景圖像與人機交互的自動泊車系統

曹立波 岳鵬宇 張正陽 劉建國 黃梅珊

（1.湖南大學，汽車車身先進設計制造國家重點實驗室，長沙 410082；2.廣汽乘用車有限公司，廣州 511400）

主題詞：自動泊車 車位檢測 路徑規劃 路徑跟蹤

1 前言

自動泊車系統（Automatic Parking System，APS）能夠自動尋找車位并提前規劃路徑自主將車輛駛入，解決狹小車位的泊車問題，提升駕駛體驗，減少事故的發生。

近年來，國產汽車品牌逐步在其高檔汽車上搭載泊車輔助系統：2018年，百度基于Apollo平臺，在一輛搭載6 個攝像頭和12 個超聲波雷達的共享汽車上完成了自動泊車試驗，利用布置在車身上的大量傳感器完成對周圍環境的探測，進而規避行人和障礙物，同時可以實現停車位自動檢測、自主導航、自動泊車入位和自動還車功能。2019 年，小鵬推出搭載有多達20 個傳感器的車型，可以完成70%場景下的自動泊車，應對有線框和無線框的垂直車位、平行車位以及有線框的斜車位。

目前，自動泊車技術依然存在一些局限性，例如在泊車過程中難以應對突然出現的行人和車輛，在復雜的場景中難以精確識別車位中的各種障礙物，尤其是低矮物體、電線或洞穴。相對完善的自動泊車系統大多配置十余個攝像頭、雷達等各種傳感器及高算力芯片，成本高昂，影響了自動泊車功能的普及與應用，所以，研發成本低廉、效果穩定的自動泊車系統成為現實之需。

泊車過程可以分為環境感知與泊車控制2 個部分。環境感知用于搜索可用的停車位，判斷車輛是否停到合適的泊車位置，并在泊車過程中檢測障礙物。泊車控制包括路徑規劃、路徑跟蹤和控制車輛移動。在環境感知過程中，駕駛員通常可以輕松判斷車位是否可用，故由駕駛員完成車位最終判定和周圍環境的監測，車輛實現泊車過程控制，不失為一種明智的選擇。

基于以上分析，本文提出基于全景圖像與人機交互的自動泊車系統，采用環視圖像系統的4個攝像頭配合低成本控制器完成自動泊車過程。

2 車位識別

2.1 車位檢測

近年來，基于全景圖像的視覺車位檢測方法可大致分為基于線的方法[1-3]、基于標志點的方法[4-6]和基于語義分割的方法[7-8]。基于線的方法都是基于原始線特征，因而對真實復雜的環境不具有魯棒性。基于語義分割的方法需要進行后處理才能獲得車位，既耗時又不準確。相比較而言，基于標志點的方法更適于實際使用。

本文車位識別采用純視覺方案，基于空閑停車位網絡（Vacant Parking Slot-Net，VPS-Net）進行車位檢測和車位占據分類[9]，VPS-Net的模型結構如圖1所示。

圖1 VPS-Net結構

YOLOv3[10]是優秀的多目標檢測器。VPS-Net在車位檢測階段，將全景圖像作為輸入，利用YOLOv3同時檢測圖像中的“T型”和“L型”標志點及車位的頭部并直接分類為直角、銳角或鈍角頭部，標志點和頭部的示例如圖2所示。

圖2 不同類型車位頭部和標志點示例

考慮到實際應用中對車位檢測實時性的要求，需要在檢測速度與精度之間達到較好的平衡。根據Hui[11]的研究，使用MobileNet 的單步多框目標檢測（Single Shot MultiBox Detector，SSD）是在檢測速度和準確率之間取得均衡的最優方案。

因此，本文對VPS-Net 進行改進，使用SSDMobileNet v1替換原網絡中車位檢測部分的YOLOv3網絡，相比較而言，SSD-MobileNet v1 在滿足較小精度損失的前提下具有更快的推理速度。

2.2 完整車位預測

本文使用文獻[9]中的方法對檢測到的車位標志點與車位頭部進行配對，同時預測完整的車位。

2.2.1 車位標志點配對

假設P1、P2為車位的2個標志點，矩形B為覆蓋車位頭部的檢測區域，B中檢測到的車位標志點存在4種情形，如圖3所示。

圖3 車位標志點與檢測區域的關系

對于圖3a的情形，P1、P2即為2個成對的標志點。

對于圖3b 和圖3c 的情形，如果同時滿足車位頭部的預測置信度大于95%，則Pi的另一個配對車位標志點的坐標為：

式中，bj為B的4個頂點之一的坐標；～bj為bj的對角頂點坐標；Δw、Δh為控制B的寬、高的超參數。

對于圖3d的情形，先計算B的4個頂點區域的歸一化平均強度（Normalized Average Intensity Values，NAIV），將含有最大NAIV的一組對角頂點選為B中的成對標志點：

式中，Vi為以第i個頂點為中心，大小為10像素×10像素的區域Ri的NAIV；max(I)為圖像I的最大強度；N、(x,y)分別為Ri區域的像素數量及其坐標。

如果區域B中含有多于2 個的標志點，則最接近B的對角線頂點的2個標志點為配對標志點。

配對完成后需要對車位類型進行判斷。垂直車位和平行車位的頭部均為直角頭部，但是2種車位的2個標志點間的距離不同，如果標志點間的距離小于閾值t，則車位類型為垂直車位，反之為平行車位；如果檢測到的車位頭部為鈍角或銳角類型，則車位類型為斜車位。

2.2.2 完整車位預測

在全景圖像中，大多數停車位并不能完整顯示，因此，需要對完整的車位進行預測。完整車位可由4個頂點表示，P1、P2為已經配對的2 個車位標志點，另外2 個標志點P3、P4可計算為：

式中，αi、di分別為停車位的角度和深度。

計算出P3、P4后還須確定車位的方向，即標志點是按順時針排列或逆時針排列，此時，可以通過計算車輛自身形成的矩形框與車位形成的矩形框之間的交并比（Intersection Over Union，IOU）來判斷。正常行駛過程中，車輛一定不會與車位重疊，則IOU 為零，如圖4 所示；在泊車過程中，針對垂直車位或斜車位，車輛從入口線倒入車位，則車位方向向下，如圖5 所示。如果是平行車位，入口線的斜率為正，則車位位于車輛的右側，否則位于左側，如圖6所示。IOU的計算方法為：

圖4 正常行駛中車輛與車位的位置關系

圖5 泊車過程中判斷垂直車位（斜車位）方向的示意

圖6 泊車過程中判斷平行車位方向的示意

式中，A1為車輛自身形成的矩形框；A2為車位形成的矩形框。

2.3 車位占據分類

車位占據分類是一個二分類問題，主要判斷車位狀態是否為空。經典的基于機器學習的方法使用人工設計的特征來表示停車位樣本，然后訓練支持向量機（Support Vector Machine，SVM）分類器模型實現分類。基于深度學習的方法直接使用停車位分類樣本來訓練深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN）模型，可以應對光照變化和不同環境的影響。VPS-Net[9]基于AlexNet[12]設計了DCNN 模型，由于模型加速時底層接口NNAPI（Android Neural Networks API）不支持只對圖像的一條邊進行填充，所以本文對VPSNet的分類網絡進行了少量修改，網絡結構如表1所示。

表1 分類網絡結構

使用預先采集并標注的車位分類數據集對網絡進行訓練，在訓練迭代過程中網絡會逐漸學習圖像的特征，并輸出圖像是否為空的概率。分類過程為：將上一步檢測到的車位從全景圖像中裁剪，并經過透視變換將圖像統一正則化處理為120 像素×54 像素；將圖像輸入訓練好的分類卷積神經網絡，輸出車位的狀態。

3 路徑規劃與跟蹤方案

在全景圖像生成過程中，可以很容易獲得從全景圖像坐標系到以車輛為中心的世界坐標系的轉換矩陣。這樣，一旦檢測到空閑車位，即可根據轉換矩陣求出其實際位置，并發送到路徑規劃模塊。路徑規劃模塊負責求解車輛到車位的最佳路徑；當完成相應的路徑規劃時，需要控制車輛按照既定的路線行駛，正確地停在終點，且保證車輛的位姿與規劃的位姿一致。此時需要路徑跟蹤的參與，實時調整前輪轉角與車速，控制車輛按照規劃好的路徑行駛。

3.1 路徑規劃

本文采用圓弧與直線相連接的方法對3 種類型的車位進行泊車路徑規劃。為了方便不同車位的路徑規劃以及盡量減少對泊車空間的需求，針對3種不同的車位均以最小轉彎半徑進行路徑規劃，保證在正常情況下能夠實現不同車位的泊車。對于垂直車位和斜車位，根據車輛與車位入口線的不同橫向距離提出了不同的泊車路徑規劃。對于平行車位，同時考慮車輛與車位入口線的不同橫向距離和車位的不同長度，本文提出了兩步式和四步式泊車路徑規劃方法，如圖7～圖10所示。

圖7 垂直車位路徑示意

圖8 斜車位路徑示意

圖9 兩步式平行泊車路徑示意

圖10 短平行車位下的四步式平行泊車路徑示意

3.2 路徑跟蹤

模型預測控制[13]（Model Predictive Control，MPC）作為一種基于模型的閉環控制策略，具有良好的控制效果和較強的魯棒性，能夠在一定程度上克服過程的不確定因素，處理過程中的各種約束。MPC 系統的結構如圖11所示。

圖11 模型預測控制原理

路徑跟蹤控制器需要對MPC的控制器模塊進行重新設計，該模塊結合了預測模型、目標函數和約束條件進行最優化求解：

a.泊車控制器的預測模型。首先需要將低速狀態下的車輛運動學模型線性化，以應用于線性時變模型預測控制算法。線性化方法有很多種，主要分為精確線性化和近似線性化。精確線性化一般用于具體系統，不具備普遍適用性。近似線性化具有較強的適用性，使用較為簡單。本文選用近似線性化的方法。

b.泊車控制器的目標函數。為了對每個采樣周期進行控制增量的限制，避免被控系統的控制量發生突變，本文采用軟約束方法[14]。

c.泊車控制器的約束條件。為了實現路徑的準確與平穩跟蹤，需要對車輛的控制量和控制增量進行約束。控制量約束和控制增量約束表達式分別為：

式中，u(t+k)為(t+k)時刻控制系統的輸出，包含前輪等效轉角和后軸中心速度；umin(t+k)、umax(t+k)分別為(t+k)時刻系統控制量的最小值和最大值集合；Δu(t+k)為(t+k)時刻的系統控制增量；Δumin(t+k)、Δumax(t+k)分別為(t+k)時刻系統控制增量的最小值和最大值集合；Nc為控制時域。

4 系統工作流程

如圖12 所示，基于全景圖像與人機交互的自動泊車系統的主要工作流程為：

圖12 基于全景圖像與人機交互的自動泊車流程

a.駕駛員啟動自動泊車系統后，車輛在駕駛員的操作下開始在全景圖像中自動搜索停車位。

b.搜索到可能的停車位時，系統在全景圖像中通過人機交互界面提示駕駛員確認是否可以停車。

c.駕駛員確認可以停車后，車輛進行自動泊車路徑規劃并開始自動泊車，同時系統在全景圖像中提示駕駛員注意觀察車輛周圍環境。

d.遇到危險時，駕駛員踩下制動踏板立即中止泊車，系統通過人機交互界面詢問是否繼續泊車。

e.駕駛員判斷危險解除后，確認繼續泊車，系統將繼續完成后續操作。

5 實車驗證

5.1 實車平臺

本文使用一輛裝有全景影像系統的乘用車驗證所提出系統的可行性，如圖13 所示，其在左右后視鏡、車頭和車尾各裝有1個魚眼攝像頭，用于采集車輛周圍的環境并生成全景照片。

圖13 實車試驗平臺

5.2 算法移植

本文使用如圖14所示的NXP i.MX 8M Plus EVK作為實車運算平臺，其帶有的神經處理單元（Neural Processing Unit，NPU）運行速率最高可達2.3×1012次/s，可以大幅加快深度學習模型的推理速度，從而保證系統的實時運行。

圖14 運算平臺

本文使用前文所提出的實車平臺采集了訓練數據。用于車位檢測模型訓練的車位數據包括6 種環境條件，即室內、室外白天、室外夜晚、室外雨天、室外陰影和室外路燈，3 種地面條件，即水泥路、柏油路和瓷磚路，3 種車位類型，即垂直車位、平行車位和斜車位，足以覆蓋絕大多數的泊車環境。將車位數據集中的各車位裁剪制成了車位分類數據集。其中，車位檢測數據集含有9 827 張訓練照片、3 962 張測試照片，車位分類的數據集含有8 921張訓練照片和2 147張測試照片。

在裝有NVIDIA TITAN Xp 顯卡的計算機上進行模型訓練，量化后移植到開發板。深度學習模型的量化可以大幅減小模型占用的存儲空間，同時提高計算速度。為盡量減少模型量化造成的精度損失，本文在訓練時采用量化感知訓練。圖15所示為算法訓練并執行量化的步驟。

圖15 模型量化流程

首先，在模型訓練階段，量化感知訓練會在網絡可識別的某些操作內嵌入偽量化節點，統計訓練時流經該節點的最大、最小值以備模型量化時使用。偽量化節點會參與模型訓練的前向推理過程，同時獲得量化損失以減少模型量化造成的精度損失。

網絡訓練收斂后，將訓練好的網絡參數與模型結構使用凍結工具（freeze_graph）凍結為一個帶參數的模型文件，最后使用TOCO 工具將模型量化為uint8 并轉換為NPU可以加速的tflite文件。

5.3 結果分析

使用上述實車平臺試驗驗證本文所提出的系統的泊車效果，結果表2 所示。驗證結果表明，該系統可以可靠地完成自動泊車。

6 結束語

本文提出了一種基于全景圖像與人機交互的自動泊車系統：使用SSD-MobileNet v1進行車位頭部和標志點檢測，再推理出完整車位，創建了一個分類網絡用來判斷車位是否被占用；使用圓弧-直線法進行路徑規劃，使用模型預測控制進行路徑跟蹤；基于NXP i.MX 8M Plus EVK 運算平臺完成了算法開發，使用量化感知訓練在保證盡量減小量化損失的前提下提高模型推理速度。

本文提出的自動泊車系統將駕駛員對環境的感知和判斷加入到自動泊車過程中，可以大幅減少自動泊車系統所用傳感器的數量，在降低成本的同時保證自動泊車效果。