基于深度學習的車輛部件半自動標注研究

中圖分類號：TP391.4 文獻標志碼：A 文章編號：2095-2945（2025）13-0014-07

Abstract：Intheraofartifialinteligene，intelligentlossassssmenttechnologyusingdeplearningisageneraltrendin thedevelopmentandtransformationofautomobileinsurance.Itcangreatlyreduce thecostofmanuallossassessmentand improvetheefciencyoflossassessment;deeplearningmodelsrequirealargenumberofannotatedsamplesfortraining，but currentlythereisnopublicdatasetonvehicleinjurytypesandcomponents.Thispaperproposesasemi-automaticlabeling methodforvehicleparts，first，amodelthatcanberoughlylabeledistrainedthroughaseddataset，andthenthemodelis usedforautomaticlabelingofvehicleparts;onthebasisofautomaticlabeling，asmallnumberofmanualcorectionsaremade， andthenexpandedtothedataset，andthemodelisre-trainedtoimprovetheaccuracyofre-labeling.Theexperimentalresults showthatthesemi-automaticlabelingmethodcanefectivelyimprovethelabelingefciencyofvehiclepartsandreducethe labor and time costs required for data labeling work.

Keywords： deep learning; image segmentation; semi-automatic annotation; vehicle parts; data

據公安部統計，截至2024年底，我國汽車保有量突破4.5億輛。僅2023年，中國境內發生的汽車交通事故就有155158起，日均425起，車險理賠過程的定損主要依賴于人工進行，耗時長，并且人工成本巨大。

雖然一些保險公司推出了各自的智能定損產品，但并沒有大面積鋪開，原因是多方面的，包括產品不成熟、很難滿足保險核賠的實際需求等3，但基于深度學習的識別準確率不夠高是主要原因之一。深度學習需要大量的樣本進行訓練學習，但是自前公開的車輛數據集都無法滿足實際的定損需求，如PASCAL-Part數據集將車輛部件劃分為13類，不符合定損時部件細分類的要求，其他數據集則不包含車輛部件相關的標注信息。由于車牌等信息涉及個人隱私，真實的車輛損傷部件樣本數據難以獲取。此外，車輛部件標注的標簽數較多，若采用標注工具進行人工標注，工程量巨大且效率低下，費時費力。人工標注也需要車輛部件相關的先驗知識，若非相關從業人員進行標注，可能會出現標注不準確的問題，故需要一種準確、高效的車輛部件標注方法。

本論文提出模型訓練和標注工作相結合的車輛部件半自動標注方法，不斷增加訓練集，提高標注的效率，循環往復，可以提高最終的識別準確率。

1相關工作

圖像標注是一種對圖像進行語義描述的方式，在生物醫學、自動駕駛等領域具有廣泛的應用。人工標注方法包括采用標注工具如LabelMe[4、RectLabel等進行標注，以及利用數據標注眾包平臺如阿里眾包、百度眾測等進行標注。由于人工標注方法時間成本高且效率低下，自動圖像標注技術在20世紀90年代左右被提出，用于處理海量數據、減少人工成本。

自動圖像標注技術可以大致劃分為基于傳統機器學習的方法和基于深度學習的方法。2012年前以傳統機器學習方法為主，包括支持向量機、近鄰模型、圖模型等，如Cusano等基于多分類支持向量機對風景圖像中的天空、水等區域進行標注；Makadia等將圖像標注視作檢索問題，結合近鄰模型提出了新的圖像標注方法。2012年后，隨著硬件設備的運算能力大幅提升，深度學習技術得到了快速發展，研究人員將其應用到自動圖像標注領域，獲得了更好的性能[]。如Ma等[采用深度學習模型AlexNet[提取圖像特征，結合傳統機器學習方法，在經典圖像數據集上取得了不錯的標注效果;Ke等[13發揮深度學習端到端學習的優勢，提出了基于深度CNN的自動圖像標注模型。除了深度卷積神經網絡，基于深度學習技術的語義分割方法也被應用于自動圖像標注領域，如由改進全卷積神經網絡FCN[4得到的U-Net[5]，為醫學細胞分割和標注作出了巨大貢獻。Singh等將MaskR-CNN模型和PANet模型進行集成對車輛部件進行標注。

此外，將人工標注與自動標注相結合的半自動標注方法可以保證標注的準確性，并提高圖像標注的效率。陳哲等基于U-Net模型生成初始標注，再設計了輔助醫學圖像進行標注的半自動繪畫系統，其將標注工具與標注模型相結合，采用模型進行輔助標注以提高標注工作的效率。Bota等[18以人類活動識別為任務，提出了一種基于Self-Training的半監督主動學習方法，從而半自動化標注過程，減少標注數據的工作量。

基于深度學習技術的圖像標注方法一定程度上提高了傳統圖像標注的精度，但這些方法都依賴于一定數量的有標簽數據。而車輛損傷部件樣本數據難以獲取，有標簽數據的不足會導致模型精度的大幅下降，故這些方法難以適應車輛部件的標注任務。本文針對標簽數量大、樣本數據難以獲取的車輛部件標注任務，將標注工作融入標注模型的迭代訓練中，提高標注效率的同時提升標注模型的精度。

2半自動標注方法設計

半自動標注的目的旨在減少人工標注工作量，卻能不斷擴大數據集，加大深度學習樣本，進而進一步提升識別精度。提出了一個半自動標注的框架，用于車輛零部件數據集的更新維護，也能直接嵌入到正式運行的智能定損系統，實時地更新擴大數據集，提升系統識別的精度。

2.1半自動標注框架

半自動標注中，有人工干預的部分，也有自動識別的部分，具體如圖1所示。

半自動標注方法首要步驟為人工標注種子數據集，訓練一個初始的標注模型。人工標注采用標注工具對車輛部件進行手工標注，得到適量的車輛部件分割數據，將其作為種子數據集訓練一個初始的車輛部件標注模型。

然后，便可由訓練好的模型對新數據進行自動標注。通過對模型識別結果的打分，判別是否需要進行人工修正。標注結果較佳（模型識別分數大于人工設定的閾值）的數據可以直接加入到數據集中，標注有誤（包括漏標和錯標）的數據通過人工采用標注工具修改后再加入到數據集中。

當數據集增大到一定大小，便可利用新的數據集重新訓練模型，從而提高模型的精度，改善自動標注的效果。模型更新后繼續識別新數據增大數據集，以此不斷迭代更新模型，直到模型精度達到目標要求。

隨著模型的精度不斷提升，人工修正的工作量也不斷減少。半自動標注便是將模型訓練和標注工作相結合，標注新數據的同時提高模型的精度，以此達到良性循環解決標注困難的問題。

2.2 車輛部件標注模型的設計

半自動標注框架中，設計一個好的標注模型非常重要。車輛部件標注任務本質是圖像語義分割，2014年，融合深度學習技術的全卷積網絡FCN被Long等提出，掀起了語義分割方法的研究熱潮。隨后新的模型層出不窮，其中DeepLab[系列以不斷改進的模型結構獲得了突出的分割性能，DeepLab 提出了融合不同感受野特征圖的空洞空間金字塔池化（ASPP），DeepLab 則融合編碼-解碼結構，引入上下文信息，在PASCALVOC2012和Cityscapes數據集上獲得了相近的準確率。本文以DeepLab 模型為基礎，提出適應于車輛部件標注任務的改進模型。

實際定損中，受損車輛圖像的拍攝角度不定，遠近不一。有時為了定位部件的具體位置，將整輛汽車拍攝人鏡，該類受損車輛圖像中需進行分割的部件類別達十多種；而有時為了清楚地拍攝受損情況，拍照視角離車輛較近，受損車輛圖像中僅包含少量的部件。表1統計了本文數據集中各部件類別數范圍對應的受損車輛圖像數，數據顯示出受損車輛圖像的尺度變化較大。具體地說，部件類別數多的圖像中，單個部件的面積占比較小，而部件類別數少的圖像則部件面積占比較大，甚至單個部件占據整張圖像。

考慮到受損車輛圖像的尺度跨度大，需要融合不同感受野的特征圖，并擴大卷積的感受野的上下限。空洞卷積可以保持圖像分辨率的同時擴大感受野，DeepLab系列的ASPP模塊聯合了不同空洞率的空洞卷積，達到了融合不同感受野特征圖的效果。ASPP模塊可以表示為公式（1）

式中： x 表示骨干網絡提取的高層語義特征； 表示卷積操作， r 表示空洞率， k 表示卷積核的尺寸； p （ x ） 表示

全局平均池化。

本文將空洞卷積空間金字塔模塊（ASPP）替換為密集連接型的ASPP[22]，如圖2所示，進一步擴大了ASPP模塊的最大感受野，利于處理部件面積占比較大的圖像。密集連接型ASPP在進行不同空洞卷積之間增加連邊，獲得更大的感受野和更密集的特征金字塔。普通ASPP模塊的最大感受野即最大空洞率的卷積的感受野，而密集連接型ASPP采用級聯空洞卷積，將不同空洞率的卷積堆疊起來，從而增大了感受野。密集連接型ASPP模塊可表示為公式（2）

式中： 和 分別表示空洞率為6和12的卷積輸出。

此外，考慮到部件類別數較多，部件面積占比較小的情況，需要增強模型在細節上的分割效果，故而在解碼器模塊中增加額外的上下文語義信息。原DeepLab 模型解碼模塊僅融合了1/4特征圖譜的信息，容易導致部分細節分割丟失。本文增加與1/2大小特征圖譜的融合，并通過 1 × 1 的卷積降低其通道數，融合前后的解碼模塊如圖2所示。

2.3數據集的產生與更新

種子數據集是初始訓練模型時所使用的數據集，完全由人工標注。采用標注工具LableMe進行人工標注，其支持多邊形、圓形、線等多種形式進行標注，可以準確勾畫出零部件輪廓。人工標注的車輛部件樣例如圖3所示。LabelMe的標注結果以json格式數據保存，將其轉換成mask圖像，然后生成模型訓練接收的voc格式數據集。

采用種子數據集訓練得到模型后，便開始數據集的擴大及模型的迭代更新。模型的輸出為多維矩陣，為了進行人工修正，需要將模型輸出轉化成json文件。轉換的流程圖如圖4所示。

Deeplab 模型的輸出為圖像各像素分類結果的多維矩陣，即圖像像素點屬于33個分類的概率。通過在分類維度上取最大值，可得到和原始圖像相同大小的像素點分類矩陣，再將矩陣轉換成圖像輸出即可得到mask圖像。然后，需要對mask圖像進行邊緣檢測，獲取車輛部件分割邊界信息。

但實際邊緣檢測得到的邊界點過多，不利于人工修正標注結果，故需要進行多余點的去除。

采用2種去點方式，第一種方式為根據曼哈頓距離去點，曼哈頓距離為2個點在標準坐標系中 x 軸和y 軸的距離絕對值之和。當2點之間的曼哈頓距離大于設定的閾值時，刪除其中一個點。第二種方式為根據余弦值去點，當3點所成角接近 時，去除角所在的點。圖5展示了自動標注樣例去點前后效果，樣例顯示根據曼哈頓距離去除了大量多余的點，而根據余弦值則去除了直線邊多余的點。

最后根據圖像的分割區域邊界、標簽等信息生成json文件，人工采用LabelMe打開json文件后將標注錯誤進行修正，重新轉換成mask圖像后便可加人數據集。

3半自動標注效果及分析

3.1 數據預處理

車輛圖像原始數據集來自于某保險公司，總共有45487張出險圖像，包括了不同車型、不同角度、不同拍攝距離的各種圖像，但只關注7座及以下的小型客車。其中主要為通用小型汽車的出險現場圖和汽車受損的圖像，也包含臟數據需要剔除。臟數據指的是微信截圖或者完全和車輛無關的圖像、二次拍攝的圖像以及曝光或非常模糊的圖像。筆者研究的自動定損只關注肉眼可見的外觀，所以車輛內部的圖像被劃分為臟數據而被剔除。

車輛零部件劃分為32個類別，大約 1 0 m i n 標注一幅圖，標注速度緩慢，初始純手工標注的汽車圖像共1770張，形成了種子數據集。采用該數據集訓練初始的車輛部件自動標注模型，按照8：1：1的比例把數據集劃分為訓練集、驗證集和測試集，劃分后大小分別為1416、177、177。

得到初始標注模型后，采用上述的半自動標注框架，將模型更新與數據標注工作相結合并不斷迭代。實驗分別在標注數據集增大至 時重新訓練模型，新數據集均按照8：1：1的比例重新劃分為訓練集、驗證集和測試集。

3.2 模型訓練及結果分析

3.2.1 改進的DeepLab 模型的效果實驗

針對車輛圖像尺度跨度大、小部件常常無法識別的問題，嘗試了2種對DeepLab v3 + 模型網絡結構的優化。模型實驗采用的車輛部件分割數據集大小為3068，數據集按8：1：1的比例劃分訓練集、驗證集和測試集。模型測試采用的指標主要包括PA、MPA、MIoU和FWIoU4種，其中MIoU是計算每個類上的交并比后進行求和平均得到的，其由于簡潔性、代表性強，各種研究任務都以其為主要指標進行結果的評價。MIoU的計算公式表示為

式中： k 表示類別數； 表示標簽為 i 預測為 j 的像素點個數。

模型采用的訓練參數：學習率為0.015，batch-size為8，epoch為30，momentum為0.9，各模型在測試集上的指標見表2。

改進后的Deeplab 模型在指標上具有一定的提升，在MPA和MIoU指標上表現明顯，具有3個百分點的提升。從測試樣例中看，融合低層次特征圖后，模型對小部件的識別得到了增強。如圖6所示，原模型無法識別b支柱（前后窗之間的支柱），而改進后的模型明顯識別了b支柱。

通過標注工具LabelMe觀察模型在測試集上的自動標注效果，發現優化后的模型可以識別出原模型識別不出的小型部件，對部件的識別更全，可以進一步減少人工修正的工作量。

3.2.2 數據集的更迭擴增效果

半自動標注方法通過車輛部件標注數據集的擴增、模型的迭代訓練可以不斷提高標注精度和效率。實驗采用改進的DeepLab 模型進行了4次迭代訓練和測試，作為參照，采用相同的訓練參數進行訓練，學習率為0.015，batch-size為8，epoch為30。不同的是數據集的大小，4次訓練分別為 1 7 7 0 . 3 0 6 8 . 4 2 0 8 和6169，模型迭代訓練后在測試集上的指標對比見表3。

半自動標注即采用模型的預測結果輔助人工標注，加快人工標注的速度。迭代訓練則是數據集增大到一定程度后再訓練新的模型，從而提升模型性能。雖然采用模型自動標注的數據需要人工檢查并微調，但相比人工標注自然快許多。從表中的數據可以明顯看出隨著部件分割數據集的增大，模型的指標也不斷上升，說明采用模型自動標注和人工修正增大的數據集，對模型的性能也具有一定的提升效果。

隨著模型性能的提升，人工修正的時間也不斷縮短。相比純手工標注一幅車輛圖像平均需要 1 0 m i n ，模型4次迭代訓練后，人工修正一幅模型標注圖像平均僅需 3 0 s 。結果表明，采用半自動標注方法和迭代訓練的方法在一定程度上是可以解決人工標注速度慢，模型訓練數據不足和模型預測效果不佳的問題。

4結束語

本文基于深度學習模型設計了車輛部件的半自動標注方法，并將其應用于車輛部件的標注工作中，提高了標注效率。DeepLab 模型通過3代的改進在圖像分割任務中取得了不錯的效果，為了增強其對車輛部件的自動標注效果，對其網絡結構嘗試了2種優化。通過觀察測試集的標注結果，發現優化后的模型對小型部件的識別率更佳，一定程度上減少了人工修正的工作量。隨后采用半自動標注方法，將DeepLab 的模型訓練與數據標注進行結合并形成迭代，其主要過程為模型訓練、模型自動標注、人工修正和模型更新。實驗對DeepLab 模型進行了3次再訓練，每次模型更新都在測試集上取得了更高的指標。最終結果表明，將模型訓練與標注工作相結合，可以逐步提高模型精度，進而自動標注在半自動標注方法中的占比，減少人工修正的工作量。該半自動標注方法可以有效提高圖像標注的效率，處理海量數據。

參考文獻：

[1]全國機動車保有量達4.53億輛駕駛人達5.42億人[EB/OL]. https：//www.mps.gov.cn/n2254314/n6409334/c9939035/content. html.

[2] 國家數據，年度數據（公共管理、社會保障及其他，交通事故 發生數）[EB/OL].htps：//ata.stats.gov.cn/easyquery.htm？cn=C01.

[3]王琳.人工智能在保險核賠環節應用案例分析[D].北京：首都 經濟貿易大學，2018.

[4] RUSSELL B C，TORRALBA A，MURPHY K P，et al. LabelMe：a database and web-based tool for image annotation[J]. International journal of computer vision，2008，77 （1-3）：157-173.

[5]蔡莉，王淑婷，劉俊暉，等.數據標注研究綜述[J].軟件學報， 2020，31（2）：302-320.

[6] CHENG Q，ZHANG Q，FU P，et al. A survey and analysisonautomatic image annotation [J].Pattern Recognition， 2018，79：242-259.

[7]馬艷春，劉永堅，解慶，等.自動圖像標注技術綜述[J].計算機 研究與發展，2020，57（11）：2348-2374.

[8] CUSANO C，CIOCCA G， SCHETTINI R. Image annotation using SVM [C]//Internet imaging V. International society for optics and photonics，2003，5304：330-338.

[9] MAKADIA A，PAVLOVIC V，KUMAR S. Baselines for image annotation [J]. International Jourmal of Computer Vision，2010，90（1） ：88-105.

[10]常致富，周風余，王玉剛，等.基于深度學習的圖像自動標注 方法綜述[J].山東大學學報（工學版），2019，49（6）：25-35.

[11] MA Y，LIU Y， XIE Q，et al. CNN-feature based automatic image annotation method [J]. Multimedia Tools and Applications，2019，78（3）：3767-3780.

[12] KRIZHEVSKY A， SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems，2012，25：1097-1105.

[13] KE X， ZOU J，NIU Y. End-to-end automatic image annotation based on deep CNNand multi-label data augmentation [J]. IEEE Transactionson Multimedia，2019，21 （8） ：2093-2106.

[14] DAI J，LI Y，HE K，et al. R-fcn：Object detection via region-based fully convolutional networks[J]. arXiv preprint arXiv ：1605.06409，2016.

[15] RONNEBERGER O，FISCHER P，BROX T. U -net： Convolutional networks for biomedical image segmentation[C/International Conference on Medical image computing and computer -assisted intervention.Springer，Cham， 2015：234-241.

[16]SINGH R，AYYAR MP，SRI P，etal.Automating car insurance claims using deep learning techniques [C]//2019 IEEE Fifth International Conference on Multimedia Big Data（BigMM），2019：199-207.

[17]陳哲，黃巍，陳昭.基于Web應用的醫學圖像半自動標注系 統[J].計算機應用與軟件，2019，36（10）：1-5.

[18] BOTA P，SILVA J，FOLGADO D，et al. A semi-automaticannotation approach for human activity recognition [J].Sens0rs，2019，19（3）：501.

[19] CHEN L C， GEORGE P，IASONAS K，et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J/OL].arXiv，2016-06[2025-04].https：//arxiv. org/abs/1412.7062.

[20] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected crfs [J].IEEE transactions on pattern analysis and machine intelligence，2017，40（4）：834-848.

[21] CHENL C，ZHU YK，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation [M]//Ferrari V，HebertM， Sminchisescu C，et al. Computer vision -ECCV 2018. Lecture notesin computer science. Cham： Springer， 2018，11211：833-851.

[22]劉致驛，孫韶媛，任正云，等.基于改進DeepLabv3+的無人車 夜間紅外圖像語義分割[J].應用光學，2020，41（1）：180-185.