基于容差PR曲線的路面裂縫識別算法性能評價機制

彭 博, 姬 然

(1. 重慶交通大學 交通運輸學院, 重慶 400074; 2. 俄克拉荷馬州立大學，土木和環境工程學院,俄克拉荷馬 74078, 美國)

?

基于容差PR曲線的路面裂縫識別算法性能評價機制

彭 博1, 姬 然2

(1. 重慶交通大學 交通運輸學院, 重慶 400074; 2. 俄克拉荷馬州立大學，土木和環境工程學院,俄克拉荷馬 74078, 美國)

為了客觀合理地評價路面裂縫圖識別算法的性能，提出了基于容差PR曲線的算法性能評價機制。首先，建立路面裂縫圖像基準庫，為裂縫識別算法性能評價提供統一規范的測試圖像；其次，提出考慮容差的準確率-召回率和F1值計算方法，作為算法性能的衡量指標；然后，提出裂縫識別算法的PR曲線評價方法；最后，以兩套裂縫識別算法為例進行PR曲線性能評價分析。結果表明：PR曲線評價機制確立了統一的基準測試圖像、衡量指標及評價方法，能評價無參數、具有1個或多個參數的裂縫識別算法的性能(包括準確率-召回率、F1值及算法穩定性)，有助于進行算法性能評價與改進。

道路工程；評價機制；圖像處理；裂縫識別算法；容差；PR曲線

0 引 言

作為路面破損的主要形態之一，裂縫嚴重影響著路面質量、服務性能和壽命。為此，自20世紀 80 年代以來，國內外學者對路面裂縫自動檢測展開了大量研究，取得了豐碩的成果，如閾值分割方法[1-2]、邊緣檢測算法[3-4]、種子識別算法[5-6]、基于頻域變換的方法[2,7]、機器學習算法[8]及基于紋理分析[9-10]、模糊邏輯[11]和全局優化[2,12]的裂縫識別算法。不過，面對眾多的裂縫識別算法，尚缺乏一套客觀合理的性能評價機制來衡量它們的優劣。

綜觀裂縫識別算法的性能評價分析，主要涉及測試圖像、評定指標和評價方法3個方面。對于測試圖像，既有文獻大都基于各自的路面圖像集進行測試[4,7,12]，因而同一算法在不同文獻中評價結果可能截然不同。對于評價指標，許多研究只應用實例進行定性分析[4,13]；部分文獻采用準確率衡量算法優劣[7,14]；準確率-召回率(precision-recall)[12,15]是常用的評價指標，它通過對比人工標注的實際裂縫圖像和檢測結果圖像的每個像素，計算出準確率、召回率，可反映算法的準確度和全面性，但未考慮檢測結果與真實裂縫圖像之間應具有一定的容差。準確率-召回率曲線(PR曲線)是公認較為合理的裂縫識別評價方法[12,15]，但只能對無參數或1個參數的算法進行評價，無法用于多參數的裂縫識別算法評價。

考慮到既有算法評價指標體系與方法存在一些不足，同時也缺乏統一規范的測試圖像集，筆者從路面圖像基準庫、評價指標體系及評價方法3個方面入手，提出了裂縫圖像自動識別算法的系統性評價機制，有利于客觀合理地衡量算法性能優劣，引導裂縫識別算法改進。

1 建立路面裂縫圖像基準庫

1.1 背景介紹

許多研究采用數十張到數百張路面圖像對裂縫檢測算法進行評估，但大都存在一些局限，有待進一步改進：① 由于路面狀況復雜多變，同一種裂縫識別算法對于不同的圖像集檢測結果可能大相徑庭，也就是說，有必要基于多個圖像集對算法進行測試，以綜合評定算法性能及適用圖像集；② 已公開的各種裂縫檢測算法大都基于各自的圖像集進行性能測試，由于測試圖像不統一，這些算法究竟孰優孰劣也無從評定。

由此可知，對于某一特定的路面裂縫識別算法，有必要利用多個圖像集進行性能評測；同時，為了客觀評估和對比多種裂縫識別算法的性能，也需要基于同一圖像集進行測試評估。

因此，筆者遴選具有較多裂縫(包括橫向、縱向、塊狀裂縫及龜裂等)的典型路面圖像，形成了4個裂縫識別算法測試圖像集。新開發的算法和已有算法均可以據此進行性能測試，從而為裂縫識別算法的評價和對比分析提供統一、規范的測試圖像。

1.2 路面裂縫圖像基準庫

根據路面類型，路面可分為瀝青路面和水泥混凝土路面；根據路面圖像質量高低和復雜性，又可分為一般路面圖像和復雜路面圖像。據此建立路面裂縫圖像基準庫，涵蓋了4個圖像集(由DHDV[16]采集，圖像尺寸為高2 048像素×寬4 096像素，精度1 mm/像素)，如圖1。其中，圖像張數指路面三維深度圖或灰度圖的數量。這樣，就可以基于不同類型、不同復雜程度的路面圖像對算法性能進行綜合測試與評價。

圖1 路面裂縫圖像基準庫Fig. 1 Benchmark library of pavement crack images

每個圖像集包含6部分：① 路面原始三維數據；② 路面三維深度圖像；③ 光照強度圖像(來自于三維虛擬路面)；④ 路面灰度圖像；⑤ 人工繪制的真實裂縫圖像；⑥ 備注信息。其中，三維路面裂縫識別算法基于①、②、③、⑤進行評價分析，二維裂縫圖像識別算法基于④、⑤進行評價分析。

圖2展示了圖像集I～IV的圖像實例。

圖2 路面裂縫圖像基準庫圖像(2 048×2 048)Fig. 2 Images of benchmark library of pavement crack images (2 048×2 048)

2 確定算法性能評價指標

2.1 準確率-召回率

裂縫檢測結果既要準確又要全面，準確率-召回率[12,15]正是這樣一組評估指標，公式如下：

(1)

(2)

式中：Pr為準確率；Re為召回率；TP為正確檢測出來的裂縫像素數目(true positive)；FP為不是裂縫卻檢測為裂縫的像素數目(false positive)；FN為是裂縫卻沒檢測出來的像素數目(false negative)。

令集合Γ1為路面裂縫識別算法檢測結果(如圖3(a)，圖3(b)三維深度圖像)；集合Γ2為實際應檢測出來的真實裂縫如圖3(c)；Γ3=Γ1∩Γ2，為算法正確地檢測出來的裂縫像素集，那么，

TP=Γ3的裂縫像素數目

(3)

TP+FP=Γ1的裂縫像素數目

(4)

TP+FN=Γ2的裂縫像素數目

(5)

顯然，Pr和Re越高越好，但很多情況下它們是矛盾的。因此通常需要綜合考慮二者，F1值便是常用的綜合指標，F1值越大表明算法越優。

(6)

圖3 準確率-召回率計算圖像Fig. 3 Calculation images for precision ratio and recall ratio

2.2 考慮容差的準確率-召回率

由于路面裂縫走向和寬度毫無規律，人工繪制的真實裂縫圖像Γ2與理論上真實的裂縫圖像可能存在偏差。為降低誤差影響、保證準確率-召回率的客觀性和有效性，可考慮以下方法：

1)請經過嚴格培訓且經驗豐富與路面工程相關專業人員繪制真實裂縫圖像，力求Γ2貼近裂縫的真實形態(筆者已加以考慮，裂縫圖像基準庫均由土木工程和交通工程研究生繪制)；

2)允許Γ1和Γ2具有一定容差，并將該容差納入到準確率-召回率計算過程中。

基于第2)點，筆者提出了考慮容差的準確率-召回率計算方法。如圖4，對于任意裂縫像素(圖4中的中心像素)，具有半徑為τ個像素的正方形鄰域(容差鄰域τ)，準確率-召回率計算方法如下：

圖4 裂縫圖像容差Fig. 4 Tolerance of crack images

1)如果Γ1任意像素的容差鄰域τ包含有Γ2的裂縫像素(1個或以上)，則認為算法準確識別了該像素。計算出Γ1滿足該要求的所有像素數量，計為TP1，則準確率可計算如下：

P(τ)=TP1/Γ1的裂縫像素數目

(7)

式中：P(τ)，考慮容差τ的準確率。

2)如果Γ2任意像素的容差鄰域τ包含有Γ1的裂縫像素(1個或以上)，也認為算法準確識別了該像素。計算出Γ2滿足該要求的所有像素數量，計為TP2，召回率可計算如下

(8)

式中：R(τ)為考慮容差τ的召回率。

同理，綜合指標計算方式也有所改變：

(9)

式中：F(τ)為考慮容差τ的F1指標。

可以看出，在計算考慮容差的準確率和召回率時，檢測結果Γ1和真實裂縫圖像Γ2的裂縫像素擁有半徑為τ個像素的容差鄰域(見圖4)，只要Γ1和Γ2的裂縫像素在緩沖區重疊，均認為算法準確識別了裂縫像素。特別地，當τ=0時，TP1=TP2=TP，因此，Pr、Re和F1可認為是容差=0時的特例。

建立容差鄰域可柔性地匹配檢測結果和真實裂縫圖像，有利于避免人工繪制誤差的影響。容差τ越大，越可能高估準確率和召回率，因此在評測算法性能時需要選擇合適的τ值。另外，評估多種算法的性能時，應取同一τ值。

3 基于PR曲線的裂縫檢測算法評價

3.1 PR曲線簡介

PR曲線(PR curve)[12,15]又稱為查準率-查全率曲線，源于信息檢索領域，用以表現檢索算法的性能。繪制過程如下：① 遍歷算法參數值產生一系列檢測結果(令為ξ個)，計算出每個檢測結果的準確率P(τ)1，P(τ)2，…，P(τ)ξ和召回率R(τ)1，R(τ)2，…，R(τ)ξ；② 以準確率為縱坐標，召回率為橫坐標生成趨勢曲線，即PR曲線。特殊地，無參數的算法只產生一個檢測結果(ξ=1)，PR曲線為點[P(τ)1,R(τ)1]，如圖5中的PR曲線3。

圖5 PR曲線示意Fig. 5 Sketch map of PR curves

可以看出，PR曲線越越靠近右上方越好(準確率和召回率均較高，如圖5，算法1、2、3對應于PR曲線1、2、3，其優劣排序為：算法2，算法1和算法3)。PR曲線本質上仍以F1值作為評價指標(PR曲線右上方F1值較高)，因此可以視為F1值趨勢曲線，比單獨的F1值提供了更豐富的信息。

PR曲線評價方法在信息檢索等領域得到了廣泛的應用，優于單獨的準確率、召回率或F1指標評價方法。考慮到路面裂縫識別與信息檢索具有相似性(前者識別裂縫像素，后者識別所需信息)，筆者采用PR曲線評價裂縫檢測算法性能。

3.2 PR曲線繪制

3.2.1 準確率-召回率計算

計算準確率P(τ)1～P(τ)ξ和召回率R(τ)1～R(τ)ξ。ξ取決于算法參數值情況：算法無參數時，ξ=1；若算法參數數目Υ≥1，令參數分別為Pa1、Pa2、…，PaΥ，Pa1具有η1個取值，Pa2具有η2個取值，…，PaΥ具有ηΥ個取值，那么，

(10)

式中：∏表示所有元素的乘積；j為參數編號，j=1,2,3，…，Υ。

(11)

(12)

式中：AVE{·}為計算集合所含元素的均值。

3.2.2 生成PR曲線

由于算法性能對參數的變化比較敏感，[P(τ)N,R(τ)N]可能呈現波動情況，需要確定合理的規則繪制PR曲線。根據[P(τ)N,R(τ)N]分布特性，PR曲線分為簡單情形和復雜情形，如圖6。

圖6 PR曲線生成Fig. 6 Generation of PR curves

對于簡單情形，準確率增加時召回率降低，或準確率降低時召回率增加。此時，順次連接各個[P(τ)N,R(τ)N]點即可形成趨勢平穩的PR曲線，如圖6(a)。通常，具有單個參數的算法會出現這種情況：特殊地，無參數算法PR曲線僅為點[P(τ)1,R(τ)1]，也屬于簡單情形。現有文獻常用的PR曲線多用于簡單情形。

對于復雜情形，[P(τ)N,R(τ)N]點比較分散，準確率和召回率沒有固定的增減規律，見圖6(b)虛線，具有兩個或以上參數的算法通常出現這種情況。筆者利用搜索凸包(convex hull)的Graham Scan算法[17]尋找右上方輪廓點，并將其連接起來形成PR曲線，見圖6(b)實線。

3.3 裂縫識別算法的PR曲線評價方法

主要有5個步驟，如圖7。對于測試圖像，可在裂縫圖像基準庫中挑選若干張具有代表性的路面圖像。對于容差設置，τ越大，越可能高估計算法性能，也會增加檢測結果和真實裂縫圖像像素匹配的計算量，經過大量測試，推薦容差經驗值τ=3個像素。生成PR曲線之后，即可進行算法評價分析。

圖7 算法評價流程Fig.7 Flow chart of algorithm evaluation

以路面三維圖像裂縫自動并行識別算法(含閾值參數K、t， 簡稱裂縫并行識別算法)[18]和三維虛擬路面裂縫自動識別算法(含閾值參數Kh和K1，簡稱虛擬路面裂縫識別算法)[18]為例，闡述PR曲線評價方法的具體步驟。

1)選擇測試圖像：在圖像基準庫的4個圖像集中分別挑選10張圖像，測試算法對水泥路面和瀝青路面圖像的裂縫檢測效果。

2)容差設置：τ=3個像素。

表1 一張圖像的PR值

表2 PR均值(PR曲線數據)

4)生成PR曲線：將表 2的準確率-召回率繪制為散點圖，如圖8。可看出準確率和召回率分布比較雜亂，屬于復雜情形。于是，基于凸包搜索方法[17]檢測右上方外輪廓點(見表 3)，最終繪制出PR曲線(見圖8)。

圖8 PR曲線生成實例Fig. 8 Example of PR curve generation

(P(3),R(3))(P(3),R(3))(P(3),R(3))(P(3),R(3))(1.00,0.40)(0.98,0.69)(0.94,0.86)(0.69,0.95)(1.00,0.46)(0.98,0.71)(0.90,0.89)(0.47,0.97)(0.99,0.63)(0.97,0.77)(0.83,0.91)(0.17,0.99)(0.99,0.66)(0.96,0.82)(0.74,0.94)(0.11,0.99)

5)算法性能分析：由于有兩個算法、4組測試圖像，按照步驟1)～步驟4)的方法，可以獲得8條PR曲線，將它們按圖像集進行分組繪制，結果如圖9。

以圖9(a)的PR曲線為例(一般瀝青路面圖像)，裂縫并行識別算法的準確率和召回率變化范圍較大，最右上角坐標為(0.94,0.86)，此時算法F1值達到最高(F1=0.90，K=0.96，t=5)，準確率、召回率和F1值分別達94%、86%和90%，推薦最佳參數值K=0.96，t=5。對于虛擬路面裂縫識別算法，準確率和召回率變化幅度較小，當準確率=0.93，召回率=0.95時，F1達到最優(F1=0.94，Kh=0.984，K1=7)，并推薦以Kh=0.984，K1=7為最佳參數值。總體而言，虛擬路面裂縫識別算法的PR曲線位于圖像的右上方，可獲得更高的F1值；此外，該算法PR曲線較短，說明數據點集中、性能比較穩定。因此，對于一般瀝青路面圖像，虛擬路面裂縫識別算法優于裂縫并行識別算法。

基于圖9(b)～圖9(d)的PR曲線評價算法性能的思路與圖9(a)相似。將裂縫并行識別算法和虛擬路面裂縫識別算法PR曲線測試情況進行總結和對比分析，結果如表4。

表4 算法性能測試總結

圖9 PR測試曲線(10張圖像， τ=3)Fig. 9 PR test curves (10 images, τ=3)

可以看出，PR曲線評價方法以考慮容差的F1值為主要指標，可獲得推薦參數值，也能考察算法穩定性，優于單獨應用準確率、召回率或F1值的評價方法。同時，得益于路面裂縫圖像基準庫，還能確定算法適用范圍。因此，形成了系統而規范的路面裂縫檢測算法性能綜合評價機制。

4 結 語

提出了路面裂縫自動檢測算法性能的綜合評價機制：路面裂縫圖像基準庫的建立為算法性能評價提供了規范的測試數據，有利于系統全面地評價和對比算法性能；考慮容差的準確率-召回率和F1值為客觀地評價算法性能制定了衡量標準；PR曲線評價方法考慮了F1值及算法穩定性，有利于綜合評價無參數、具有1個或多個參數的裂縫識別算法的性能。

路面裂縫識別算法評價機制的建立有利于客觀合理地對算法性能進行評價和對比分析，引導算法改進工作，從而推動裂縫識別算法的研發和優化，改善裂縫識別準確率、完整性和穩定性，為路面養護管理、路面性能評價與預測、路面結構和材料設計奠定堅實的基礎。

由于路面狀況的復雜多樣性，路面裂縫圖像庫還有待細化，容差設置也需要尋求更合理的依據。同時，還有必要進一步改善裂縫圖像庫、評價指標和方法，以適應路面裂縫從傳統二維識別向三維識別發展的趨勢。

[1] OTSU N A Threshold selection method from gray-level histograms[J].IEEETransactionsonSystemsMan&Cybernetics,1979,9(1): 62- 66.

[2] TSAI Y, KAUL V, MERSEREAU R M. Critical assessment of pavement distress segmentation methods[J].JournalofTransportationEngineering, 2010,136(1): 11-19.

[3] CANNY J .A computational approach to edge detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1986,8(6):679- 698.

[4] 張娟, 沙愛民, 孫朝云, 等. 基于相位編組法的路面裂縫自動識別[J]. 中國公路學報, 2008, 21(2): 39- 42. ZHANG Juan, SHA Aimin, SUN Chaoyun, et al. Pavement crack automatic recognition based on phase-grouping method[J].ChinaJournalofHighwayTransport, 2008, 21(2): 39- 42.

[5] HUANG Yaxiong, XU Bugao. Automatic inspection of pavement cracking distress[J].JournalofElectronImaging,2006,15(1):013017.

[6] Gavilán M, Balcones D, Marcos O, et al. Adaptive road crack detection system by pavement classification [J].Sensors, 2011, 11(10): 9628-9657.

[7] 孫波成, 邱延峻, 梁世慶. 基于小波的路面裂縫識別研究[J]. 重慶交通大學學報(自然科學版), 2010, 29(1): 69-72. SUN Bocheng, QIU Yanjun, LIANG Shiqing. Cracking recognition of pavement surface based on wavelet technology[J].JournalofChongqingJiaotongUniversity(NaturalScience), 2010, 29(1): 69-72.

[8] CHENG H D, WANG J L, HU Y G, et al. Novel approach to pavement cracking detection based on neural network[J].TransportResearchRecord, 2001(1764): 119-127.

[9] MARTIN D R, FOWLKES C C, MALIK J. Learning to detect natural image boundaries using local brightness, color, and texture cues [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(5): 530-549.

[10] HU Yong, ZHAO Chunxia, WANG Hongnan. Automatic pavement crack detection using texture and shape descriptors[J].IETETechnicalReview, 2010, 27(5): 398- 405.

[11] CHENG H D, CHEN J R, GLAZIER C, et al. Novel approach to pavement cracking detection based on fuzzy set theory [J].JournalofComputinginCivilEngineering, 1999, 13(4): 270-280.

[12] ZOU Qin, CAO Yu, LI Qingquan, et al. Cracktree: automatic crack detection from pavement images[J].PatternRecognitionLetters, 2012, 33(3): 227-238.

[13] 梁世慶, 孫波成, 邱延峻. 數學形態學路面裂縫識別算法研究[J]. 路基工程, 2010(1): 44- 46. LIANG Shiqing, SUN Bocheng, QIU Yanjun. Algorithm research for pavement crack recognition based on mathematic morphology [J].SubgradeEngineering, 2010(1): 44- 46.

[14] 高建貞, 任明武, 唐振民, 等. 路面裂縫的自動檢測與識別[J]. 計算機工程, 2003, 29(2): 149-150. GAO Jianzhen, REN Mingwu, TANG Zhenmin, et al. Automatic road crack detection and identification [J].ComputerEngineering, 2003, 29(2): 149-150.

[15] LI Qingquan, ZOU Qin, LIU Xianglong. Pavement crack classification via spatial distribution features[J].EURASIPJournalonAdvancesinSignalProcessing,2011,2011(1): 649- 675.

[16] WANG K C P, HOU Zhiqiong, GONG Weiguo. Automated road sign inventory system based on stereo vision and tracking[J].Computer-AidedCivilandInfrastructureEngineering,2010,25(6): 468-477.

[17] GRAHAM R L. An efficient algorithm for determining the convex hull of a finite planar set[J].InformationProcessingLetters1, 1972, 1(4): 132-133.

[18] 彭博. 基于路面高精三維圖像的裂縫自動識別與分類算法 [D]. 成都: 西南交通大學, 2014: 25-110. PENG Bo. AutomaticCrackDetectionandClassificationAlgorithmsBasedonHighResolution3DPavementImages[D]. Chengdu: Southwest Jiaotong University, 2014: 25-110.

(責任編輯：朱漢容)

Performance Evaluation Mechanism of Pavement Crack Recognition Algorithms Based on PR Curve with Tolerance

PENG Bo1, JI Ran2

(1. School of Traffic and Transportation, Chongqing Jiaotong University, Chongqing 400074, P. R. China; 2. School of Civil & Environmental Engineering, Oklahoma State University, OK, 74078, USA )

In order to assess the performance of pavement crack detection algorithm objectively and reasonably, an algorithm performance evaluation mechanism based on PR curve with tolerance was proposed. Firstly, a benchmark library of pavement crack images was built to provide the unified and standard test images for evaluating crack detection algorithm performance. Secondly, calculation methods of precision ratio, recall ratio andF1value considering tolerance were put forward as measurement indicators of algorithm performance. Then, a PR curve based on evaluation method for pavement crack detection algorithms was proposed. At last, two crack detection algorithms were evaluated and analyzed as examples by using PR curve. Results show that, the proposed PR curve evaluation mechanism establishes the unified benchmark test images, measurement indicators and evaluation method, which can assess performance (including precision ratio, recall ratio,F1values and algorithm stability) of crack detection algorithms without or with 1 or more parameters. It is helpful for algorithm performance evaluation and improvement.

highway engineering; evaluation mechanism; image processing; crack recognition algorithm; tolerance; PR curve

10.3969/j.issn.1674-0696.2017.07.07

2016- 01- 05；

2016- 02-24

重慶市社會事業與民生保障科技創新專項項目(cstc2015shms-ztzx30002；cstc2015shms-ztzx0127)；重慶市科委基礎科學與前沿技術研究項目(cstc2017jcyjAX0473)；重慶市教委科學研究項目(KJ1600513)；重慶交通大學科研啟動項目(15JDKJC-A002)

彭 博(1986—)，男，四川南充人，博士，主要從事交通領域的圖像與視頻檢測研究工作。E-mail：pengbo351@126.com。

U416.23

A

1674-0696(2017)07-039-07