警務實戰環境下的人臉預警準確率評析方法及優化策略研究

胡雷地 莊唯 萬潔君 李響 江蘇省蘇州市公安局

引言

隨著人工智能應用日趨成熟，以深度學習為代表的計算機視覺技術獲得了長足發展，人臉識別也得到了廣泛的研究和應用，尤其是近幾年來，人臉識別得益于被動、無感識別等技術特性，在公安領域快速發展，取得了諸多實戰成效[1]。但是，由于在人臉識別過程中，受到光照、遮擋、面部表情、姿態等因素的影響，在現實環境中人臉預警準確率遠遠低于實驗室環境下的性能指標，直接影響了一線警務人員的應用信心，造成了系統“可用”到“好用”的鴻溝[2]。蘇州公安在建設應用“城市盾牌”過程中，逐步發現人臉預警準確率直接決定了“城市盾牌”可用性和效能發揮，因此，開展警務實戰環境的人臉預警評析方法，分析影響因素并提出優化策略，是提升“城市盾牌”實戰效能的重要舉措。

一、現狀分析

近年來，隨著深度學習的迅猛發展，國內涌現出了一大批人臉識別算法廠商，為了凸顯各自的優越性能，各個廠商先后參與了國際上較為主流的人臉算法評測（LFW、IJB、MegaFace、FRVT），通過公開報道，主流廠商大多取得了優秀成績[3]，比如有些算法宣稱LFW達到了99.8%識別率，但是，這些取得優異測試成績的算法在警務實戰中，其性能未完全兌現，誤報、漏報頻繁出現，這給一線警務人員帶來巨大困擾[4]。

從一線警務人員的實際體驗出發，判定人臉識別算法優劣取決于推送到一線警力的預警質量，最為理想的狀況是每次推送的預警通過民警現場核實，都判定現場人員身份與預警身份一致，即人臉預警準確率（acc）為100%，按照這一邏輯，面向警務實戰環境的人臉預警準確率為：

其中，acc1為第i種專題庫的人臉預警準確率，mi是指第i種專題庫正確預警數（通過見面核查判定現場人員與預警人員身份一致），ni為第i種專題庫下發預警總數。

按照以上的評測方法，以2019年蘇州“城市盾牌”約8.3萬條人臉預警作為數據源，經統計發現未經干預的人臉預警準確率僅為37.43%，即出警100次，能正確核查37人，但是針對全國性的布控庫，比如在逃預警比對庫，人臉預警準確率僅達到9.3%。通過中位數法對相似度進行統計分析，發現在逃人員相似度在90%至92%之間非常集中且區分度不大，因此，單一依賴算法本身難以剔除誤報預警，詳細圖表如圖1所示。

二、影響因素

（一）前端抓拍質量

綜合分析2019年蘇州“城市盾牌”預警數據，并結合2019年全球人臉識別算法測試結果（FRVT），發現前端智能設備抓拍的人臉質量與人臉預警準確率呈高度正相關，抓拍照片質量是人臉預警準確率最為關鍵的因素。通過分析錯誤預警數據發現，光照、角度、人物姿態等前端抓拍環境影響最大，前端抓拍質量越差，人臉預警準確率越低。

（二）專題庫類型與質量

從圖1可以看出，專題庫人員構成對于人臉預警準確率影響明顯，蘇州本地布控庫、全省布控庫、長三角布控庫、全國布控庫（在逃人員）的人臉預警準確率呈遞減形態，布控專題庫人員覆蓋地域越廣，預警準確度越低，這一規律也驗證了地理學第一定律，即任何地理事物都是空間自相關，離得越近關聯更緊密。同時，通過對錯誤預警篩查發現，專題庫照片質量（照片年代及照片本身質量，包括側臉、黑白及模糊照片）也是影響預警準確率的重要因素。

（三）比對算法本身局限性

在蘇州公安“城市盾牌”建設過程中，國內主流廠商大多參與了測試和試用工作，不同廠商在算法本身有性能差異，也直接影響了人臉預警準確率，因此，算法本身也需要不斷提升性能來適應復雜的警務實戰場景。

三、優化策略

（一）標準化前端采集

結合警務實戰需求，將前端建設細分為國省道綜合檢查站、高速出入口、政治核心區、集貿中心、居民小區、校園等30余類典型場景，分場景制定相關的技術標準、建設標準和數據接入規范，通過借助高質量前端建設，來提升人臉抓拍數據質量，把好人臉應用的第一道關。

（二）輔助迭代更新算法

建立人臉預警處置反饋的業務閉環，并將各類誤報、漏報實例進行統一建庫，形成反向訓練集，交由算法廠商進行再學習、再訓練，并針對現有算法反復迭代，提升算法魯棒性和精準度。

（三）優化提升專題庫數據質量

建立專題庫更新機制，將鮮活的高質量的旅館核驗照片、人口登記照片實時納入專題庫替代原有老舊照片；及時清洗專題庫照片，將模糊、黑白、側臉等低質量照片篩選出來并單獨建庫，借助其他大數據手段不斷迭代更新該類照片。

（四）建立二次自動評估機制

分析2019FRVT報告全文可以看出，沒有任何一家算法廠商實現了“贏家通吃”局面，在各個細分場景評測中，各個算法也有各自傾向性優勢。因此，本文創新構建二次自動評估機制，通過引入第二套人臉比對引擎并利用1:1算法對預警信息作二次評估，以此來提升人臉預警精準度和可信度，具體流程如圖2所示。

（五）構建貼合實戰業務模型

除了針對數據質量、識別算法等技術因素外，通過總結提煉實戰經驗來構建業務過濾模型，并以此對預警信息再次驗證過濾（如圖2所示），可以進一步提升預警準確率。比如，針對在逃專題庫，可以建立在逃預警過濾模型（如圖3所示）：在符合兩次預警比對的基礎上，如果在逃預警人員與當地登記人口的預警相似度很高，則認為誤報可能性大，不下發該條預警。但這個邏輯的前提是在蘇登記人口與在逃人員基于身份證號碼已經建立了正向和反向的比對，即新增的在蘇登記人口要與在逃人員批量比對（正向比對），新增的在逃人員要與在蘇登記人口批量比對（反向比對）。隨著提煉的戰法模型越來越多，各要素關聯性會越來越強，識別準確率會比單純的依賴算法這一單一要素來的更加準確。

四、結語

2019年，蘇州“城市盾牌”率先應用二次自動評估機制與多個業務過濾模型，通過2019年預警數據分析，本文優化策略增大了預警相似度區分空間，在應用策略前，預警相似度中位數集中在90%至92%之間，難以通過設置相似度閾值來過濾區分預警真偽，但在應用策略后，預警相似度中位數分布空間增加，主要集中在67%至97%之間，通過設置一定閾值后，可以大幅提升人臉預警識別準確率（如圖4所示），特別是在逃專題庫的預警準確度由原來的9.3%上升到了62.5%，提升了用戶體驗，實現了效能倍增。2019年，全市各級職能部門依托“城市盾牌”已抓獲各類對象6662名（其中在逃人員1680名），協助巡邏力量精準盤查16862人（其中入所審查1200余人），累計輸出各類情報信息超過93000余條。

“城市盾牌”取得重大實戰成效，充分驗證了人臉預警準確率的影響因子分析準確，優化策略有效，可以為全國各地公安機關開展動態人臉應用提供參考。