周洪美 裴飛 陳云蕾 蘭鵬 張志清



摘 要:國家高度重視涉及人民群眾生命財產安全的電梯等特種設備重點領域安全監管。面對目前電梯保有量持續增長、電梯安全監管形勢復雜的情況,市場監管部門提出了對電梯維保企業實施信用風險分類監管的需求。本文在研究通用型企業信用風險分類模型的基礎上,考慮電梯專業領域風險因素,并引入機器學習算法構建了電梯維保企業信用風險分類指標體系和模型。通過H省電梯維保企業的驗證結果發現,該模型結果能夠較好地反映電梯維保企業存在的問題,能夠有效提高監管及時性、精準性、有效性,有助于合理配置監管資源并提升監管效能,推動監管更加公平有效。
關鍵詞:機器學習,信用風險分類,指標體系,電梯安全監管
DOI編碼:10.3969/j.issn.1002-5944.2023.17.007
基金項目:本文受國家重點研發計劃項目“市場主體信用風險智能評價預警關鍵技術研究及系統研發”(編號:2022YFC3302404)、國家市場監管總局資助科技計劃項目“電梯安全監管大數據應用及相關標準研究”(項目編號:2021MK160)資助。
Research on the Application of Machine Learning in the Supervision of Credit Risk Classifi cation in Key Fields
—Taking Elevator Maintenance Enterprises as An Example
ZHOU Hong-mei1 PEI Fei2 CHEN Yun-lei1 LAN Peng3 ZHANG Zhi-qing3
(1. Hongdun Bigdata Co., Ltd.; 2. China Standardization Press Co., Ltd.; 3. Information Center of State Administration for Market Regulation)
Abstract: China has attached great importance to safety supervision in key areas of special equipment such as elevators involving the safety of peoples lives and property. Faced with the continuous growth of elevators and the complex situation of elevator safety supervision, market regulation departments have proposed the need to implement credit risk classifi cation supervision of elevator maintenance enterprises. On the basis of research on general enterprise credit risk classification model, this paper considers the risk factors in the fi eld of elevator, and establishes a credit risk classifi cation index system and model for elevator maintenance enterprises by introducing machine learning algorithms. The verifi cation results of elevator maintenance enterprises in H province indicate that the model can well refl ect the problems existing in elevator maintenance enterprises, effectively improve the timeliness, accuracy, and effectiveness of supervision, which helps to allocate regulatory resources reasonably, improves regulatory effi ciency, and promotes fairer and more effective supervision.
Keywords: machine learning, credit risk classifi cation, index system, elevator safety supervision
0 引 言
隨著我國經濟的不斷發展、全面建成小康社會,中國特色社會主義進入新時代,人民對電梯的需求也不斷增加,電梯成為人民美好生活需求的重要組成部分[1]。我國電梯保有量與產量穩居世界首位,是電梯生產和使用大國。電梯質量安全事關人民群眾生命財產安全和經濟社會發展穩定。近年來,我國電梯萬臺事故數和死亡人數持續下降,安全形勢穩定向好[2]。但是,電梯質量安全事關人民群眾生命財產安全和經濟社會發展穩定,隨著電梯保有量持續增長,老舊電梯逐年增多,電梯困人故障和安全事故一旦發生,社會影響很大,市場監管總局提出了嚴格要求加強對電梯的安全監管。《市場監管總局關于加強重點領域信用監管的實施意見》(國市監信發〔2021〕28號)提出要“綜合運用大數據、人工智能等信息技術手段,依托國家企業信用信息公示系統,建立完善重點領域信用記錄、信用檔案,推進企業信用風險分類管理,全面提升智慧監管水平”[3],《市場監管總局關于推進企業信用風險分類管理進一步提升監管效能的意見》(國市監信發〔2022〕6號)提出“食品、藥品、特種設備等直接關系人民群眾生命財產安全、公共安全,以及潛在風險大、社會風險高的重點領域,在按照現有規定實行重點監管的同時,要統籌行業風險防控和企業信用風險分類管理,強化業務協同,實行全鏈條監管”[4]。因此,對電梯相關企業尤其是數量最多的電梯維保企業實施信用風險分類管理,對及時監測電梯運行風險、提升電梯監管效能具有較強的支撐作用。
1 模型設計原則
對電梯維保企業實施信用風險分類管理,最重要的是設計電梯維保企業信用風險分類模型。信用風險分類管理模型綜合利用計量經濟學、統計學、機器學習等多學科交叉的大數據建模理念,貫穿于建模的各個環節,保證模型的準確性和健壯性。電梯作為特種設備監管中重點,電梯維保企業信用風險分類模型設計應具有科學性、實用性、可操作性等特點。因此,必須確定正確的指導原則,才能達到預期目的。
(1)有標可對。參考市場監管總局通用型企業信用風險分類管理指標體系以及《電梯安全技術規范》(GB 7588-2020)構建本領域的分級分類監管機制。電梯維保企業信用風險分類指標體系基于通用型企業信用風險分類指標體系,重點從企業基礎屬性信息、企業動態信息、監管信息等方面構建分類指標體系,科學賦予指標權重,并根據監管實際不斷更新調整,持續優化完善,結合電梯領域特點,構建符合實際情況且具有電梯領域特色的企業信用風險分類指標體系。
(2)有法可依。電梯維保企業信用風險分類指標體系參考《中華人民共和國市場主體登記管理條例》《中華人民共和國特種設備安全法》《特種設備安全監察條例》《特種設備檢驗人員考核規則》《特種設備檢測機構核準規則》《特種設備型式試驗機構核準規則(第1號修改單)》《電梯型式試驗規則》等有關法律法規中的相關規定,根據監管工作實際確定相關指標維度。
(3)整體性。指標的設計、選擇和確定即需要在現有的、能夠獲取的數據資源中盡可能客觀地反映電梯維保企業的整體情況,又能反映需要監管的重點。
(4)系統性。電梯維保企業信用風險分類模型既有通用性也有專業性,各項指標必須有機結合,相互之間既不重復又不矛盾,這是電梯維保企業信用風險評價指標體系是否合理的關鍵。
(5)實用性。指標應選取的指標數據要比較容易取得,且不能過于復雜,以重點的、有代表性的指標實現全面性原則與實用性原則的統一。
(6)關聯性。現有的數據或單一指標很難準確揭示潛在風險,需要將不同指標與監管經驗、案例分析關聯,發現其內在的關聯性,有助于發現潛在風險線索并用于引導監管方向。
2 模型算法設計
2.1 電梯維保企業信用風險影響因素
影響電梯維保企業信用風險的因素是指電梯維保企業在運營過程中為減少違法行為所表現出來的風險因素,綜合各方面的研究,影響因素包括通用型信用風險因素、專業領域風險因素以及其他因素[5-7],見圖1。
(1)通用型信用風險因素
企業通用型信用風險因素包括基本因素、動態因素、監管因素、關聯因素、社會評價因素五個方面的因素。其中基本因素包含企業規模、企業年齡、企業背景等基礎特征信息,反映了基于企業群體特征所表現的風險因素;動態因素包含企業準入許可、登記備案、年報公示、經營狀況、納稅社保、知識產權等方面的行為信息,反映了基于行為特征所表現的風險因素;監管因素包含行政檢查、行政處罰、訴訟信息、經營異常、黑名單、失信被執行人、信用信息等方面的信息,反映了基于歷史監管記錄所表現的風險因素;關聯因素包含企業相關人員違法失信信息和關聯企業違法失信信息,反映了基于企業關聯關系所表現的風險因素;社會評價因素包含投訴舉報、輿情評價和社會關注度等信息,反映了基于社會評價信息所表現的風險因素。
(2)專業領域風險因素
本研究所涉及到的電梯專業領域風險因素主要包括人員、設備、管理三方面的因素[8-9]。其中人員因素包括人員配置情況、具備資質的工程師數量占比、具有資質的工程師數量、人均負責電梯數量等人員相關信息,反映了基于電梯領域相關人員特征所表現的風險因素;電梯安全因素包括重大安全風險隱患、安全檢查、安全隱患排查、安全隱患整改等電梯安全相關信息,反映了基于電梯安全特征所表現的風險因素;管理因素包括安全管理制度、電梯乘梯須知、電梯設備檔案、一梯一檔建立安全技術檔案等電梯管理相關信息,反映了基于電梯領域管理特征所表現的風險因素。
(3)其他因素
影響電梯維保企業信用風險的因素除了通用型信用風險因素和專業領域風險因素外,法律法規、政策支持、環境變化、地理條件、氣候變化等因素也影響著電梯維保企業信用風險,但這些因素一般對某個區域的企業都是相同或相近的,因此在構建針對單個企業信用風險評價時可以忽略。
2.2 電梯維保企業信用風險分類模型指標體系構建
為提高企業信用風險分類在電梯領域的契合度和有效性,電梯維保企業信用風險分類模型指標體系在通用型企業信用風險分類模型指標體系的基礎上,梳理目前可獲得的數據資源,融合各政府部門的電梯許可、監督抽查通報、召回公告等信用信息等專業領域風險相關數據指標,并運用機器學習算法特征篩選等算法,最終完善一套新的、可不斷優化迭代的電梯維保企業信用風險分類指標體系。
電梯相關企業信用風險分類指標體系基于企業通用型風險分類指標體系構建,共包含5個一級指標,21個二級指標和57個三級指標。5個一級指標與通用型指標相同,分別為基礎屬性信息、動態信息、監管信息、關聯信息和社會評價信息。其中基礎屬性信息指反映電梯維保企業基礎屬性相關的風險特征,包含企業規模、企業年齡、企業背景等3個二級指標,8個三級指標;動態信息反映電梯維保企業行為相關的風險特征,包含許可和準入事項、登記備案事項、經營狀況、納稅社保狀況、認可認證、標準等6個二級指標,16個三級指標;監管信息全面反映監管中發現的風險信息,包含重大安全風險、安全檢查、經營異常名錄、黑名單、失信被執行人、行政檢查、行政處罰、訴訟信息等8個二級指標,19個三級指標;關聯信息反映了電梯維保企業的關聯風險,包含關聯人員違法失信信息和關聯企業違法失信信息等2個二級指標,9個三級指標;社會評價信息,反映了投訴舉報和互聯網輿情等外部信息中存在的風險信息,包含投訴舉報和輿情評價等2個二級指標,5個三級指標。
電梯企業信用風險分類指標的構建是通過“通用+專業”指標融合方式進行構建,既考慮通用型指標的普適性,又考慮特殊行業指標的專業性。與企業通用型信用風險分類指標相比,保留了企業規模、企業背景、經營狀況、經營異常名錄、黑名單信息、失信被執行人、行政檢查、行政處罰、訴訟信息關聯人員違法失信信息、關聯企業違法失信信息、投訴舉報、輿情評價等二級指標和對應的三級指標。針對電梯安全增加了電梯安全檢查、重大安全風險二級指標,其中重大安全風險是指電梯企業是否重大火災隱患逾期未改名單,電梯安全檢查包括了未按時定期檢驗、未定期開展安全隱患排查、未及時完成隱患整改、未編制以安全生產責任制為主要內容的安全管理制度、未按一梯一檔建立安全技術檔案、檢驗設備、儀器是否滿足要求。各項檢測、試驗記錄是否符合現場實際、是否張貼電梯乘梯須知、是否有健全電梯設備檔案等三級指標。
2.3 電梯維保企業信用風險分類模型算法設計
(1)指標賦分
每個指標項可以根據取值不同分為類別指標和數值指標,類別指標取值是有限的(如是否為納稅非正常戶),數值指標的取值是連續且分散的(如注冊資本)。為了模型計算的方便,需要將數值指標轉化為類別指標,數值分類需要綜合考慮該指標的數值分布及其與風險目標變量的關系。對每個指標的各類別風險賦分可以采用平衡記分卡進行賦分,需要根據該類別與風險變量的關系進行賦分[10]。如行政處罰是電梯維保企業信用風險的一個反映,可以將一年內受到行政處罰的比例作為風險測量變量,計算出全部電梯維保企業受到行政處罰比例的平均值μ和標準差σ,如果該類別的受到行政處罰比例為x,則該類別賦分為:
(2)指標權重
指標的權重設置可采用德爾菲法、層次分析法等主觀賦權法或者特征工程、相關分析法、熵權法等客觀賦權法,計算出各三級指標權重、二級指標權重和一級指標權重。本文基于歷史企業抽查檢查和行政處罰結果實現對企業分類的標注,通過引入邏輯回歸、SVM、AdaBoost、GBDT、XGBoost等機器學習算法,實現自動最優權重的確定。
(3)信用風險得分計算
每個電梯維保企業信用風險得分最高為1000分。各個指標項的最高分為1000分,每個電梯維保企業的信用風險總得分計算方法如下:
信用風險總得分=∑[各個三級指標得分×三級指標權重×二級指標權重]×一級指標權重
(4)信用風險等級分類
根據電梯維保企業信用風險得分由低到高將電梯維保企業分成A類(信用風險低)、B類(信用風險一般)、C類(信用風險較高)和D類(信用風險高)。每個電梯維保企業信用風險得分為0~1000分,得分越高表明電梯維保企業風險越高。電梯維保企業信用風險得分與信用風險等級的對應關系見表1。
3 模型優化驗證
3.1 數據處理說明
此次選擇H省電梯維保企業674家作為研究對象,通過整合各類數據,以表1中指標體系為依據構建相關指標,同時以2021年企業監管數據中企業是否發現問題作為企業信用風險分類的依據。通過描述性分析、相關性分析等方式對數據進行數據探索,發現在此項目中,數據存在缺失值、異常值及樣本不均衡等問題:
(1)對于缺失值,根據數據缺失實際情況,采用模型填充、直接刪除等方式對數據進行處理;
(2)對于異常值,結合業務實際情況,異常值屬于正常數據,在此不進行處理,我們通過計算WOE值、IV、cart樹分箱、卡方分箱等方法對數據進行分箱離散化處理并編碼,并確定特征權重重要性;
(3)對于相關性分析結果,從結果可以看出各指標間相關性相對來說不突出,在此不做處理;
(4)對于樣本不均衡的問題,使用下采樣和SMOTE過采樣兩種方法來解決該問題,用這兩條路線進行對比實驗。
4.2 算法選取及模型構建
基于歷史監管數據對樣本進行分類,采用有監督學習的方式來訓練模型,算法上通過比較邏輯回歸、SVM、樸素貝葉斯等算法,最終選擇邏輯回歸分類算法進行機器學習模型構建。并通過對模型搭建及多次調參訓練,模型結果匯總見表2。經過對比分析,模型調優后的召回率、準確率和精準率最高,再結合ROC曲線和AUC值,最終選擇調優模型結果作為最終應用模型。

利用調優后的模型對電梯維保企業進行風險測算,信用風險低、信用風險一般、信用風險較高和信用風險高的占比呈現倒金字塔形式,分別為50.76%、40.46%、6.11%和2.67%。
4.3 模型應用驗證
結合模型分類結果和2022年H省三個地區的電梯維保企業“雙隨機、一公開”抽查檢查結果進行比對(見表3),發現風險等級為D類的問題發現率為90%左右,C類企業問題發現率最低也接近50%,而A類和B類企業的問題發現率均低于20%。這表明該模型結果能夠較好地反映電梯維保企業存在的問題,能夠有效提高監管及時性、精準性、有效性,有助于合理配置監管資源并提升監管效能,以公正監管促進公平競爭、優勝劣汰。
5 結語和建議
通過構建電梯維保企業信用風險分類模型,可以實現對電梯維保企業信用風險的自動分類,及時對電梯維保企業信用風險進行研判,根據風險分類結果對企業實施差異化監管,科學有效配置監管資源和力量,提升監管效能。為進一步充分應用機器學習提升電梯維保企業信用風險分類管理的精準型,現提出如下建議:
一是增強專業領域數據歸集能力。目前電梯維保企業通用因素相關指標數據基礎相對較好,而專業領域數據缺乏統一的數據歸集中心而散落到各個業務系統中,數據的完整性和全面性存在較大問題,需要通過相關機制建設提升專業領域數據歸集能力。同時,需要深化傳感器、物聯網、邊緣計算等新技術的應用,提升對電梯運行相關數據的采集能力,為電梯領域信用風險分類模型奠定堅實數據基礎。
二是持續迭代優化指標體系模型。構建“信用風險分類驅動監管業務”為核心的監管業務流程閉環系統,在生成信用風險分類結果后,及時推送、驅動線下監管,同時再次將線下監管結果采集至平臺,形成由監測到監管再到監測的全流程業務閉環。通過業務監管實際問題發現情況以及各類日常檢查、專項檢查結果的反饋,及時評估模型的科學性和準確性,通過機器學習等方式持續優化指標體系和模型,進一步提升模型的準確性,更好地支撐電梯維保企業信用風險分類工作。
參考文獻
[1]國務院辦公廳.國務院辦公廳關于加強電梯質量安全工作的意見[EB/OL].(2018-02-09)[2023-04-13].http://www.gov.cn/zhengce/content/2018-02/09/ content_5265380.htm.
[2]國家市場監督管理總局.市場監管總局關于2022年全國特種設備安全狀況的通告[EB/OL].(2023-03-16)[2023-04-13].https://www.samr.gov.cn/samrgkml/nsjg/ tzsbj/202303/t20230316_353874.html.
[3]國家市場監督管理總局.市場監管總局關于加強重點領域信用監管的實施意見[EB/OL].(2021-06-08)[2023-04-13].https://www.samr.gov.cn/samrgkml/nsjg/ xyjgs/202106/t20210608_330344.html.
[4]市場監管總局.市場監管總局關于推進企業信用風險分類管理進一步提升監管效能的意見[EB/OL].(2022-02-14)[2023-04-13].http://www.gov.cn/zhengce/ zhengceku/2022-02/14/ content _5673425.htm.
[5]趙吉臣.電梯安全性能影響因素與電梯檢驗探討[J].科技創新與應用,2020(20):122-123.
[6]文濤,秦定林,李云安,等.淺談影響電梯安全的幾方面因素及應對策略[J].中國電梯,2020,31(19):42-43.
[7]廖鴻儒.電梯安全性能影響因素及電梯檢驗檢測的強化路徑研究[J].中國設備工程,2020(23):158-160.
[8]李泉.電梯安全性能影響因素和強化電梯檢驗檢測策略研究[J].中國設備工程,2020(1):126-128.
[9]回彩娟,楊洋.簡析電梯在安裝、使用和維修過程中的風險因素[J].中國特種設備安全,2019,35(6):65-68.
[10]楊臻黛.業績衡量系統的一次革新——平衡記分卡[J].外國經濟與管理,1999(9):7-11.
作者簡介
周洪美,博士,紅盾大數據(北京)有限公司副總經理,高級統計師,研究方向為政務領域大數據應用。
裴飛,碩士,《中國標準化》雜志社有限公司社長,正高級工程師,研究方向為標準與質量管理。
陳云蕾,本科,紅盾大數據(北京)有限公司分析師,研究方向為大數據建模。
蘭鵬,碩士,市場監管總局信息中心應用開發一處工程師,研究方向大數據應用。
張志清,碩士,市場監管總局信息中心應用開發一處副處長、高級工程師,研究方向數字政府建設、人工智能應用。
(責任編輯:張瑞洋)