民航SMS效能評(píng)估架構(gòu)設(shè)計(jì)

□ 中國(guó)民航局 馬 駿 中國(guó)民航大學(xué) 陳 芳 劉玲莉 馬 媛/文

資料圖片

當(dāng)前，中國(guó)民航處于高質(zhì)量發(fā)展“轉(zhuǎn)段進(jìn)階”的關(guān)鍵階段，在規(guī)劃與改革“雙引擎驅(qū)動(dòng)”的工作格局下，民航局把“完善航空安全管理體系” 作為“十四五”時(shí)期深化改革工作的第一專項(xiàng)部署加以推進(jìn)。可以預(yù)見，到2025年，中國(guó)民航將通過完善SMS，在安全監(jiān)督管理模式上實(shí)現(xiàn)突破，形成具有適應(yīng)性、引領(lǐng)性和前瞻性的行業(yè)安全治理體系。為此，2021年初中國(guó)民航局發(fā)布文件，初步建立起了一致規(guī)范性的行業(yè)SMS審核管理制度，下一步，改進(jìn)完善現(xiàn)有的審核評(píng)估工具顯得尤為迫切。

在《國(guó)際民航SMS效能評(píng)估實(shí)施進(jìn)展》一文中（詳見本刊2021年第7期），對(duì)比了相關(guān)區(qū)域（領(lǐng)域）官方（半官方）國(guó)際性組織、主要國(guó)家民航當(dāng)局的SMS評(píng)估工具，包括歐盟航空安全局（EASA）、安全管理國(guó)際協(xié)作小組（SMICG）、澳大利亞民用航空安全局（CASA）、英國(guó)民用航空局（CAA）等發(fā)布的《EASA管理體系評(píng)估工具》、《SMICG SMS評(píng)估工具》、《CASA SMS評(píng)估工具》、《CAA SMS評(píng)估工具》，以及中國(guó)民航局《民航安全管理體系（SMS）審核管理辦法》、《民航空管安全管理體系（SMS）審核管理辦法》。研究發(fā)現(xiàn)，國(guó)內(nèi)外評(píng)估工具在“依據(jù)”、“使用方”以及“結(jié)果的運(yùn)用”等方面存在區(qū)別。為了探索設(shè)計(jì)符合我國(guó)現(xiàn)階段SMS建設(shè)需求的效能評(píng)估工具，本文以國(guó)外典型SMS評(píng)估工具中的同一要素——“危險(xiǎn)源識(shí)別”為例，展示、分析不同評(píng)估工具的評(píng)估架構(gòu)、設(shè)計(jì)思路和核心要素，對(duì)比其異同，提出我國(guó)民航SMS效能審核（或評(píng)估）工具架構(gòu)的設(shè)想。

國(guó)際民航SMS效能評(píng)估構(gòu)架設(shè)計(jì)

（一）EASA管理體系評(píng)估架構(gòu)設(shè)計(jì)

在使用《EASA管理體系評(píng)估工具》進(jìn)行效能評(píng)估時(shí)，按照“安全方針和目標(biāo)”、“安全風(fēng)險(xiǎn)管理”、“安全保證”、“安全促進(jìn)”以及“需要考慮的其他項(xiàng)目”進(jìn)行評(píng)估。檢查表按照評(píng)估內(nèi)容包括“要素”、“要素PSOE級(jí)別”、“尋找什么”和相應(yīng)的歐盟或EASA要求等內(nèi)容，其設(shè)計(jì)樣式見圖1。

（二） SMICG SMS評(píng)估架構(gòu)設(shè)計(jì)

檢查表按照評(píng)估內(nèi)容包括“符合性+績(jī)效指標(biāo)”、“PSOE級(jí)別選擇”、“如何實(shí)現(xiàn)”、“指標(biāo)評(píng)價(jià)”、“尋找什么”以及“要素PSOE級(jí)別”等內(nèi)容，其設(shè)計(jì)樣式見圖2。

（三）CASA SMS評(píng)估架構(gòu)設(shè)計(jì)

《CASA SMS評(píng)估工具》中的檢查表按照評(píng)估內(nèi)容可分為“要素”、“符合性+績(jī)效指標(biāo)”、“PSOE級(jí)別選擇”、“如何實(shí)現(xiàn)”、“指標(biāo)評(píng)價(jià)”、“要素整體效能”以及“要素整體效能級(jí)別選擇和評(píng)價(jià)”等內(nèi)容，其設(shè)計(jì)樣式見圖3。

（四）CAA SMS評(píng)估架構(gòu)設(shè)計(jì)

《CAA SMS評(píng)估工具》中的檢查表按照評(píng)估內(nèi)容可分為“要素”、“符合性+績(jī)效指標(biāo)”、“PSOE級(jí)別選擇”、“如何實(shí)現(xiàn)”、“尋找什么”、“指標(biāo)評(píng)價(jià)”、“要素整體效能”以及“要素整體效能級(jí)別選擇和評(píng)價(jià)”等內(nèi)容，其設(shè)計(jì)樣式見圖4。

國(guó)際民航SMS效能評(píng)估架構(gòu)對(duì)比

（一）使用對(duì)象設(shè)計(jì)分析

圖1：EASA管理體系評(píng)估架構(gòu)

圖2：SMICG SMS評(píng)估架構(gòu)

圖3： CASASMS評(píng)估架構(gòu)

按照檢查單的使用對(duì)象劃分，國(guó)際上典型SMS效能評(píng)估工具檢查單的內(nèi)容包括關(guān)于要素要點(diǎn)以及審核證據(jù)等的描述、被評(píng)估組織填寫的內(nèi)容以及監(jiān)管當(dāng)局填寫的內(nèi)容。“描述”包括“要素”、“符合性+績(jī)效指標(biāo)”、“要素PSOE級(jí)別”、“尋找什么”以及“要素整體效能”。“被評(píng)估組織填寫的內(nèi)容”由被評(píng)估組織根據(jù)組織SMS實(shí)施情況，對(duì)照“描述”中的內(nèi)容，選擇每個(gè)指標(biāo)目前實(shí)施所達(dá)到的級(jí)別，在“如何實(shí)現(xiàn)”中詳細(xì)闡述組織是如何實(shí)施該指標(biāo)并達(dá)到所選擇的PSOE級(jí)別，包括“PSOE級(jí)別選擇”和“如何實(shí)現(xiàn)”。“監(jiān)管當(dāng)局填寫的內(nèi)容”由監(jiān)管當(dāng)局對(duì)每個(gè)要素下的指標(biāo)以及要素整體效能進(jìn)行評(píng)價(jià)，并說明對(duì)每個(gè)要素整體效能判斷的過程、評(píng)估理由、現(xiàn)場(chǎng)檢查情況等，包括“指標(biāo)評(píng)價(jià)”、“要素整體效能級(jí)別選擇和評(píng)價(jià)”。對(duì)比情況見表1。

圖4：CAASMS評(píng)估架構(gòu)

從表1可以發(fā)現(xiàn)：

1.不同機(jī)構(gòu)或國(guó)家“描述”的內(nèi)容迥異

除《SMICG SMS評(píng)估工具》以外，其他三個(gè)典型SMS評(píng)估工具均包括“要素”，且都是來源于規(guī)章要求中的內(nèi)容，要素的描述也均以附件19中SMS的要求為主，是對(duì)被評(píng)估方在建設(shè)并保持該評(píng)估要素全面的要求。在此基礎(chǔ)上，《EASA管理體系評(píng)估工具》還詳細(xì)列出了每個(gè)要素對(duì)應(yīng)的組織遵守的規(guī)章文件。

“符合性+績(jī)效指標(biāo)”是為了將要素轉(zhuǎn)變?yōu)楦阌诶斫夂蛯徍说木唧w指標(biāo)，以便于更加全面且詳細(xì)地評(píng)估SMS效能，除《EASA管理體系評(píng)估工具》以外，其他三個(gè)評(píng)估工具均對(duì)此有不同詳略程度的“符合性+績(jī)效指標(biāo)”的描述。

“要素PSOE級(jí)別”和“尋找什么”的設(shè)置上，《EASA管理體系評(píng)估工具》和《SMICG SMS評(píng)估工具》是一致的。“要素PSOE級(jí)別”可以幫助評(píng)估工具的使用方將級(jí)別描述與被評(píng)估方的情況對(duì)照以做出正確的級(jí)別判斷，“尋找什么”給出了便于被評(píng)估組織或監(jiān)管當(dāng)局判斷本要素所處級(jí)別的審核證據(jù)的提示。此外，《CAA SMS評(píng)估工具》也設(shè)置了“尋找什么”，而《CASA SMS評(píng)估工具》和《CAA SMS評(píng)估工具》均設(shè)置了“要素整體效能”。

2.不同機(jī)構(gòu)或國(guó)家“被評(píng)估組織填寫的內(nèi)容”和“監(jiān)管當(dāng)局填寫的內(nèi)容”基本一致

表1：典型SMS效能評(píng)估工具對(duì)比

除《EASA管理體系評(píng)估工具》以外，其他三個(gè)評(píng)估工具均涵蓋由“被評(píng)估組織”填寫的內(nèi)容，包括“PSOE級(jí)別選擇”和“如何實(shí)現(xiàn)”；同時(shí)，均包括了“指標(biāo)評(píng)價(jià)”。這是因?yàn)椤禘ASA管理體系評(píng)估工具》沒有將每個(gè)評(píng)估要素劃分為對(duì)應(yīng)的“符合性+績(jī)效指標(biāo)”，也就沒有了針對(duì)每個(gè)指標(biāo)的評(píng)價(jià)部分，“指標(biāo)評(píng)價(jià)”是依據(jù)“描述”中的內(nèi)容而進(jìn)行的。

只有《CASA SMS評(píng)估工具》和《CAA SMS評(píng)估工具》具有“要素整體效能級(jí)別選擇和評(píng)價(jià)”，這是因?yàn)檫@兩個(gè)評(píng)估工具具有要素整效能評(píng)估的內(nèi)容。但二者對(duì)于每個(gè)要素整體效能判斷等級(jí)的劃分不同，其中，《CASA SMS評(píng)估工具》將評(píng)估要素的整體效能分為“沒有達(dá)到效能”和“達(dá)到效能”；《CAA SMS評(píng)估工具》將評(píng)估要素的整體效能分為初始的、存在并合適的、正在運(yùn)行中的（但無效的）、取得成效的以及卓越五個(gè)級(jí)別。“要素整體效能級(jí)別選擇和評(píng)價(jià)”是依據(jù)“描述”以及被評(píng)估組織填寫完成后的內(nèi)容，再結(jié)合監(jiān)管當(dāng)局評(píng)估的實(shí)際情況而填寫的。

（二）功能設(shè)計(jì)對(duì)比分析

SMS效能評(píng)估工具的檢查單功能設(shè)計(jì)框架包括“要素描述層”、“評(píng)估指導(dǎo)層”、“指標(biāo)評(píng)估層”以及“效能評(píng)估層”。

對(duì)比國(guó)際民航SMS效能評(píng)估工具的檢查單架構(gòu)，可以發(fā)現(xiàn)：

1.除《SMICG SMS評(píng)估工具》以外，其他三個(gè)評(píng)估工具都包括“要素描述層”。

2.只有《EASA管理體系評(píng)估工具》和《SMICG SMS評(píng)估工具》包括“評(píng)估指導(dǎo)層”，均是為評(píng)估給出一定的參考，無需評(píng)估方或被評(píng)估方填寫。

3.除《EASA管理體系評(píng)估工具》以外，其他三個(gè)評(píng)估工具均包括“指標(biāo)評(píng)估層”中的“符合性+績(jī)效指標(biāo)”、“PSOE級(jí)別選擇”、“如何實(shí)現(xiàn)”以及“指標(biāo)評(píng)價(jià)”四個(gè)評(píng)估要素，這是因?yàn)椤禘ASA管理體系評(píng)估工具》中沒有將要素劃分為要點(diǎn)以及相對(duì)應(yīng)的“符合性+績(jī)效指標(biāo)”。且只有《CAA SMS評(píng)估工具》中有“尋找什么”，盡管此處的“尋找什么”與“評(píng)估指導(dǎo)層”中的“尋找什么”的出現(xiàn)位置不同，但所起到的功能是相同的。

4.只有《CASA SMS評(píng)估工具》以及《CAA SMS評(píng)估工具》中有“效能評(píng)估層”，用于對(duì)要素的效能進(jìn)行整體性評(píng)估。

我國(guó)民航SMS效能評(píng)估架構(gòu)設(shè)計(jì)構(gòu)想

為了滿足我國(guó)民航生產(chǎn)運(yùn)行單位組織SMS效能自評(píng)、監(jiān)管單位對(duì)民航生產(chǎn)運(yùn)行單位開展行政性評(píng)估的需要，并促進(jìn)運(yùn)行單位與監(jiān)管單位在SMS效能相關(guān)認(rèn)識(shí)上進(jìn)一步趨于一致，筆者通過對(duì)國(guó)際民航SMS效能評(píng)估工具的使用對(duì)象設(shè)計(jì)以及功能設(shè)計(jì)的分析，設(shè)計(jì)了我國(guó)民航SMS效能評(píng)估工具的架構(gòu)，見圖5。

圖5：我國(guó)民航SMS效能評(píng)估工具樣例

從圖5可以看出，我國(guó)民航SMS效能評(píng)估工具，在設(shè)計(jì)時(shí)參照了國(guó)際SMS效能評(píng)估工具檢查單的功能設(shè)計(jì)框架，其框架包括“要素描述層”、“評(píng)估指導(dǎo)層”、“指標(biāo)評(píng)估層”以及“效能評(píng)估層”四個(gè)層級(jí)。按照檢查單的使用對(duì)象劃分的“描述”在四個(gè)層級(jí)中都有體現(xiàn)，“監(jiān)管當(dāng)局填寫的內(nèi)容”體現(xiàn)在“效能評(píng)估層”以及“指標(biāo)評(píng)估層”；“被評(píng)估組織填寫的內(nèi)容”體現(xiàn)在“指標(biāo)評(píng)估層”。

1.要素描述層

該層級(jí)用于描述被評(píng)估要素，包括附件19《安全管理》SMS的12個(gè)“要素”的描述。

2.效能評(píng)估層

該層級(jí)用于說明附件19《安全管理》SMS的12個(gè)“要素”中的每一個(gè)要素的整體效能。該層級(jí)包括每一個(gè)要素的整體效能描述、PSOE的等級(jí)的選項(xiàng)和“評(píng)價(jià)”三部分。要素“PSOE”等級(jí)的選擇和“評(píng)價(jià)”內(nèi)容的撰寫由監(jiān)管當(dāng)局根據(jù)該要素下設(shè)的所有“指標(biāo)評(píng)估層”的效能審核要點(diǎn)的PSOE等級(jí)及實(shí)現(xiàn)情況綜合評(píng)定。

3.指標(biāo)評(píng)估層

該層級(jí)用于從符合性和績(jī)效描述每一個(gè)評(píng)估指標(biāo)“效能審核要點(diǎn)”，由被評(píng)估組織填寫的該指標(biāo)“PSOE”等級(jí)的選擇、“如何實(shí)現(xiàn)”該指標(biāo)效能的描述，以及由監(jiān)管當(dāng)局填寫的該指標(biāo)的效能水平的“評(píng)價(jià)”。

4.評(píng)估指導(dǎo)層

該層級(jí)為每一個(gè)評(píng)估指標(biāo)提供其分別隸屬于存在的（P）、合適的（S）、運(yùn)行中的（O）、有效的（E）的“效能審核提示”，包括“效能審核提示”和“PSOE級(jí)別”。

筆者認(rèn)為，按照本文框架設(shè)計(jì)的SMS效能評(píng)估工具不僅能夠?yàn)樵u(píng)估提供詳細(xì)指導(dǎo)，也能夠?qū)崿F(xiàn)對(duì)要素整體效能的評(píng)估，同時(shí)也能為下一步設(shè)計(jì)出體現(xiàn)我國(guó)民航安全新發(fā)展理念的效能評(píng)估單、效能評(píng)估要點(diǎn)、效能評(píng)估審核提示以及效能審核等級(jí)判定等功能模塊打下基礎(chǔ)。