Kappa系數(shù)在卷煙外觀檢驗一致性評價中的應(yīng)用

摘" 要：煙草行業(yè)對于卷煙成品的外觀質(zhì)量具有較高的要求，卷煙外觀方面檢驗仍主要依靠人工目測，但是目前卷煙物理檢驗師考評外觀檢驗一致性檢驗缺少直觀量化的數(shù)理評價指標(biāo)及方法，因此提出Kappa系數(shù)在卷煙外觀檢驗一致性評價中的應(yīng)用思路。以GB 5606.3—2005《卷煙 第3部分：包裝、卷制技術(shù)要求及貯運》中的5項箱裝外觀質(zhì)量指標(biāo)，7項條狀裝外觀質(zhì)量指標(biāo)，13項盒裝外觀質(zhì)量指標(biāo)，13項煙支外觀質(zhì)量指標(biāo)為研究對象，設(shè)計3個方案，選擇5名具有從業(yè)資質(zhì)和工作經(jīng)驗的卷煙檢驗員進(jìn)行外觀檢驗一致性試驗，并使用Minitab軟件分析檢驗員的Kappa值，重點研究樣品設(shè)計中外觀質(zhì)量指標(biāo)有定量要求和無定量指標(biāo)僅為定性描述的樣品占比對Kappa值的影響。結(jié)果表明，樣品方案中有定量要求的指標(biāo)樣品占比多時，方案越簡單，檢驗員的Kappa系數(shù)越大，無定量要求僅為定性描述要求的指標(biāo)樣品占比多時，方案越難，檢驗員的Kappa系數(shù)越小。Kappa系數(shù)一致性檢驗可直觀量化檢驗員外觀檢驗的重現(xiàn)性、再現(xiàn)性、準(zhǔn)確性等指標(biāo)，有利于質(zhì)量風(fēng)險管控。

關(guān)鍵詞：Kappa系數(shù)；測量系統(tǒng)；屬性一致性分析；卷煙外觀；一致性檢驗；質(zhì)量風(fēng)險

中圖分類號：O212.1" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2023）28-00５１-0４

Abstract： The tobacco industry has higher requirements for the appearance quality of cigarette products， and cigarette appearance inspectionmainly depends on manual visual inspection， but at present， cigarette physical inspectors lack intuitive and quantitative mathematical evaluation indexes and methods for external light inspection consistency inspection， so the application idea of Kappa coefficient in cigarette appearance inspection consistency evaluation is put forward. Taking 5 items of package appearance quality index， 7 items of strip package appearance quality index， 13 items of box appearance quality index and 13 items of cigarette appearance quality index in GB 5606.3-2005， Cigarettes， Part 3： \"Packaging， Rolling Technical Requirements and Storage and Transportation\" as the research object， three schemes were designed， and 5 cigarette inspectors with professional qualifications and working experience were selected for appearance inspection consistency test. Using Minitab software， this paper analyzes the examiner's Kappa value， focusing on the impact of the proportion of samples with quantitative requirements and no quantitative index only qualitative description on the Kappa value in sample design. The results show that when there are more quantitative index samples in the sample scheme， the simpler the scheme is， the larger the Kappa coefficient of the inspector is， and the more difficult the scheme is， the smaller the Kappa coefficient of the inspector is. The consistency test of Kappa coefficient can directly quantify the reproducibility， re-occurrence and accuracy of the inspector's vision， which is beneficial to quality risk control.

Keywords： Kappa coefficient; measurement system; attribute consistency analysis; cigarette appearance; consistency test; quality risk

在卷煙成品質(zhì)量的評價指標(biāo)中，目測為檢驗中的重要手段。人眼目測檢驗精度有限且存在差異，檢驗員外觀檢驗一致性評價亟需一種直觀科學(xué)量化的數(shù)理評價指標(biāo)及方法來評價檢驗員的準(zhǔn)確性、穩(wěn)定性和人員之間的一致性。目前，行業(yè)各級檢驗機(jī)構(gòu)普遍采取的外觀檢驗一致性評價評價手段為上級比對、內(nèi)部培訓(xùn)、樣品盲測等，缺少能夠反映檢驗員外觀檢驗之間一致性大小的量化指標(biāo)。

1960年，Cohen等人提出使用Kappa值[1]作為判斷評價一致性程度指標(biāo)，目前在醫(yī)療等行業(yè)得到廣泛的應(yīng)用，已經(jīng)成為判斷一致性[2]和信用度評價的一種常用統(tǒng)計學(xué)重要指標(biāo)。Kappa值的可能取值范圍是從-1到1，Kappa值小于0.7時表示測量系統(tǒng)不合格，在0.7～0.9時表示測量系統(tǒng)可接受，大于等于0.9時表示測量系統(tǒng)良好。在煙草領(lǐng)域，應(yīng)用Kappa一致性檢驗進(jìn)行卷煙成品檢驗員外觀檢驗一致性評價的未見相關(guān)研究報告。本文提出Kappa系數(shù)在卷煙外觀檢驗一致性評價中的應(yīng)用思路，以GB 5606.3—2005《卷煙" 第3部分：包裝、卷制技術(shù)要求及貯運》中的5項箱裝外觀質(zhì)量指標(biāo)，7項條狀裝外觀質(zhì)量指標(biāo)，13項盒裝外觀質(zhì)量指標(biāo)，13項煙支外觀質(zhì)量指標(biāo)為研究對象，設(shè)計3種試驗方案，每個式樣方案準(zhǔn)備50個樣品，選擇5名卷煙外觀檢驗員進(jìn)行目光檢驗試驗，并使用Minitab軟件分析檢驗員的Kappa值，重點研究樣品設(shè)計中外觀質(zhì)量指標(biāo)有定量要求和無定量指標(biāo)僅為定性描述的樣品占比對Kappa值的影響。

1" 材料與方法

1.1" 材料

成品箱裝卷煙、成品條裝卷煙、成品盒裝卷煙和成品煙支卷煙。

1.2" 儀器和設(shè)備

量程為20 cm、精度為0.1 mm的鋼尺1把；標(biāo)準(zhǔn)光源箱。

1.3" 試驗

1.3.1" 樣品制備

按照GB 5606.3—2005《卷煙 第3部分：包裝、卷制技術(shù)要求及貯運》要求，制作5項箱裝外觀質(zhì)量指標(biāo)缺陷箱裝卷煙；7項條裝外觀質(zhì)量指標(biāo)缺陷煙條卷煙；13項盒裝外觀質(zhì)量指標(biāo)缺陷盒裝卷煙；13項煙支外觀質(zhì)量指標(biāo)缺陷煙支的各類樣本，其標(biāo)準(zhǔn)值經(jīng)過5位專家進(jìn)行目測和儀器測量結(jié)合確定。

1.3.2" 檢驗人員

選擇5名色彩視覺檢測系統(tǒng)（色棋）考核合格，具備四級煙草物理檢驗師以上資質(zhì)檢驗員。

1.3.3" 試驗方法

從已經(jīng)制備的樣品中篩選滿足試驗設(shè)計要求的卷煙進(jìn)行試驗，方案1挑選按國標(biāo)判定指標(biāo)均有定量要求的樣品25個以及合格樣品25個；方案2挑選按國標(biāo)判定既有定量要求又有定性要求的樣品25個以及合格樣品25個；方案3挑選按國標(biāo)判定指標(biāo)均無定量要求的樣品25個以及合格樣品25個。將樣品進(jìn)行隱秘標(biāo)識后混合充分，在檢測臺上進(jìn)行隨機(jī)擺放，檢驗員按國標(biāo)要求在標(biāo)準(zhǔn)光源下對測試樣品外觀質(zhì)量進(jìn)行檢驗判定，每個樣本間隔30 d重復(fù)檢驗1次。

1.3.4" 數(shù)據(jù)采集及分析

針對每個方案每個樣品，收集試驗數(shù)據(jù)，使用Minitab軟件進(jìn)行檢驗員的Kappa值分析。

2" 結(jié)果與討論

2.1" 方案一致性評估

樣品方案中有定量要求的指標(biāo)樣品占比多時，方案越簡單，檢驗員的Kappa系數(shù)越大，無定量要求僅為定性描述要求的指標(biāo)樣品占比多時，方案越難，檢驗員的Kappa系數(shù)越小。

2.2" 檢驗員自身的一致性評估

2.2.1" 一致性評估

5名檢驗員自身一致性評估見表1。

不同的樣品方案中，定性描述的樣品的檢驗員自身的一致性在94%～100%之間，隨著樣品判定的要求的可量化性增加，檢驗員自身的一致性呈現(xiàn)上升趨勢。當(dāng)樣品判定標(biāo)準(zhǔn)采用定量描述時，4位檢驗員自身一致性評估達(dá)到了100%，只有1位檢驗員出現(xiàn)了偏差，定量描述對檢驗員自身判斷的一致性有明顯的改善。

2.2.2" Kappa分析

對5名檢驗員自身檢驗結(jié)果進(jìn)行Kappa分析，分析結(jié)果見表2。

分析結(jié)果顯示，不同的檢驗員在判定定性描述的樣品時，Kappa值最小0.88，最大1。當(dāng)樣品采用定量描述時，Kappa值最小0.96，最大1。隨著樣品判定要求描述的變化，Kappa值明顯得到了提升，5位檢測員的自身一致性達(dá)到了良好的水平，表明定量描述的樣品判定要求能夠提高檢驗員對樣品屬性一致性的評估能力。

2.3" 檢驗員與標(biāo)準(zhǔn)的一致性評估

2.3.1" 一致性評估

各方案下，5名檢驗員與標(biāo)準(zhǔn)一致性性評估，分析結(jié)果見表3。

煙支外觀檢驗需要檢驗員與標(biāo)準(zhǔn)樣品進(jìn)行一致性判定，當(dāng)檢測樣品要求采用定性描述時，檢驗員與標(biāo)準(zhǔn)的一致性在86%～90%之間。當(dāng)樣品采用定量描述時，5名檢驗員與標(biāo)準(zhǔn)的一致性基本都達(dá)到了98%以上，判定要求的定量化，大大提高了檢驗員對于樣品判斷的準(zhǔn)確性，檢驗員的判定結(jié)果與判定標(biāo)準(zhǔn)的一致性得到了明顯提升。

2.3.2" Kappa分析

對5名檢驗員標(biāo)準(zhǔn)檢驗結(jié)果進(jìn)行Kappa分析，分析結(jié)果見表4。

結(jié)果顯示，樣品判定要求采用定性描述時，Kappa值最小0.76，最大0.80，整體的測量系統(tǒng)基本滿足要求。當(dāng)樣品判定要求采用定量描述時，Kappa值達(dá)到0.96～1，隨著樣品判定要求的描述由定性轉(zhuǎn)變?yōu)槎繒r，測量系統(tǒng)能力進(jìn)一步提升，5名檢測員與標(biāo)準(zhǔn)的一致性均達(dá)到了良好的水平。因此，在卷煙外觀檢測時，判定要求采用定量描述可以大幅提升測量系統(tǒng)的穩(wěn)定性。

2.4" 檢驗員之間的一致性評估

2.4.1" 一致性評估

各方案下，5名檢驗員之間一致性評估，分析結(jié)果見表5。

因檢驗員對于定性描述的外觀缺陷的認(rèn)知存在主觀偏差，不同的檢驗員在對樣品進(jìn)行判定時，定性描述的樣品判定一致性僅為80%，而當(dāng)樣品判定采用定量描述時，檢驗員可以通過標(biāo)準(zhǔn)量具對樣品進(jìn)行測量，當(dāng)對煙支樣品缺陷進(jìn)行判定時，減少了主觀判斷的影響，檢驗員之間的一致性達(dá)到了95%以上。

2.4.2" Kappa分析

對5名檢驗員之間檢驗結(jié)果進(jìn)行Kappa分析，分析結(jié)果見表6。

從Kappa值來看，經(jīng)過系統(tǒng)培訓(xùn)的檢驗員之間的一致性基本能夠達(dá)到良好的水平，當(dāng)樣品判定要求采用定量描述時，檢驗員之間的一致性達(dá)到最優(yōu)水平。

通過檢驗員的自身一致性、檢驗員與標(biāo)準(zhǔn)的一致性、檢驗員之間的一致性對3種不同方案進(jìn)行屬性一致性評估，從分析結(jié)果來看，對于不同的煙支外觀缺陷，Kappa系數(shù)可以直觀地對測量系統(tǒng)進(jìn)行評價。但是，不同的樣品方案的評價結(jié)果之間存在差異性，定量描述樣品的判定指標(biāo)能夠提高外觀檢測的一致性，減少檢測誤差所帶來的質(zhì)量損失，有利于卷煙質(zhì)量的風(fēng)險管控。

3" 結(jié)論

1）在卷煙外觀質(zhì)量檢驗中，Kappa系數(shù)一致性檢驗可以直觀量化檢驗員的重現(xiàn)性、再現(xiàn)性、準(zhǔn)確性，為管理者數(shù)字化考核、針對性培訓(xùn)檢驗員提供了有效途徑和方法，有利于卷煙質(zhì)量風(fēng)險管控。

2）隨著定性型指標(biāo)減少，定量型指標(biāo)增加，檢驗員自身一致性、檢驗員與標(biāo)準(zhǔn)一致性均有一定程度提高，這為卷煙生產(chǎn)企業(yè)內(nèi)控標(biāo)準(zhǔn)指標(biāo)量化優(yōu)化提供了支撐。

3）使用Kappa系數(shù)對整個卷煙成品外觀質(zhì)量檢驗系統(tǒng)一致性進(jìn)行評價，為檢測系統(tǒng)穩(wěn)定性提供了數(shù)據(jù)化依據(jù)。

參考文獻(xiàn)：

[1] 郭軼斌，郭威，秦宇辰，等．基于Kappa系數(shù)的一致性檢驗及其軟件實現(xiàn)[J]．中國衛(wèi)生統(tǒng)計，2016，33（1）：169－170，174．

[2] 唐萬，胡俊，張暉，等．Kappa系數(shù)：一種衡量評估者間一致性的常用方法[J]．上海精神醫(yī)學(xué)，2015（1）：67-72．