感官分析評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)動(dòng)態(tài)分析

史波林，趙 鐳,*，汪厚銀，支瑞聰，奐 暢，云戰(zhàn)友，蘇玉芳

感官分析評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)動(dòng)態(tài)分析

史波林1，趙 鐳1,*，汪厚銀1，支瑞聰1，奐 暢2，云戰(zhàn)友3，蘇玉芳3

（1.中國(guó)標(biāo)準(zhǔn)化研究院食品與農(nóng)業(yè)標(biāo)準(zhǔn)化研究所，北京 100191；2.上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200444；3.內(nèi)蒙古伊利實(shí)業(yè)集團(tuán)股份有限公司技術(shù)中心，內(nèi)蒙古 呼和浩特 010110）

作為感官評(píng)價(jià)儀器的“評(píng)價(jià)員/評(píng)價(jià)小組”是獲得可靠感官分析數(shù)據(jù)的關(guān)鍵，其性能表現(xiàn)評(píng)估技術(shù)是有效管理該儀器的重要手段。本文將信度與效度作為該“儀器”的評(píng)估指標(biāo)，發(fā)現(xiàn)21世紀(jì)以后該類研究進(jìn)入高峰期，其超過(guò)85%的研究成果發(fā)表于Food Quality and Preference與Journal of Sensory Studies這兩個(gè)感官研究類權(quán)威雜志中，其中歐美國(guó)家在此技術(shù)中占主導(dǎo)地位。透過(guò)技術(shù)內(nèi)容發(fā)現(xiàn)，基于定量描述能力的評(píng)價(jià)小組及成員性能表現(xiàn)評(píng)估技術(shù)研究頻繁并趨于成熟，技術(shù)手段重點(diǎn)采用單參數(shù)或多參數(shù)方差分析、多元統(tǒng)計(jì)方法（主成分分析、廣義普羅克分析等），涌現(xiàn)了以PanelCheck、Compusense Five等為代表的評(píng)估軟件，同時(shí)國(guó)際標(biāo)準(zhǔn)化組織和美國(guó)材料與試驗(yàn)協(xié)會(huì)機(jī)構(gòu)也進(jìn)入相關(guān)標(biāo)準(zhǔn)研制階段。而有關(guān)差別與排序的評(píng)估技術(shù)研究相對(duì)缺乏。本文提出性能評(píng)估所用樣品性質(zhì)及數(shù)量、性能評(píng)估所用數(shù)據(jù)表現(xiàn)形式、性能評(píng)估感官實(shí)驗(yàn)設(shè)計(jì)要求、性能評(píng)估期望值及置信區(qū)間、性能評(píng)估所用感官分析方法選擇、性能評(píng)估的數(shù)學(xué)統(tǒng)計(jì)方法選擇等關(guān)鍵要素將成為該領(lǐng)域未來(lái)努力的方向，并有助于形成統(tǒng)一的、系統(tǒng)的感官分析評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)規(guī)范。

感官分析；評(píng)價(jià)小組；評(píng)價(jià)員；性能評(píng)估

感官分析是用于喚起、測(cè)量、分析和解釋產(chǎn)品通過(guò)視覺、嗅覺、觸覺、味覺和聽覺所引起反應(yīng)的一種科學(xué)方法[1]。其原始測(cè)量數(shù)據(jù)直接來(lái)源于感官分析儀器“評(píng)價(jià)小組及其評(píng)價(jià)員”的評(píng)價(jià)結(jié)果。經(jīng)過(guò)篩選和培訓(xùn)的“儀器”具有更好的靈敏度、更穩(wěn)定的評(píng)價(jià)，表現(xiàn)出更好的重復(fù)性和再現(xiàn)性，體現(xiàn)出更小的變異性[2]。然而，人不是模式化的、相對(duì)封閉的物理性機(jī)器，而是主動(dòng)的、開放的、發(fā)展的、變化的生物體系[3]，易受生理因素（如感官適應(yīng)、感覺增強(qiáng)、協(xié)同或抑制等）、心理因素（如期望誤差、刺激誤差、時(shí)序誤差、光環(huán)效應(yīng)等）和環(huán)境因素（如評(píng)價(jià)間的溫度、濕度、噪聲、光線等）等影響[4]，使得對(duì)食品感官性狀鑒別有爭(zhēng)議時(shí)往往難以下結(jié)論，從而影響感官評(píng)價(jià)結(jié)果的準(zhǔn)確性、客觀性和一致性。

同樣作為一門測(cè)量技術(shù)的感官分析，也像其他分析檢測(cè)一樣要求其測(cè)量結(jié)果的信度與效度[5]。其中信度為同一被測(cè)樣在相同的實(shí)驗(yàn)條件下應(yīng)該得到相近的結(jié)果，體現(xiàn)結(jié)果精密性，反應(yīng)結(jié)果的可信度或可靠性或穩(wěn)定性。在感官評(píng)價(jià)中，信度包含重復(fù)性與再現(xiàn)性。重復(fù)性為同一評(píng)價(jià)員或評(píng)價(jià)小組在相同時(shí)間（包括同天、同月等）、相同環(huán)境下對(duì)同一樣品重復(fù)感官評(píng)價(jià)結(jié)果的離散情況；再現(xiàn)性為評(píng)價(jià)小組內(nèi)部不同評(píng)價(jià)員之間或不同評(píng)價(jià)小組之間對(duì)同一樣品感官評(píng)價(jià)結(jié)果的離散情況。而效度是指測(cè)量工具或手段能夠準(zhǔn)確測(cè)出所需測(cè)量事物的正確程度，即測(cè)量結(jié)果與要考察內(nèi)容內(nèi)在特征的一致程度，體現(xiàn)結(jié)果的準(zhǔn)確性或正確性，反應(yīng)結(jié)果的有效性。感官評(píng)價(jià)檢測(cè)中的效度為評(píng)價(jià)員或評(píng)價(jià)小組單次測(cè)量與被測(cè)內(nèi)容本質(zhì)的一致性，即為評(píng)價(jià)員測(cè)試結(jié)果與理論值或評(píng)價(jià)小組得出的最優(yōu)估計(jì)值的離散情況，以及評(píng)價(jià)小組測(cè)試結(jié)果與理論值的離散情況。

為了保證感官檢驗(yàn)結(jié)果的可靠性、重復(fù)性和準(zhǔn)確性，需要對(duì)人的感官能力提出嚴(yán)格的要求，進(jìn)而才能在可控的條件下規(guī)范化地開展感官檢驗(yàn)活動(dòng)[6]。感官評(píng)價(jià)員及評(píng)價(jià)小組的表現(xiàn)評(píng)估技術(shù)是體現(xiàn)“儀器”可用性特點(diǎn)的技術(shù)保障，它能指導(dǎo)評(píng)價(jià)小組與評(píng)價(jià)員在投入使用前進(jìn)行校準(zhǔn)并達(dá)到要求的精確度，也能幫助評(píng)價(jià)小組與評(píng)價(jià)員在使用一定周期后進(jìn)行定期檢定以符合檢測(cè)的規(guī)范要求，保證檢測(cè)結(jié)果的有效性或正確性。該技術(shù)是實(shí)現(xiàn)感官評(píng)價(jià)數(shù)據(jù)價(jià)值的關(guān)鍵保障，是反映感官分析實(shí)驗(yàn)室檢測(cè)能力水平的重要手段，是構(gòu)成感官分析實(shí)驗(yàn)室能力建設(shè)與認(rèn)可的主要內(nèi)容。因此，感官分析實(shí)驗(yàn)室的評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)能有效管理“感官分析儀器”以保持良好的狀態(tài)，達(dá)到通過(guò)該儀器檢測(cè)所獲得數(shù)據(jù)的可靠性，保證感官分析科研、實(shí)驗(yàn)和生產(chǎn)的需要，也有力助推感官分析技術(shù)的廣泛應(yīng)用。

1 理化儀器評(píng)估技術(shù)不能直接應(yīng)用于感官分析儀器

針對(duì)理化檢測(cè)儀器設(shè)備性能評(píng)估及其實(shí)驗(yàn)室間能力比對(duì)技術(shù)已相當(dāng)成熟，并形成了系列規(guī)范技術(shù)體系，如《檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則》[7]、《檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在化學(xué)檢測(cè)領(lǐng)域的應(yīng)用說(shuō)明》[8]、《能力驗(yàn)證規(guī)則》[9]、《檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力的通用要求》[10]等，就儀器設(shè)備校準(zhǔn)與檢定、儀器設(shè)備期間核查、實(shí)驗(yàn)室能力比對(duì)與驗(yàn)證、設(shè)備維護(hù)、設(shè)備量值溯源、測(cè)量不確定度等均有詳細(xì)說(shuō)明與規(guī)定。

然而這些文件中的規(guī)定與方法不適用于感官評(píng)價(jià)小組及成員的表現(xiàn)評(píng)估及能力比對(duì)，圖1對(duì)比了基于理化的儀器測(cè)量與基于心理的感官測(cè)量的特征區(qū)別。感官評(píng)價(jià)是基于感覺差別的一種心理測(cè)量，屬于實(shí)驗(yàn)心理學(xué)的范疇，是一種基于樣品間相對(duì)差別的比較檢驗(yàn)和測(cè)量，而不是理化檢驗(yàn)中的絕對(duì)物理量的測(cè)量[11]。因此，感官評(píng)價(jià)活動(dòng)可分成有無(wú)差別、差別程度與差別方向這3 個(gè)層次測(cè)量。具體包括不同樣品之間整體品質(zhì)和特定感官屬性的差別檢驗(yàn)、樣品感官特性強(qiáng)度與消費(fèi)者喜好的標(biāo)度檢驗(yàn)、產(chǎn)品評(píng)分和分等分級(jí)的類別檢驗(yàn)、以及感官質(zhì)量特征確定的描述性分析檢驗(yàn)等[12]。這些檢測(cè)結(jié)果的數(shù)據(jù)特征分別為：名義數(shù)據(jù)（如：有無(wú)差異或分類）、順序數(shù)據(jù)（如：從弱到強(qiáng)的排序）、數(shù)值數(shù)據(jù)（如：評(píng)分或定量描述）。由此，儀器測(cè)量與感官測(cè)量在信度與效度的評(píng)估技術(shù)方面有很大的不同。

圖1 儀器測(cè)量與感官測(cè)量的特征比較Fig.1 Comparison of features between instrumental and sensory testing

2 國(guó)內(nèi)外技術(shù)動(dòng)態(tài)整體分析

通過(guò)Elsevier、Springer Link、Wiley-Blackwell、EBSCOhost、ACS、CUP等數(shù)據(jù)庫(kù)檢索到86 篇（1979—2014年）有關(guān)評(píng)價(jià)員及評(píng)價(jià)小組表現(xiàn)評(píng)估技術(shù)的SCI收錄論文。從發(fā)表論文的總量上講，是研究很窄的一個(gè)方向。為了進(jìn)一步把握在此方向上研究的風(fēng)向標(biāo)，按照研究時(shí)間分析熱門年度，從論文來(lái)源上分析成果出處以及根據(jù)研究的區(qū)域性分析核心團(tuán)隊(duì)等。

早在1979年美國(guó)的Hovenden等[13]采用8點(diǎn)標(biāo)度感官分析牛柳品質(zhì)時(shí)涉及到評(píng)價(jià)小組的重復(fù)性與差異性問(wèn)題，并認(rèn)為評(píng)價(jià)小組的穩(wěn)定性好于評(píng)價(jià)員個(gè)體。但在20世紀(jì)90年代對(duì)評(píng)價(jià)員及評(píng)價(jià)小組表現(xiàn)評(píng)估研究才真正進(jìn)入萌芽階段并逐漸展開，在此期間累計(jì)發(fā)表論文20 篇（圖2），并于1998年單年發(fā)表7 篇相關(guān)論文而達(dá)到高峰。進(jìn)入21世紀(jì)相關(guān)研究全面發(fā)展、不斷深入，并且在2006年后發(fā)展更為活躍，特別是2008年單年發(fā)表論文8 篇。雖然2006—2010年屬于研究高峰期（發(fā)表論文24 篇），但2010年后還是有研究者繼續(xù)相關(guān)技術(shù)研究，并越來(lái)越系統(tǒng)與成熟，同時(shí)陸續(xù)研制國(guó)際標(biāo)準(zhǔn)化組織（International Organization for Standardization，ISO）與美國(guó)材料與試驗(yàn)協(xié)會(huì)（American Society for Testing and Materials，ASTM）相關(guān)標(biāo)準(zhǔn)。

圖2 發(fā)表論文年度分布圖Fig.2 Annual distribution diagram of the published papers

圖3 發(fā)表論文雜志出處分布圖Fig.3 The journals in which the papers were published

在所檢索到的87 篇文章中，85%以上發(fā)表于目前展示感官科學(xué)相關(guān)研究成果最為權(quán)威的Food Quality and Preference（43 篇）與Journal of Sensory Studies（31 篇）這兩個(gè)雜志中（圖3），由此說(shuō)明這兩個(gè)雜志 中所發(fā)表的文章代表了評(píng)價(jià)員及小組表現(xiàn)評(píng)估技術(shù)的發(fā)展歷史、現(xiàn)有研究水平及未來(lái)的發(fā)展趨勢(shì)，同時(shí)每個(gè)時(shí)間段前者幾乎都比后者的發(fā)表文獻(xiàn)多（除了2001—2005年）（圖4）。不過(guò)其他文章也發(fā)表在如Journal of Chemometrics、Food Control、European Food Research Technology、LWT-food Science and Technology、Journal of the Science of Food and Agriculture、Journal of Food Science等知名的食品與化學(xué)計(jì)量學(xué)領(lǐng)域相關(guān)雜志中。

圖4 在Food Quality and Preference與Journal of Sensory Studies發(fā)表論文年度分布表Fig.4 Annual distribution diagram of papers published in Food Quality and Preference and Journal of Sensory Studies

圖5 發(fā)表論文第一作者所屬國(guó)家分布表Fig.5 The first author’s countries of the published papers

對(duì)發(fā)表文章第一作者所在國(guó)的歸類，發(fā)現(xiàn)歐美在該技術(shù)研究中占主導(dǎo)地位，因?yàn)樗麄兪歉泄倏茖W(xué)研究的發(fā)源地，也是感官分析技術(shù)應(yīng)用頻繁的葡萄酒、化妝品、其他食品等工業(yè)非常發(fā)達(dá)的國(guó)家。特別是挪威（14 篇）、法國(guó)（13 篇）、美國(guó)（12 篇）、西班牙（9 篇）、荷蘭（8 篇）、丹麥（6 篇）、英國(guó)（5 篇）等國(guó)家（圖5）。在國(guó)際上一直致力于這方面研究的科研團(tuán)隊(duì)主要為來(lái)自挪威的N?s（10篇）[14-23]與Lea（3篇）[15,24-25]、英國(guó)的McEwan（5篇）[24-28]、丹麥的Martens（5篇）[19,29-32]與Brockhoff（4篇）[33-36]、美國(guó)的Bi（4篇）[37-40]、匈牙利的Kókai（3篇）[41-43]等7個(gè)團(tuán)隊(duì)（按照發(fā)表論文參與作者統(tǒng)計(jì)）。當(dāng)然這些研究團(tuán)隊(duì)也研究其他感官分析技術(shù)內(nèi)容。同時(shí)發(fā)現(xiàn)作為研究非常活躍的法國(guó)，居然沒有一個(gè)相對(duì)固定的團(tuán)隊(duì)長(zhǎng)期致力于這方面的研究，因?yàn)闆]有一位法國(guó)學(xué)者在這方面的發(fā)表論文數(shù)大于等于2 篇。

而國(guó)內(nèi)在這方面的研究比較落后，這跟我國(guó)感官分析技術(shù)發(fā)展水平息息相關(guān)。目前只有3 篇相關(guān)文獻(xiàn)報(bào)道。其中李華等[44]在葡萄酒感官評(píng)價(jià)結(jié)果的統(tǒng)計(jì)分析方法研究中發(fā)現(xiàn)，品酒員間存在評(píng)價(jià)尺度、評(píng)價(jià)位置和評(píng)價(jià)方向等方面的差異，而標(biāo)準(zhǔn)化法不僅沒有消除品酒員間的異質(zhì)性，反而加大了品酒員間的差異；而置信區(qū)間法能有效地降低品酒員間的差異，真實(shí)地反映酒樣間的客觀差異。蘇玉華等[45]利用灰色關(guān)聯(lián)性分析兩組評(píng)酒員的葡萄酒感官評(píng)價(jià)結(jié)果的顯著性差異，通過(guò)克朗巴哈α系數(shù)（Cronbach’s alpha coefficient）分析每組評(píng)酒員評(píng)價(jià)結(jié)果的可信度。常玉梅等[46]在豆腐干質(zhì)構(gòu)感官分析及評(píng)價(jià)小組能力評(píng)估研究中，通過(guò)計(jì)算信噪比變化趨勢(shì)分析了培訓(xùn)過(guò)程中評(píng)價(jià)小組的表現(xiàn)；采用Panel Check軟件[21]，評(píng)估了培訓(xùn)后的評(píng)價(jià)小組一致性、評(píng)價(jià)員區(qū)分能力和重復(fù)性。

3 基于定量描述的評(píng)估技術(shù)趨于成熟

儀器測(cè)量的評(píng)估方法有很多可借鑒的技術(shù)。目前有關(guān)評(píng)價(jià)員及評(píng)價(jià)小組表現(xiàn)評(píng)估技術(shù)的研究，基本上都圍繞具有量值特征的描述性分析方面。因?yàn)樵摳泄俜治鲈u(píng)價(jià)方法所獲得檢測(cè)數(shù)據(jù)是定量的，能最大程度參考理化儀器的性能評(píng)估方法，其技術(shù)方法特征主要包括定性與定量分析方法、單變量與多變量方法、參數(shù)與非參數(shù)方法、分析型與圖表型方法、傳統(tǒng)計(jì)算與計(jì)算機(jī)軟件評(píng)估法[40]。在研究的應(yīng)用方面各有側(cè)重，包括實(shí)驗(yàn)室間多個(gè)評(píng)價(jià)小組結(jié)果的比對(duì)[27,47-48]、評(píng)價(jià)小組內(nèi)異常評(píng)價(jià)員分析技術(shù)[22,35]、評(píng)價(jià)小組結(jié)果可靠性（重復(fù)性、一致性等單一評(píng)價(jià)內(nèi)容或綜合評(píng)價(jià)）[2,23,49]和基于性能的評(píng)價(jià)隊(duì)伍長(zhǎng)期監(jiān)測(cè)[50-52]等。但其技術(shù)核心大多是基于方差分析的統(tǒng)計(jì)方法與基于多元統(tǒng)計(jì)方法兩個(gè)方面。

3.1 基于方差分析的性能評(píng)估技術(shù)動(dòng)態(tài)

在方差分析方法使用方面，具有代表性的首先是長(zhǎng)期致力于混合評(píng)價(jià)員模型（mixed assessor model，MAM）研究的Brockhoff等[33-36]，針對(duì)定量性描述分析檢驗(yàn)，在多因素方差分析方法的基礎(chǔ)上增加了評(píng)價(jià)員標(biāo)度使用影響因素，提出了MAM評(píng)估評(píng)價(jià)小組及成員區(qū)分能力、一致能力、重復(fù)能力和標(biāo)度能力的方法。Pineau等[53]采用了均方根誤差（RMSE）、相對(duì)預(yù)測(cè)誤差（REP）等性能評(píng)估參數(shù)，建立同時(shí)監(jiān)測(cè)評(píng)價(jià)小組及成員表現(xiàn)的混合模型，由監(jiān)測(cè)圖直觀展現(xiàn)評(píng)價(jià)員性能的動(dòng)態(tài)表現(xiàn)與異常評(píng)價(jià)值。Etaio等[51]在紅酒感官質(zhì)量控制中，考察了評(píng)價(jià)員對(duì)參比樣和樣品特征的識(shí)別力，樣品間特征的區(qū)別力、重復(fù)性、再現(xiàn)性；對(duì)于評(píng)價(jià)小組重點(diǎn)評(píng)估產(chǎn)品品質(zhì)評(píng)分與辨別、感官特性識(shí)別與區(qū)分方面的重復(fù)性和再現(xiàn)性指標(biāo)；但其主要統(tǒng)計(jì)方法都為方差分析。

3.2 基于多元統(tǒng)計(jì)方法的性能評(píng)估技術(shù)動(dòng)態(tài)

其實(shí)在多元統(tǒng)計(jì)方法使用方面，早在20世紀(jì)初King等[54]就比較了聚類分析（CA）、一致性分析、主成分分析（PCA）、GRAPES法4 種方法對(duì)評(píng)價(jià)小組的性能評(píng)價(jià)，研究得出互相組合使用最為理想，但研究中并未提到評(píng)價(jià)小組結(jié)果與產(chǎn)品特征最優(yōu)估計(jì)值或期望值的一致性問(wèn)題。Castura等[50]提出采用4 種與產(chǎn)品感官特征期望值的距離檢測(cè)分析描述性評(píng)價(jià)小組能力監(jiān)控。N?s等[14,19-21]也長(zhǎng)期研究評(píng)價(jià)小組及成員評(píng)估技術(shù)，并開發(fā)了針對(duì)感官剖面數(shù)據(jù)的評(píng)價(jià)小組性能分析軟件（PanelCheck），主要采用經(jīng)典方差分析（ANOVA）、PCA、多因素分析（MFA）、廣義普羅克分析（GPA）等方法用于實(shí)驗(yàn)室內(nèi)外部的感官分析能力驗(yàn)證，并通過(guò)Profile、Tucker-1、Manhattan、MSE、F值等多種可視化圖來(lái)展現(xiàn)評(píng)價(jià)性能。

3.3 針對(duì)描述性分析的性能評(píng)估軟件動(dòng)態(tài)分析

目前市面上有多款評(píng)價(jià)小組及評(píng)價(jià)員性能表現(xiàn)評(píng)估方面的軟件。其中前面提到的PanelCheck軟件最具有代表性、針對(duì)性和實(shí)用性。荷蘭OP&P公司的Senstools軟件主要采用方差分析與多元統(tǒng)計(jì)分析（PCA、GPA、MDPref、聚類分割法等）。而法國(guó)Biosystemes公司FIZZ不如前面兩款軟件全面和專業(yè)，它主要應(yīng)用在質(zhì)地描述分析中，通過(guò)對(duì)樣品屬性的統(tǒng)計(jì)，順帶對(duì)評(píng)價(jià)員的區(qū)別能力進(jìn)行檢測(cè)。加拿大Compusense公司的Compusense Five軟件是在感官評(píng)價(jià)實(shí)驗(yàn)設(shè)計(jì)計(jì)算機(jī)管理軟件的基礎(chǔ)上升級(jí)的，其含有2-way ANOVA、Friedman分析、Tukey’s HSD、Fisher’s LSD、Duncan’s Multiple Range檢驗(yàn)與Crosstabulations等各種數(shù)學(xué)統(tǒng)計(jì)方法，專門應(yīng)用于排序能力與定向描述分析能力的 評(píng)價(jià)員及小組性能評(píng)估[50]。相關(guān)的軟件還有挪威Camo公司的Unscrambler[55]、荷蘭Logic8 BV公司的EyeQuestion與美國(guó)Tragon公司的Tragon QDA[56]。同時(shí)一些數(shù)據(jù)統(tǒng)計(jì)軟件也可以應(yīng)用于此領(lǐng)域，比如Senpaq、SAS、SPSS、Excel（特別是帶有XLStat輔助工具的）等。

3.4 針對(duì)描述性分析的性能評(píng)估標(biāo)準(zhǔn)動(dòng)態(tài)分析

相關(guān)性能評(píng)估標(biāo)準(zhǔn)的研制工作主要針對(duì)描述性分析方法。國(guó)際標(biāo)準(zhǔn)化組織食品技術(shù)委員會(huì)感官分析分技術(shù)委員會(huì)（ISO/TC34/SC12）正在研制基于方差分析的定量感官評(píng)價(jià)小組及其成員表現(xiàn)評(píng)估的一般導(dǎo)則，并于2010年形成國(guó)際標(biāo)準(zhǔn)草案（Draft International Standard，DIS）[57]，但截止到今年還未形成終稿出版。DIS稿主要是針對(duì)某一感官屬性在多個(gè)樣品的多次重復(fù)測(cè)試中的性能評(píng)估方法，包括：1）通過(guò)單因素方差分析評(píng)價(jià)員各自的重復(fù)性；2）通過(guò)評(píng)價(jià)員多次重復(fù)后均值與評(píng)價(jià)小組均值的標(biāo)準(zhǔn)偏差體現(xiàn)兩者之間的接近程度；3）通過(guò)評(píng)價(jià)員標(biāo)度值與評(píng)價(jià)小組平均標(biāo)度值的回歸模型性能來(lái)體現(xiàn)評(píng)價(jià)員的描述量值能力；4）通過(guò)評(píng)價(jià)員與樣品雙因素方差分析評(píng)價(jià)小組的重復(fù)性；5）小組正確性；6）通過(guò)三因素（樣品、評(píng)價(jià)員與輪次）方差分析評(píng)價(jià)小組多輪次實(shí)驗(yàn)的再現(xiàn)性；7）通過(guò)三因素（樣品、評(píng)價(jià)小組、輪次）方差分析不同評(píng)價(jià)小組間的再現(xiàn)性。ISO/DIS稿主要是對(duì)于各屬性單獨(dú)分析評(píng)價(jià)小組及成員性能評(píng)估，而對(duì)于樣品多屬性整體評(píng)價(jià)時(shí)的評(píng)價(jià)員與評(píng)價(jià)小組的性能分析，標(biāo)準(zhǔn)中只提到了幾種多元統(tǒng)計(jì)方法（PCA、DA、GP A），但未具體展開說(shuō)明。

美國(guó)材料與試驗(yàn)協(xié)會(huì)感官分析技術(shù)委員會(huì)（ASTM/ E18）也通過(guò)工作項(xiàng)目正在研制相關(guān)標(biāo)準(zhǔn)[58]，此標(biāo)準(zhǔn)也是針對(duì)描述性分析方法，其技術(shù)內(nèi)容與ISO標(biāo)準(zhǔn)相同之處也提到了評(píng)價(jià)員及小組個(gè)體的重復(fù)性、不同評(píng)價(jià)員或不同評(píng)價(jià)小組之間的再現(xiàn)性、特性標(biāo)度值的正確性、以及不同樣品在特定屬性上的區(qū)分能力（敏感性）。不同之處，ASTM標(biāo)準(zhǔn)中提到了不同評(píng)價(jià)小組或不同評(píng)價(jià)員之間對(duì)特性描述理解的一致性與對(duì)不同樣品在某特 性上的強(qiáng)度排序一致性問(wèn)題，其實(shí)這兩項(xiàng)指標(biāo)同樣也可以通過(guò)重復(fù)性、再現(xiàn)性與正確性來(lái)體現(xiàn)。與ISO標(biāo)準(zhǔn)最大的不同在于詳細(xì)介紹了每種多元統(tǒng)計(jì)方法（同向縮放因子、PCA、CA、GP A）的使用范圍與基本概念。

4 有關(guān)差別與排序的評(píng)估技術(shù)研究相對(duì)缺乏

感官分析方法除了描述性分析外，還有差別檢驗(yàn)與排序法等。而目前有關(guān)這兩個(gè)能力的評(píng)價(jià)小組及成員性能評(píng)估技術(shù)研究非常少。McEwan等[24,28]于1998—2001年期間在歐洲范圍開展了感官分析實(shí)驗(yàn)室間比對(duì)研究，并首次正式提出感官分析能力驗(yàn)證相關(guān)技術(shù)問(wèn)題，雖然重點(diǎn)研究不同實(shí)驗(yàn)室間不同評(píng)價(jià)小組的能力比對(duì)，而未全面涉及評(píng)價(jià)員個(gè)體的性能評(píng)價(jià)，但對(duì)于該方向研究具有里程碑意義。在感官剖面能力驗(yàn)證中，提到如何獲得最優(yōu)期望值，如何獲得用于評(píng)價(jià)小組判斷的性能標(biāo)準(zhǔn)與置信區(qū)間。同時(shí)還采用Friedman檢驗(yàn)、單邊t檢驗(yàn)分別分析了排序法與9點(diǎn)標(biāo)度的能力驗(yàn)證。在2003年，McEwan等[25]專門研究了感官排序檢測(cè)的實(shí)驗(yàn)室比對(duì)，是目前唯一系統(tǒng)的介紹評(píng)價(jià)小組排序性能比對(duì)的研究。該研究重點(diǎn)形成了這類能力比對(duì)的技術(shù)流程與每個(gè)環(huán)節(jié)的判別標(biāo)準(zhǔn)。包括由Pearson相關(guān)系數(shù)法確定校準(zhǔn)評(píng)價(jià)小組所建立的期望樣品排序及每個(gè)樣品的秩次平均值，由Friedman檢驗(yàn)各評(píng)價(jià)小組的樣品 區(qū)分能力，由Conover多重比較法檢驗(yàn)各評(píng)價(jià)小組區(qū)分樣品對(duì)個(gè)數(shù)，由Kendall系數(shù)評(píng)估評(píng)價(jià)小組內(nèi)部評(píng)價(jià)員之間的一致性，以及評(píng)價(jià)小組排序能力的整體性能。文章最后展望了樣品選擇的重要性，各性能判別標(biāo)準(zhǔn)閾值的隨意性，以及設(shè)置期望排序能力置信區(qū)間的價(jià)值等問(wèn)題。

2012年Sauvageot等[48]在對(duì)9個(gè)實(shí)驗(yàn)室3類級(jí)別評(píng)價(jià)小組（消費(fèi)者級(jí)、初選級(jí)、優(yōu)選級(jí)）的三點(diǎn)檢驗(yàn)結(jié)果進(jìn)行比對(duì)研究中，雖然也提到了評(píng)價(jià)小組的樣品間區(qū)分力、小組內(nèi)部的重復(fù)性以及不同小組間的一致性等問(wèn)題，但整個(gè)研究重點(diǎn)分析了不同性能評(píng)價(jià)小組所帶來(lái)的小組評(píng)價(jià)結(jié)果對(duì)比，對(duì)于評(píng)價(jià)小組及成員差別能力評(píng)估技術(shù)研究的指導(dǎo)意義不是很強(qiáng)。Bi等[40]首次系統(tǒng)比較所有目前提到的有關(guān)評(píng)價(jià)員及小組性能評(píng)估的指標(biāo)，并提出采用社會(huì)行為學(xué)測(cè)量方法中的信度與效度最為貼切；同時(shí)首次統(tǒng)一采用組內(nèi)相關(guān)系數(shù)（ICC）建立應(yīng)用于感官分析中出現(xiàn)的所有7 類數(shù)據(jù)（評(píng)分法的連續(xù)數(shù)據(jù)、多元連續(xù)數(shù)據(jù)、分級(jí)數(shù)據(jù)、排序數(shù)據(jù)、二項(xiàng)式分布數(shù)據(jù)、多項(xiàng)選擇數(shù)據(jù)、強(qiáng)迫選擇數(shù)據(jù)）下的評(píng)價(jià)小組及成員性能評(píng)價(jià)方法，并由此確立了針對(duì)不同性質(zhì)數(shù)據(jù)的評(píng)價(jià)員及小組評(píng)估統(tǒng)一導(dǎo)則，特別對(duì)差別與排序的評(píng)估技術(shù)具有重要指導(dǎo)意義。

5 展 望

雖然在2000年以后，感官評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)研究頻繁，但基本集中在具有數(shù)值化特征的描述性分析方法中，并且所采用數(shù)學(xué)技術(shù)方法繁多、不具統(tǒng)一性，也未形成固定的、系統(tǒng)的技術(shù)規(guī)范。針對(duì)差別區(qū)分能力或排序能力的評(píng)價(jià)小組及成員表現(xiàn)評(píng)估技術(shù)研究匱乏，與該兩類感官分析方法的廣泛應(yīng)用現(xiàn)狀極其不匹配。

由于感官分析方法中的差別檢驗(yàn)、排序檢驗(yàn)與量值性描述分析等分別獲得不同性質(zhì)檢測(cè)數(shù)據(jù)（二項(xiàng)式分布數(shù)據(jù)、秩次數(shù)據(jù)和量值數(shù)據(jù)），因此需要分別對(duì)差別能力、排序能力、定量描述能力開展感官評(píng)價(jià)小組與成員性能表現(xiàn)評(píng)估技術(shù)研究，并建立對(duì)應(yīng)的技術(shù)方法規(guī)范與準(zhǔn)則。由此需要重點(diǎn)在性能評(píng)估所用樣品性質(zhì)及數(shù)量、性能評(píng)估所用數(shù)據(jù)表現(xiàn)形式、性能評(píng)估實(shí)驗(yàn)設(shè)計(jì)要求、性能評(píng)估期望值及置信區(qū)間、性能評(píng)估所用感官分析方法選擇、性能評(píng)估的數(shù)學(xué)統(tǒng)計(jì)方法選擇等方面加以深入，并作為未來(lái)的研究方向。

5.1 性能評(píng)估所用樣品性質(zhì)及數(shù)量

選擇怎樣的樣品用于評(píng)價(jià)小組及成員性能表現(xiàn)的測(cè)試需要深入思考。通用型感官分析實(shí)驗(yàn)室應(yīng)該傾向于基本味、通用香氣與質(zhì)地等樣品；而對(duì)于具體產(chǎn)品生產(chǎn)公司，建議選擇公司熱銷產(chǎn)品或類似的模擬體系物質(zhì)。

感官分析是被檢樣品差異難度與評(píng)價(jià)成員靈敏度之間的博弈，因此在評(píng)價(jià)小組及成員性能表現(xiàn)評(píng)估中，樣品難度的選擇非常重要。若樣品難度過(guò)低，所有評(píng)價(jià)小組及成員的每次評(píng)價(jià)結(jié)果一致并正確，而未真正達(dá)到性能考察的作用；若樣品難度過(guò)大，幾乎所有評(píng)價(jià)小組及成員的每次評(píng)價(jià)結(jié)果都不正確，性能都非常差，有時(shí)差到分辨不出哪些結(jié)果優(yōu)于其他結(jié)果，這樣也失去性能評(píng)估的意義。而在排序能力的評(píng)價(jià)小組及成員性能表現(xiàn)分析中，需要考慮幾個(gè)特定性質(zhì)強(qiáng)度不同的樣品參與排序?qū)嶒?yàn)評(píng)估中更加合適，更能便捷的監(jiān)測(cè)感官分析“儀器”性能。

5.2 性能評(píng)估所用數(shù)據(jù)表現(xiàn)形式

特別對(duì)于差別檢驗(yàn)，其評(píng)價(jià)小組或評(píng)價(jià)員測(cè)試結(jié)果為對(duì)立結(jié)果的其中一個(gè)（A或非A、正確或錯(cuò)誤、有差異或無(wú)差異等），而這不能作為表現(xiàn)性能評(píng)估的基礎(chǔ)數(shù)據(jù)，需要通過(guò)一定方法進(jìn)行轉(zhuǎn)化而起到科學(xué)、方便的評(píng)估目的。

在排序檢驗(yàn)中，能否簡(jiǎn)單的根據(jù)所有評(píng)價(jià)員秩次和排序代表評(píng)價(jià)小組得出的樣品順序，或以怎樣的形式代表評(píng)價(jià)小組每次的排序結(jié)果更具有科學(xué)性（總秩次已受評(píng)價(jià)員人數(shù)影響）。

5.3 性能評(píng)估感官實(shí)驗(yàn)設(shè)計(jì)要求

在重復(fù)性、再現(xiàn)性、一致性評(píng)估中，多少次的重復(fù)或再現(xiàn)能在保證實(shí)驗(yàn)成本的前提下達(dá)到統(tǒng)計(jì)意義，以及多長(zhǎng)時(shí)間開展一次重復(fù)能最高效率的監(jiān)測(cè)評(píng)價(jià)小組及成員的表現(xiàn)性能。在描述性分析中，需要設(shè)置幾種不同樣品用于實(shí)驗(yàn)。每次實(shí)驗(yàn)需要安排幾輪，每輪安排幾次重復(fù)，同時(shí)重復(fù)實(shí)驗(yàn)之間的樣品如何制備以避免評(píng)價(jià)員在非檢測(cè)感官特性方面對(duì)樣品的記憶，以及感覺疲勞帶來(lái)的實(shí)驗(yàn)誤差。

5.4 性能評(píng)估期望值及置信區(qū)間

為了更有效的決策單次測(cè)量與被測(cè)內(nèi)容本質(zhì)的一致性，以及評(píng)價(jià)小組測(cè)試結(jié)果與理論值的離散情況，如何獲得評(píng)判依據(jù)、期望值或真值，以及所能接受的相應(yīng)置信區(qū)間。比如在無(wú)理論結(jié)果的排序檢驗(yàn)中，如何通過(guò)評(píng)價(jià)小組獲得最優(yōu)估計(jì)順序，同時(shí)在此期間如何判斷評(píng)價(jià)員異常判斷結(jié)果并加以剔除。在描述性分析的實(shí)驗(yàn)室比對(duì)中，如何選擇可靠的評(píng)價(jià)小組用于期望值獲取的校準(zhǔn)小組。差別檢驗(yàn)中，任何樣品都不是完全一致的，但這種絕對(duì)的不一致能否讓評(píng)價(jià)員團(tuán)隊(duì)都能感知到，并又以哪個(gè)評(píng)價(jià)小組團(tuán)隊(duì)的檢測(cè)結(jié)果代表不同樣品間的差異程度。

5.5 性能評(píng)估所用感官分析方法選擇

感官分析方法既是評(píng)價(jià)樣品的方法，也是評(píng)估評(píng)價(jià)小組及成員的途徑，關(guān)鍵是在已知樣品性能的前提下，考察評(píng)價(jià)小組及成員的檢測(cè)能力。然而針對(duì)差別能力的性能評(píng)估，由于差別檢驗(yàn)包括成對(duì)比較、二三點(diǎn)、三點(diǎn)、A-非A、五中取二等方法，究竟哪種差別檢驗(yàn)方法更加適合差別能力下的評(píng)價(jià)小組及成員的性能表現(xiàn)評(píng)估值得探究。

5.6 性能評(píng)估的數(shù)學(xué)統(tǒng)計(jì)方法選擇

針對(duì)相對(duì)差別測(cè)量特征的感官評(píng)價(jià)，包含有無(wú)差別、差別程度與差別方向這3 個(gè)層次，其不同層次感官分析方法所獲得的數(shù)據(jù)特征各不相同，含有名義數(shù)據(jù)、順序數(shù)據(jù)、數(shù)值數(shù)據(jù)，也就是分別為二項(xiàng)式分布數(shù)據(jù)、秩次數(shù)據(jù)、量值數(shù)據(jù)，因此針對(duì)這些不同數(shù)據(jù)特征所要進(jìn)行評(píng)價(jià)小組及成員性能評(píng)估的數(shù)學(xué)統(tǒng)計(jì)方法也各不相同。

[1] STONE H, SIDEL J L. 感官評(píng)定實(shí)踐[M]. 陳中, 陳志敏, 唐傳核, 等,譯. 北京: 化學(xué)工業(yè)出版社, 2007: 84-90.

[2] PINTO F S T, FOGLIATTO F S, QANNARI E M. A method for panelists’ consistency assessment in sensory evaluations based on the Cronbach’s alpha coefficient[J]. Food Quality and Preference, 2014, 32: 41-47.

[3] 李宏, 劉銳萍, 張克義. 食品感官檢測(cè)實(shí)驗(yàn)室評(píng)審方法的研究[J]. 現(xiàn)代檢測(cè)與實(shí)驗(yàn)室管理, 2013(1): 39-41.

[4] 趙鐳, 劉文. 感官分析技術(shù)應(yīng)用指南[M]. 北京: 中國(guó)輕工業(yè)出版社, 2011: 3.

[5] 鄭日昌, 孫大強(qiáng). 心理測(cè)量與測(cè)驗(yàn)[M]. 北京: 中國(guó)人民大學(xué)出版社, 2008: 63; 102.

[6] 趙鐳, 劉文, 牛麗影, 等. 食品感官科學(xué)技術(shù): 發(fā)展的機(jī)遇和挑戰(zhàn)[J].中國(guó)食品學(xué)報(bào), 2009, 9(6): 138-143.

[7] 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì). CNAS-CL10:2006 檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則[S]. 北京: 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì), 2006.

[8] 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì). CNAS-CL10:2012 檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在化學(xué)檢測(cè)領(lǐng)域的應(yīng)用說(shuō)明[S]. 北京: 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì), 2012.

[9] 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì). CNAS-RL02:2007 能力驗(yàn)證規(guī)則[S]. 北京: 中國(guó)合格評(píng)定國(guó)家認(rèn)可委員會(huì), 2007.

[10] 中國(guó)合格評(píng)定國(guó)家認(rèn)可中心, 國(guó)家認(rèn)證認(rèn)可監(jiān)督管理委員會(huì), 中國(guó)計(jì)量科學(xué)研究院, 等. GB/T 27025—2008 檢測(cè)和校準(zhǔn)實(shí)驗(yàn)室能力的通用要求[S]. 北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2008.

[11] 董小雷, 周廣田, 崔云前. 啤酒感官品評(píng)[M]. 北京: 化學(xué)工業(yè)出版社, 2007: 4.

[12] 徐樹來(lái), 王永華. 食品感官分析與實(shí)驗(yàn)[M]. 北京: 化學(xué)工業(yè)出版社, 2010: 15.

[13] HOVENDEN J E, DUTSON T R, HOSTETLER R L, et al. Variation and repeatability of an untrained beef sensory panel[J]. Journal of Food Science, 1979, 44: 1598-1601.

[14] N?S T, SOLHEIM R. Detection and interpretation of variation within and between assessors in sensory profiling[J]. Journal of Sensory Studies, 1991, 6(3): 159-177.

[15] LEA P, RODBOTTEN M, N?S T. Measuring validity in sensory analysis[J]. Food Quality and Preference, 1995, 6(4): 321-326.

[16] N? S T. Detecting individual differences among assessors and difference among replicates in sensory profiling[J]. Food Quality and Preference, 1998, 9(3):107-110.

[17] N? S T, LANGSRUD O. Fixed or random assessors in sensory profiling[J]. Food Quality and Preference, 1998, 9(3): 145-152.

[18] DAHL T, N?S T. Outlier and group detection in sensory panels using hierarchical cluster analysis with the Procrustes distance[J]. Food Quality and Preference, 2004, 15: 195-208.

[19] TOMIC O, NILSEN A, MARTENS M, et al. Visualization of sensory profiling data for performance monitoring[J]. LWT-Food Science and Technology, 2007, 40(2): 262-269.

[20] DAHL T, TOMIC O, WOLD J P, et al. Some new tools for visualizing multi-way sensory data[J]. Food Quality and Preference, 2008, 19(1): 103-113.

[21] TOMIC O, LUCIANO G, NILSEN A, et al. Analysing sensory panel performance in a proficiency test using the PanelCheck software[J]. European Food Research and Technology, 2009, 230(3): 497-511

[22] DAHL T, N?S T. Identifying outlying assessors in sensory profiling using fuzzy clustering and multi-block methodology[J]. Food Quality and Preference, 2009, 20: 287-294.

[23] TOMIC O, FORDE C, DELAHUNTY C, et al. Performance indices in descriptive sensory analysis: a complimentary screening tool for assessor and panel performance[J]. Food Quality and Preference, 2013, 28: 122-133.

[24] McEWAN J A, HUNTER E A, GEMERT L J, et al. Proficiencytesting for sensory profile panels: measuring panel performance[J]. Food Quality and Preference, 2002, 13(3): 181-190.

[25] McEWAN J A, HEINIO R L, HUNTER E A, et al. Proficiency testing for sensory ranking panels: measuring panel performance[J]. Food Quality and Preference, 2003, 14(3): 247-256.

[26] RISVIKUAFORSK H, COLWILL J S, McEWAN J A, et al. Multivariate analysis of conventional profiling data: a comparison of a British and a Norwegian trained panel[J]. Journal of Sensory Studies, 1992, 7: 97-118.

[27] HUNTER E A, McEWAN J A. Evaluation of an international ring trial for sensory profiling of hard cheese[J]. Food Quality and Preference, 1998, 9(5): 343-354.

[28] McEWAN J A. Comparison of sensory panels: a ring trial[J]. Food Quality and Preference, 1999, 10(3): 161-171.

[29] THYBO A K, MARTENS M. Analysis of sensory assessors in texture profiling of potatoes by multivariate modeling[J]. Food Quality and Preference, 2000, 11: 283-288.

[30] BYRNE D V, O’SULLIVAN M G, DIJKSTERHUIS G B, et al. Sensory panel consistency during development of a vocabulary for warmed-over fl avor[J]. Food Quality and Preference, 2001, 12: 171-187.

[31] BITNES J, UELAND ±, M±LLER P, et al. Reliability of sensory assessors: issues of retention and learning[J]. Journal of Sensory Studies, 2008, 23(6): 852-870.

[32] BITNES J, UELAND ±, M±LLER P, et al. Reliability of sensory assessors: issues of complexity[J]. Journal of Sensory Studies, 2009, 24(1): 25-40.

[33] BROCKHOFF P B. Statistical testing of individual differences in sensory profiling[J]. Food Quality and Preference, 2003, 14(5): 425-434.

[34] DEHLHOLM C, BROCKHOFF P B, BREDIE W L P. Confidence ellipses: a variation based on parametric bootstrapping applicable on multiple factor analysis results for rapid graphical evaluation[J]. Food Quality and Preference, 2012, 26: 278-280.

[35] BAVAY C, BROCKHOFF P B, KUZNETSOVA A, et al. Consideration of sample heterogeneity and in-depth analysis of individual differences in sensory analysis[J]. Food Quality and Preference, 2014, 32: 126-131.

[36] PELTIER C, BROCKHOFFD P B, VISALLI M, et al. The MAMCAP table: a new tool for monitoring panel performances[J]. Food Quality and Preference, 2014, 32: 24-27.

[37] ENNIS D M, BI J. The beta-binomial model: accounting for inter-trial variation in replicated difference and preference tests[J]. Journal of Sensory Studies, 1998, 13(4): 389-412.

[38] BI J, ENNIS D M. The power of the “A”-“not A” method[J]. Journal of Sensory Studies, 2001, 16(4): 343-359.

[39] BI J. Agreement and reliability assessments for performance of sensory descriptive panel[J]. Journal of Sensory Studies, 2003, 18: 61-76.

[40] BI J, KUESTEN C. Intraclass Correlation Coefficient (ICC): A framework for monitoring and assessing performance of trained sensory panels and panelists[J]. Journal of Sensory Studies, 2012, 27(5): 352-364.

[41] HUNEK K K, HESZBERGER J, KóKAI Z, et al. Testing panel consistency with GCAP method in food profile analysis[J]. Journal of Chemometrics, 2008, 22(3/4): 218-226.

[42] SIPOS L, KóVACS Z, SZOLLOSI D, et al. Comparison of novel sensory panel performance evaluation techniques with e-nose analysis integration[J]. Journal of Chemometrics, 2011, 25(5): 275-286.

[43] LOSó V, GERE A, GY?REY A, et al. Comparison of the performance of a trained and an untrained sensory panel on sweet corn varieties with the PanelCheck software[J]. Applied Studies in Agribusiness and Commerce, 2012, 6: 77-83.

[44] 李華, 劉曙東, 王華, 等. 葡萄酒感官評(píng)價(jià)結(jié)果的統(tǒng)計(jì)分析方法研究[J]. 中國(guó)食品學(xué)報(bào), 2006, 6(2): 126-131.

[45] 蘇玉華, 韋師. 葡萄酒感官評(píng)價(jià)的差異性及可信度研究[J]. 河南科技, 2013(1): 254-259.

[46] 常玉梅, 鐘芳. 豆腐干質(zhì)構(gòu)感官分析及評(píng)價(jià)小組能力評(píng)估[J]. 食品與生物技術(shù)學(xué)報(bào), 2013, 32(1): 37-42.

[47] LE S, PAGES J, HUSSON F. Comparison of the performance of a trained and an untrained sensory panel on sweet corn varieties with the PanelCheck software[J]. Food Quality and Preference, 2008(19): 179-184.

[48] SAUVAGEOT F, HERBRETEAU V, BERGER M, et al. A comparison between nine laboratories performing triangle tests[J]. Food Quality and Preference, 2012, 24(1): 1-7.

[49] MEYNERS M. Panel and panelist agreement for product comparisons in studies of temporal dominance of sensations[J]. Food Quality and Preference, 2011, 22: 365-370.

[50] CASTURA J C, FINDLAY C J, LESSCHAEVE I. Monitoring calibration of descriptive sensory panels using distance from target measurements[J]. Food Quality and Preference, 2006, 17(3/4): 282–289.

[51] ETAIO I, ALBISU M, OJEDA M, et al. Sensory quality control for food certification: a case study on wine. Panel training and qualification, method validation and monitoring[J]. Food Control, 2010, 21(4): 542-548.

[52] ROMANO R, VESTERGAARD J S, ZAREH M K, et al. Monitoring panel performance within and between sensory experiments by multiway analysis: classification and multivariate analysis for complex data structures[J]. Springer Berlin Heidelberg, 2011: 335-342.

[53] PINEAU N, CHABANET C, SCHLICH P. Modeling the evolution of the performance of a sensory panel: a mixed-model and control chart approach[J]. Journal of Sensory Studies, 2007, 22(2): 212-241.

[54] KING M C, HALL J, CLIFF M A. A comparison of methods for evaluating the performance of a trained sensory panel[J]. Journal of Sensory Studies, 2001, 16(6): 567-581.

[55] KERMIT M, LENGARD V. Assessing the performance of a sensory panel-panelist monitoring and tracking[J]. Journal of Chemometrics, 2005, 19: 154-161.

[56] 張愛霞, 張衛(wèi)斌, 勵(lì)建榮, 等. 現(xiàn)代食品感官科學(xué)的國(guó)際動(dòng)態(tài)與發(fā)展趨勢(shì)[J]. 中國(guó)食品學(xué)報(bào), 2008, 8(6): 177-180.

[57] International Organization for Standardization. ISO/DIS 11132—2010 Sensory analysis-Methodology-General guidance for monitoring the performance of quantitative sensory panel[S]. United States: Information Handling Services, 2010.

[58] American Society for Testing and Materials. ASTM/WK 8435—2010 Standard guide for measuring and tracking sensory descriptive panel and assessor performance[S]. United States: Information Handling Services, 2010.

Overview of Assessment Techniques for Sensory Panel and Panelist Performance

SHI Bo-lin1, ZHAO Lei1,*, WANG Hou-yin1, ZHI Rui-cong1, HUAN Chang2, YUN Zhan-you3, SU Yu-fang3
(1. Food and Agriculture Standardization Institute, China National Institute of Standardization, Beijing 100191, China; 2. Department of Computer Engineering and Science, Shanghai University, Shanghai 200444, China; 3. Technology Center, Inner Mongolia Yili Industrial Group Co. Ltd., Hohhot 010110, China)

In sensory evaluation, panels and panelists are used as instruments that are the key tool to obtain reliable sensory data. Assessment techniques for their pe rformance can provide an important approach for managing them effectively. In this paper, the validity and reliability are used as the main indexes for performance assessment, which have reached a plateau of research since the beginning of the 21stcentury. More than 85% of the research papers have been reported in the top journals in sensory science, such as Food Quality and Preference and Journal of Sensory Studies. Especially, the majority of the research reports come from the USA and Europe and have tended to be frequent and mature in assessing the performance of descriptive sensory panels-panelists. The various methods include univariate or multivariate variance analysis, and multivariate statistical methods such as principal component analysis (PCA), generalized procrustes analysis (GP A), etc. At the same time, softwares such as PanelCheck, Compusense Five, and so on have been developed, while the International Organization for Standardization and the American Society for Testing and Materials are also formulating the relevant standards on quantitative descriptive analysis. By contrast, relatively insuff i cient research has been done on performance assessment in ranking and discrimination sensory panels-panelists. Six key research contents are proposed for future study. They include the number and property of sample, the form of data presentation, the design of sensory experiment, expected value and confidence interval, and the selection of sensory analysis methods and statistical methods. This paper will be helpful to establish the unif i ed and systemic framework for assessing performance in panels and panelists.

sensory evaluation; panel; panelist; performance assessment

TS207.3

A

1002-6630（2014）08-0029-07

10.7506/spkx1002-6630-201408006

2014-03-24

中國(guó)標(biāo)準(zhǔn)化研究院院長(zhǎng)基金項(xiàng)目（562013Y-3079）

史波林（1981—），男，副研究員，博士，研究方向?yàn)槭称犯泄僭u(píng)價(jià)與智能感官分析。E-mail：shibl@cnis.gov.cn*

趙鐳（1968—），女，副研究員，博士，研究方向?yàn)槭称犯泄俜治鰳?biāo)準(zhǔn)化。E-mail：zhaolei@cnis.gov.cn