張文俊
(安徽師范大學 體育學院,安徽 蕪湖 241000)
體育綜合評價中誤差存在的初步分析及處理
張文俊
(安徽師范大學 體育學院,安徽 蕪湖 241000)
采用文獻資料法分析近年來有關體育綜合評價的研究現狀及研究成果,旨在從誤差分析角度對提高體育綜合評價過程的科學性提供理論支持.研究表明:評價過程可劃分為:評價理論準備、評價數據獲取及評價數據處理等三個主要階段;體育綜合評價理論準備階段誤差有指標初篩選誤差、指標賦權誤差、評價指標選擇誤差,評價數據獲取階段誤差包括主觀評分誤差和客觀測量誤差,評價數據處理階段提出評價數據的審核及定性指標量化和指標無量綱化誤差.明確了不同階段的誤差存在原因,提出誤差度量及誤差控制的必要手段.
體育綜合評價;誤差分析;誤差處理
郭亞軍在其《綜合評價理論與方法》一書中指出:體育綜合評價的一般步驟是:明確評價目的、確定被評價對象、建立評價指標體系(包括收集評價指標的原始值)、指標的若干預處理、建立與各項評價指標相對應的權重系數、選擇或構造綜合評價模型、計算各系統的綜合評價值并進行排序或分類.
通過對體育綜合評價主要過程分解可知,在評價理論準備、評價數據獲取及評價數據處理等階段均有不同形式的誤差存在:

圖1 體育綜合評價中誤差存在階段
需要解釋的是:體育綜合評價應用中,對于一些比較簡單的單指標評價問題,上述幾個階段的區分井不十分明顯.
1.1 評價指標初選階段
誤差存在原因:研究者根據自身專業知識和經驗的積累,結合研究目的找出評價指標的所有可能取值,這些經過初選而出的眾多指標,在數量表現上可能較多,極易給人造成一種假象:似乎這些初選而出的指標已經滿足研究需要.但是在應用中需考慮的一個重要問題:反映體育評價最直接、重要的維度指標是否有遺漏.如果在實際應用中出現這種主要指標遺漏情況,縱使二次指標篩選的手段方法如何高明,對評價結果的科學性造成的不良影響將是無法彌補的.
誤差控制方法:評價指標初選階段,這種因研究者主觀因素造成的粗大誤差,在綜合評價應用中,為避免重要指標遺漏問題的出現,可采用“個人綜合分析+多人羅列”相結合的方法規避.所謂“個人綜合分析”是指:將綜合評價指標體系的度量對象和度量目標劃分成若干個不同組成部分或不同側面,并逐步細分,直到每一個部分和側面都可以用具體的統計指標來描述、實現.例如,在評價一個人的身體綜合素質時,可以將身體綜合素質劃分為:力量素質、速度素質、耐力素質等,再對上述素質進行更為詳細的劃分,進一步劃分為反應耐力素質的800m、1500m及3000m等;所謂“多人羅列”是指:研究者將研究目的和研究內容等相關材料送至其他研究人員,舉眾人之力,對其他研究人員所列眾多初選指標進行對比,交叉對比,直到發現遺漏的其他指標成分.
1.2 評價指標篩選階段
誤差存在原因:經過初選的指標為保證不遺漏主要指標可能會非常全面,但處理這樣地一大堆可能重復的指標,一是增加了測量和評價的難度、二是降低了評價的可信度.因此,需要對多個指標進行降維處理,選取少數幾個典型指標代表總體特征.統計學上常用的提取典型指標方法是:主成分分析和因子分析.但是,應用中由于人們缺乏對主成分和因子分析的必要理論知識儲備,不了解這兩張方法應用的局限性,會使得主成分和重要因子的遺漏問題出現.這種因方法使用上產生的系統誤差表現是有規律的,并非無法控制.
誤差度量:對于因子分析來說,檢測因子遺漏的簡易方法是檢查每個標準化后指標的特殊方差,如果某個指標的特殊因子方差大于0.5,則說明該指標有50%以上的信息不能被公共因子所解釋,這時就應當留意可能會有因子遺漏問題;對于主成分分析來說,檢測主成分遺漏的方法是以因子分析為基礎,進行檢測,如果有因子遺漏,就意味著有主成分遺漏問題出現.
誤差控制方法:評價指標篩選階段,因方法應用局限性而產生的系統誤差,可采用修正的方式進行控制,例如:通過檢測發現有主成分或因子遺漏問題出現,則需要對原有分析得出的主成分和因子進行修正,將發現的遺漏成分或因子補充進去,重新進行主成分或因子分析.
1.3 評價指標賦權階段
誤差存在原因:應用中,常用的評價指標賦權方法都是利用專家或個人的知識經驗積累,進行主觀賦值.例如:德爾菲法(Delphi)也稱專家法,這種主觀賦權方法首先選擇10-30位有著該研究領域獨特認識的人,集中眾多專家的意見對各指標進行賦權.但在應用中,該方法所選取的專家人數往往達不到要求,更不說是否熟悉該研究領域這一要求.與此同時,各專家在對指標賦權后,很少有研究者對各專家指標賦權值進行均值、方差檢驗,更缺乏組織專家多次賦權,并且在賦權時各專家理解不同、賦權不同,會出現一定的差異,這種差異體現為隨機誤差.
誤差度量:評價指標賦權階段,產生的誤差度量可采用一致性的χ2檢驗,以檢測評價過程中專家對各項評價指標在賦權尺度上是否達成一致.
誤差控制方法:指標賦權階段,針對德爾菲法(Delphi)出現的誤差,常用誤差控制手段有:一是德爾菲法專家的選擇需有代表性,同時賦權值應多次進行;二是將單一的德爾菲法與其他方法結合使用.例如,將德爾菲法與層次分析法和集值迭代法綜合使用,以彌補單一方法使用的局限性.
1.4 評價標準選擇誤差
誤差存在原因:對評價對象評價標準選擇的不合理,例如,選取的標準過高,不能滿足評價的現實需要,使得評價結果不甚理想,反之亦然.
誤差控制方法:評價階段因評價標準不同而產生的系統誤差,應結合評價對象的實際狀況,對不合理的評價標準予以修定,同時也可以根據研究者的專業經驗積累和相關常識找出該評價標準的系統偏差值,予以修正,使需要調整的標準符合被評價對象的現實狀況.
2.1 主觀評分誤差分析
誤差存在原因:主觀評分不是由儀器直接測量,而是評價者對評分規則或評分辦法的理解,對評價對象的價值進行評分.在此階段誤差:一是主觀數據的“質量”問題,即評價者在評分過程中受到各種主、客觀因素的影響程度大小,使得評分數據可信度大小無法確定,主觀誤差難以避免;二是在對評價數據處理所用方法上,現有主觀打分數據的處理方法存在問題,使得評價對象處理后分數與真實分數間存在較大的誤差.
誤差控制方法:針對評分數據“質量”誤差的存在,常用的控制方法是評價主體選擇的多元化,即完善評價者群體結構,將單一的評價者增加為多個評價群體共同參與評分,使評價群體內的單一評價者有機結合起來.
現今主觀評分數據常用的處理方法是:去掉一個最高分、去掉一個最低分,取剩余打分的均值作為該評價對象的最后得分.這種評價方法雖避免了個別評價者分值過高或過低的影響,表面上似乎沒有什么問題,但顯得過于簡單粗糙.這種處理方法簡單粗糙體現在:一是舍去兩端分值,缺乏科學支撐;二是評價數據的含量本身就不多,剩余的評價數據信息不足,不能完全代表評價數據.針對評價方法使用存在的誤差,常用的控制方法是采取迭代的方法進行誤差控制. 2.2 客觀測量誤差分析
2.2.1 測試環境產生的誤差
在體育評價過程中,測試環境的變化在一定程度上影響著評價數據的客觀性,這種客觀環境包括:天氣、濕度、溫度等對被評價者產生的影響.例如,在一個較為適宜的天氣里對某一同學的100m跑素質進行達標測試,可以認為在此環境條件下該同學100m跑成績的評價結果較為真實,誤差值較小,更為接近該同學的真實成績;反之,在一個大雨和逆風的天氣里對該同學進行同樣的100m跑素質測試,所得成績結果與該同學真實的成績之間的誤差值表現較大,此時獲取的評價結果的可信度值得懷疑.
因此,為減小和控制誤差對評價結果產生的不良影響,應留意評價時“顯性”環境的變化,盡量避開這種不適宜環境.
2.2.2 測量儀器產生的誤差
誤差存在原因:因測量儀器自身的精確度大小所引起的系統誤差.
誤差度量:在此階段,常用較為簡單易行的方法是通過實驗對比,以發現系統誤差.例如,選用高一級精度的量塊對同一對象進行測量,兩次測量結果進行對比.但這種方法只適合不變的系統誤差.
誤差控制方法:針對這種不變的系統誤差,有效的控制方法就是對測量結果進行修訂,使之適合評價需要.例如,評價某學校三年級男生身高發育情況是否正常,使用身高測量儀進行測量,發現此身高儀測量偏小,通過比對發現:出現的誤差值為-0.2,因此,只需對測得身高進行誤差值修訂即可.
3.1 數據審核
評價數據獲取階段,縱使測量者多么小心謹慎,總是避免不了會出現誤差.因此需要對評價后的原始數據進行審查、整理,把其中錯誤的或可疑的數據予以更正(剔除),以減少因誤差存在對評價結果可靠性的不良影響.在這一階段也即為對評價數據誤差分析的預處理.
評價數據的審核一般分為以下三個步驟:初審、邏輯檢查及抽樣復核.
3.1.1 初審
評價數據初審時,需逐項檢查評價數據,有無“缺、疑、誤、重”.
“缺”是指缺項未填,此時缺項應補項、補測,無法補的,可予以剔除;“疑”是指評價數據記錄不清,書寫潦草,不易辨認,或對評價記錄的真實性有懷疑.對于記錄不清的評價數據,需幾人共同辨認,確認后重新寫清楚,無法辨認的應予以剔除;“誤”是指明顯的錯誤,應予以剔除;“重”是指重復獲取的評價數據,重復獲取評價數據應予以抽出.
3.1.2 邏輯檢查
初審以后,要進一步進行邏輯檢查,研究者根據專業知識和所測指標本身有的性質以及指標之間的相互關系,檢查資料的合理與否.
例如,某學生身高165cm,生高65cm,根據以往的知識和經驗人的身高與生高之比應為2:1,因此,推斷該數據可能有誤,有條件情況下,應立即重油,若無法重測,應剔除.再如:某人的百米跑成績為11s,跳遠成績為4m,顯然,該評價數據為可疑數據,研究者需著重注意.
3.1.3 抽樣復核
在原有的被評價測試者中,隨機抽取1/10或1/50進行重新復核或復測,若發現個別錯誤應時糾正;若與原測數據相比,普遍偏大或偏小,則懷疑這批數據存在系統誤差,這時,需要全部重測.
3.2 定性指標量化階段誤差
誤差存在原因:對于大多數的體育綜合評價而言,由于構成評價指標體系的指標都是已經量化的,可以直接采用常規方法開展綜合評價.但隨著體育綜合評價應用領域的發展,一些定性的變量被引入到綜合評價指標體系中來.例如,在對某中學學生體育意識進行評價時,評價結果為:非常好、很好、好、差、很差五種,應用中常用量化分值為:5分、4分、3分、2分、1分(或其他值).很顯然,這種量化方法的優點是十分簡單明白,但缺點是隨意性過強,缺乏科學性.應用中這種常用量化方法所帶來的誤差值表現較大.
誤差控制手段:針對這種隨意性過強的量化分值方法,應用中為提高這種量化結果的科學性和合理性,通常與專家評價法結合起來使用.同時,基于定性變量帶有的模糊性特征,應用中也可結合模糊評價法綜合確定定性指標量化的分值.
3.3 評價數據無量綱化誤差
評價指標之間由于各自單位及數量級的不同,使得評價結果出現不可比,這為評價結果的比較帶來諸多了不便.例如,對人體素質進行測量時,100m跑的成績單位為秒,跳遠的成績為米,測量后,對數據進行綜合評價后發現,不能得到一個明確的且無量綱的最終評價結果.
誤差存在原因:評價應用中,常用的無量綱化的方法是標準化處理,但是需要思考兩個問題:一是評價數據標準化時機使用不當,如:在進行主成分分析時,標準化后的數據已經不再是原來的原始評價數據,變量間的關系已被人為的處理為1,但是在因子分析中,評價數據的標準化則是一種更好的處理手段;二是標準化對數據評價結果影響很大.
這兩個問題的存在,使得在應用中所呈現而出的誤差值較大.例如,在對3個應聘者多指標評價后,如果貿然對評價結果進行標準化處理,則不恰當,且誤差數值表現很大.這是因為,已經得到評價結果不需再次進行標準化處理,這種人為的二次標準化,可能會使本來排名首位的拉到第三名的位置.再者,我們所說的標準化是以總體平均數μ和總體標準差σ進行處理,而非以樣本均數x和樣本標準差s進行處理.
誤差控制方法:針對評價數據標準化時機使用不當而造成的誤差存在,首先是明確標準化的內涵及統計意義;其實是明確標準化使用情況,何種情況下可以進行標準化處理、何種情況不能標準化.
〔1〕費業泰.誤差理論與數據處理[M].北京:合肥工業大學出版社,2004.1-4.
〔2〕郭亞軍.綜合評價理論與方法[M].北京:科學出版社,2000.3.
〔3〕胡永宏,賀思輝.綜合評價方法[M].北京:科學出版社,2000.40-41.
〔4〕費業泰.現代誤差理論及其基本問題[J].宇航計測技術,1996,16(4-5):2-4.
〔5〕嚴今石.關于綜合評價的多元統計分析方法的探討[D].延邊大學,2006.
〔6〕黃寶宏.體育教學評價方法的應用診斷與效果檢測[D].安徽師范大學,2005.
〔7〕蘇為華.多指標綜合評價理論與方法問題研究[D].廈門大學,2000.
〔8〕李良萍.體育競賽主觀評分數據的統計處理與評價[D].安徽師范大學,2007.
〔9〕趙書祥.我國體育領域中綜合評價理論與方法及實證的研究[D].北京體育大學,2008.
〔10〕王運良.體育評價中值得注意的問題及其處理措施[D].安徽師范大學,2007.29-31.
〔11〕黃明教,等.體育多種評價方法的比較研究[J].武漢體育學院學報,2001,35(2):114-116.
〔12〕劉欽龍.關于主成分分析在體育科研中應用的思考[J].上海體育學院學報,2003,27(5):78-79.
〔13〕魏登云.主成分與因子分析在體育綜合評價中的應用檢測[G].第十三屆全國體育統計學會.
G80-05
A
1673-260X(2015)05-0168-03
安徽師范大學2014年研究生科研創新項目(2014yks010)