有關(guān)數(shù)據(jù)預(yù)處理的探討

梁曉佳+周菊玲

摘 要 本文對居中型和區(qū)間型兩種適度指標(biāo)進(jìn)行論證和例證，考察了這兩種數(shù)據(jù)處理方法對主成分和因子分析這種綜合評價結(jié)果的影響。另外，本文用文獻(xiàn)①“初始化”思想對極差法進(jìn)行分析，得到結(jié)論，即處理后數(shù)據(jù)的協(xié)方差矩陣不僅消除了指標(biāo)量綱和數(shù)量級的影響，還能包含原始數(shù)據(jù)的全部信息。

關(guān)鍵詞 數(shù)據(jù)處理 同趨勢化 標(biāo)準(zhǔn)化 變異

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

The Discussion of Data Preprocessing

LIANG Xiaojia， ZHOU Juling

（Department of Mathematical sciences， Xinjiang Normal University， Urumqi， Xinjiang 830054）

Abstract Argument and illustration of some kinds of appropriate indicators is done in this paper， such as the indicators of medium and interval. And the paper looks at the effect of the comprehensive evaluation results from the two data processing method on principal components analysis and factor analysis. In addition， this article analyses the process according to the method of "Initialization" in the literature [1]， then come to a conclusion of which the data covariance matrix after processing not only eliminate the influence of index dimension and order of magnitude， and also can contain all the information in the raw data.

Key words data processing； communalities； standardized； variation

0 引言

綜合評價是依據(jù)被評價對象的過去或當(dāng)前一段時間的相關(guān)信息，對被評價對象進(jìn)行客觀、公正、合理的全面評價。由于來自實(shí)際的指標(biāo)數(shù)據(jù)可能是各種各樣的，每個評價對象又涉及多個指標(biāo)，特別是對于不同類型、不同單位、不同數(shù)量級的數(shù)據(jù)存在著不可公度性，所以在一個較復(fù)雜的綜合評價問題中，可能同時含有極大型指標(biāo)、極小型指標(biāo)、居中型指標(biāo)和區(qū)間型指標(biāo).做這樣的綜合評價問題時，必須先將不同類型的數(shù)據(jù)做一致化處理，即通過一定的數(shù)學(xué)變換把性質(zhì)、量綱各異的指標(biāo)轉(zhuǎn)化為可以綜合的一個相對數(shù)， 即對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

對于數(shù)據(jù)的處理，目前很多學(xué)者已經(jīng)進(jìn)行了多方面的研究，并已獲得了一定成果。例如：韓中庚提出了定性數(shù)據(jù)指標(biāo)的量化處理方法；②陳軍才論述了同趨勢化方法對綜合評價的影響，并指出了適用條件；③張立軍、袁能文分析與比較了各種指標(biāo)一致化與無量綱化方法對綜合評價結(jié)果的影響，并對有效性進(jìn)行測度；④張衛(wèi)華、趙銘軍找到了一種“合理排序”來進(jìn)行無量綱化方法的優(yōu)選；⑤俞立平、潘云濤、武夷山根據(jù)選擇標(biāo)準(zhǔn)化方法的三大原則篩選出一種正項指標(biāo)標(biāo)準(zhǔn)化方法，并提出一種負(fù)項指標(biāo)標(biāo)準(zhǔn)化方法；⑥郭亞軍、易平濤構(gòu)建了一種復(fù)合無量綱化方法——“極標(biāo)復(fù)合法”；⑦賈明輝、華志強(qiáng)提出了一種新的無量綱化方法——初始化法，并討論了這種方法的優(yōu)勢。

本文研究陳軍才文獻(xiàn)中的同趨勢化方法對主成分和因子分析的影響，欲對另外兩種適度指標(biāo)（居中型和區(qū)間型）進(jìn)行論證和例證，考察這兩種數(shù)據(jù)處理方法對綜合評價結(jié)果的影響。另外，本文用賈明輝文獻(xiàn)中 “初始化”思想對極差法進(jìn)行分析，考察極差法的性質(zhì)。

1 兩種同趨勢化方法對主成分和因子分析的影響

這里的同趨勢化方法均取自韓中庚文獻(xiàn)中的方法，探求使用此方法處理后的數(shù)據(jù)間發(fā)生的變化。

1.1 將居中型化為極大型

其中，、分別為的極大值和極小值。

命題：通過這種變換后，數(shù)據(jù)間正負(fù)相關(guān)關(guān)系的變化不確定。

證明：不妨設(shè)為其他指標(biāo)，為居中型指標(biāo)。

樣本相關(guān)系數(shù) = 。

設(shè) = 0，因?yàn)?0，>0，當(dāng) = 0時， = 。

只需證與·是否同號。即原來負(fù)相關(guān)的關(guān)系，可能變?yōu)檎嚓P(guān)，也可能負(fù)相關(guān)，也可能變換前后關(guān)系不確定。

∵· = ·（）

∴簡化為只需證與·（）是否同號。

若變換前后關(guān)系不定，只要舉例求證<0時，判斷·（）（Department of Mathematical sciences， Xinjiang Normal University， Urumqi， Xinjiang 830054）與 0的大小關(guān)系即可。

例證：樣本數(shù)據(jù)為{（-1，1），（-2，2），（-3，3），（6，1）}時：

= -8<0，·（）= -8<0，兩者相等；

樣本數(shù)據(jù)為{（-1，1），（-2，2），（-3，3），（5，1）}時：

= -9<0，·（）= -8<0，兩者同號；

樣本數(shù)據(jù)為{（-1，0），（8，0），（2，-1）}時：

= -2<0，·（）= 7<0，兩者異號。

這里只驗(yàn)證第一部分，同理可證第二部分。endprint

運(yùn)用這種居中型向極大型的變換方法，變換前后正負(fù)相關(guān)關(guān)系不確定。

命題成立。

1.2 將區(qū)間型化為極大型

對于區(qū)間型指標(biāo)[，]，

其中 = {， }，、分別為的極大值和極小值。

命題：運(yùn)用這種區(qū)間型向極大型的變換方法，變換前后正負(fù)相關(guān)關(guān)系不確定。

證明：這里只驗(yàn)證第一部分，不妨設(shè)>。

這樣只需證與（ ）是否同號即可。

∵·（ ） = ·

只需證與·（）是否同號。

故同理，可以例證說明<0時，·（）可能大于0，也可能小于0，即說明了經(jīng)過此方法的變換后，居中指標(biāo)與其他指標(biāo)之間的正負(fù)相關(guān)關(guān)系仍不確定。命題成立。

綜上，得到以下結(jié)論：經(jīng)過對上述兩種適度指標(biāo)的分析：（1）這兩種極大型變換會將原指標(biāo)均變?yōu)榉秦?fù)數(shù)；（2）這兩種極大型變換對極大型指標(biāo)與其他指標(biāo)之間的相關(guān)關(guān)系的改變不能確定。

2 極差法的優(yōu)良性質(zhì)

設(shè)變換前第個評價對象第個指標(biāo)為（ = 1，2，…，； = 1，2，…，），各指標(biāo)的相關(guān)系數(shù)為，極差變換后第個評價對象第個指標(biāo)為（ = 1，2，…，； = 1，2，…，），利用“極差化”方法來消除量綱后，各指標(biāo)的相關(guān)系數(shù)為，令 = {，，…，}， = {，，…，}，有 = ， [0，1]。

記（）的協(xié)方差矩陣為 = 。

∵ = （）（），

= = = [（）] = ，

類似地 = ，

，

其中為原始數(shù)據(jù)（）的協(xié)方差。

特別的，當(dāng) = 時， = 。

因此，使用“極差化”方法來消除量綱得到的新數(shù)據(jù)的協(xié)方差矩陣主對角元素反映出了各指標(biāo)變異程度的差異信息。

然后有：。

這就證明了“極差化方法”的處理不改變各指標(biāo)間的相關(guān)系數(shù)，保留了原始數(shù)據(jù)間的差異。

所以，“極差化”處理后數(shù)據(jù)的協(xié)方差矩陣不僅消除了指標(biāo)量綱和數(shù)量級的影響，還能包含原始數(shù)據(jù)的全部信息。因此“初始化”“極差化”在數(shù)據(jù)標(biāo)準(zhǔn)化中是非常合理的方法。

3 小結(jié)

對數(shù)據(jù)進(jìn)行處理時，采用不同的方法會直接影響綜合評價結(jié)果與排序的準(zhǔn)確性。本文就兩種同趨勢化方法對綜合評價方法的影響，以及極差法這種無量綱化方法的一些優(yōu)良性質(zhì)進(jìn)行探討，發(fā)現(xiàn)這兩種同趨勢化方法對綜合評價方法的影響是不確定的，而“極差化”也同樣具有“初始化方法”的優(yōu)勢，即處理后數(shù)據(jù)的協(xié)方差矩陣不僅消除了指標(biāo)量綱和數(shù)量級的影響，還能包含原始數(shù)據(jù)的全部信息。關(guān)于文中同趨勢化方法對評價影響的不確定性，必須說明的是其中的例子只是為了求證變換前后相關(guān)關(guān)系的不確定性、以及對最終評價結(jié)果的影響。這種不確定往往與樣本數(shù)據(jù)有關(guān)。

但是值得一提的是，綜合評價是評價者的主觀行為，在每一個環(huán)節(jié)上都體現(xiàn)著評價者主觀的意志和導(dǎo)向，所以在實(shí)際問題中需要評價者根據(jù)具體情況選擇數(shù)據(jù)處理方法，處理方法應(yīng)盡可能地簡潔并具有可操作性。總之，評價者應(yīng)遵循綜合評價的理論研究始終為綜合評價的實(shí)踐活動服務(wù)的原則。

基金項目：2013-2014年度新疆師范大學(xué)研究生科技創(chuàng)新項目《運(yùn)用統(tǒng)計方法實(shí)現(xiàn)S-P法的改進(jìn)》.

注釋

① 賈明輝，華志強(qiáng).主成分分析數(shù)據(jù)處理方法探討[J]. 2008.7.23（4）：379-381.

② 韓中庚.數(shù)學(xué)建模方法及其應(yīng)用（第二版）[M].北京：高等教育出版社，2009（7）.

③ 陳軍才.主成分和因子分析中指標(biāo)同趨勢化方法探討[J].統(tǒng)計與信息論壇，2005.3.20（2）：19-23.

④ 張立軍，袁能文.線性綜合評價模型中指標(biāo)標(biāo)準(zhǔn)化方法的比較與選擇[J].統(tǒng)計與信息論壇，2010.8.25（8）：10-15.

⑤ 張衛(wèi)華，趙銘軍.指標(biāo)無量綱化方法對綜合評價結(jié)果可靠性的影響及其實(shí)證分析[J].統(tǒng)計與信息論壇，2005.5.20（3）：33-36.

⑥ 俞立平，潘云濤.武夷山 學(xué)術(shù)期刊綜合評價數(shù)據(jù)標(biāo)準(zhǔn)化方法研究[J].圖書情報工作，2009.6. 53（53）：136-139.

⑦ 郭亞軍，易平濤.線性無量綱化方法的性質(zhì)分析[J].統(tǒng)計研究，2008.2.25（2）：93-100.endprint