基于結構效度分析的查新機構評價指標體系優化研究

〔摘要〕本文以用戶為中心原則，構建了一套查新機構質量評價指標體系。并對所構建的評價指標體系進行了信度評價和結構效度分析，優化了各二級指標所占分值權重，增強了評價體系的科學性和公正性。

〔關鍵詞〕查新機構；指標體系；結構效度；信度

DOI：10.3969／j.issn.1008－0821.2011.09.009

〔中圖分類號〕G252.62 〔文獻標識碼〕A 〔文章編號〕1008－0821（2011）09－0041－03

收稿日期：2011－07－21

基金項目：2010年度教育部人文社會科學研究一般項目（項目批準號：10YJC870047）

作者簡介：夏 蕾（1973－），女，館員，碩士，研究方向：情報分析，發表論文3篇。

Optimization Research on Indicators System in Novelty

Search Institutions Based on Structure Validity Analyse

Xia Lei

（Library，Jiangnan University，Wuxi 214122，China）

〔Abstract〕The indicators system of quality evaluation in novelty search institutions based on the user-centered was established.And analysed the reliability and structural validity the indicators system，optimized score of the second share of the weight indicator，enhance scientific and impartiality of the indicators system.

〔Key words〕novelty search institutionsindicators systemstructure validityreliability

科技查新工作在我國始于20世紀80年代，在科技研究開發、科研管理和國民經濟建設中發揮了十分重要的作用。近年來，各查新機構如雨后春筍般發展迅速，截止到2011年，僅教育部在全國各類高校設立了79所科技查新工作站［1］。如何評價規范查新機構的質量，如何綜合考慮各因素對機構質量的影響，以引導其健康良性地發展競爭，已成為各查新機構迫在眉睫之事。本文在“以用戶為中心”的原則基礎上，構建了一套完整的、合理的、可行的查新機構評價指標體系，并以××大學查新站的查新機構質量抽樣成績為樣本，通過信度、效度分析有針對性的對構建的指標體系進行優化，以便更加客觀準確的評定查新機構質量，為科學評價查新機構工作提供一種新的思路與方法。

1 查新機構質量評價指標體系的構建任何一個良好的評價體系能激勵創新意識和能力，引導評價對象的健康發展。根據評價體系構建時應遵循的科學性原則、可操作性原則與相關性原則，針對查新機構所獨具的特點，圍繞以“用戶為中心”的原則，設計了查新機構質量評價指標體系，如圖1所示。

1.1 查新隊伍查新隊伍在查新服務進行的活動中是最活躍、最主動、最具有創造力的因素，無論是自科查新還是社科查新，查新人員素質都是決定查新機構服務質量的最關鍵因素，查新隊伍的知識水平和素質直接決定著查新報告的質量，也將直接影響到科技管理部門和科研人員對查新結論的準確性、嚴肅性和公正性的信任程度。對其評價我們可以從以下幾個方面考慮：①信息能力。良好的信息意識，掌握現代信息技術，能運用現代通訊技術使查新服務網絡化、信息傳遞高速化［2］。②知識能力。圖書情報、計算機、外語及某一學科的專業知識，信息檢索、知識組織、解答咨詢業務能力等。③科研能力。能發現服務進程中存在問題的敏銳性，進行篩選、評價，概括升華參考服務實踐經驗的及時性和有效性。④綜合反映能力。查新機構人員更需要強調綜合分析、判斷的能力，它包括觀察力、傾聽力、記憶力、想象力、思考力、分析判斷力和表達力。⑤專家庫的設置。查新工作具有仁者見仁、智者見智的多樣性特點，而且對于查新員來講，由于自身專業的局限性很難達到專家一樣的分析水平，因此，合理的專家庫設置是保證查新機構服務質量的有效措施。主要分為2個方面考察：一是

專家隊伍的選擇。專家的選擇標準應是：專業、資深、責任心強，與查新委托單位無直接聯系，這樣既可以保證專家評價的可靠性，又可以避免由于自身利益沖突帶來的評判負面性。二是專家咨詢的保障率［3］。預防有些單位將專家庫設置成一個擺設，實際操作并沒有真正起到咨詢的作用。

1.2 查新資源資源的完整性是保證查新機構質量的核心，國際連機檢索系統、紙質資源、電子資源、特色資源庫四位一體的文獻資源保障體系的形成，其本身就是一項復雜的系統工程。包括：①數據庫總量。②DIALOG使用。作為世界上最大的商用信息服務系統，dialog擁有的大型專業數據庫就有900多個，可對各查新機構館藏數據庫進行大補充。③專業數據庫種類及分布比例。查新的重要考量指標是查全率，專業數據庫的種類以及對學科的覆蓋程度成為查全率的重要影響因子。④全文數據庫與文摘型數據庫比例。全文數據庫比起其它電子資源，具有隨檢隨用、文獻一次到位的優點，但在時間的追溯性、文獻的收錄范圍、更新的速度等方面又遠遠落后于二次文獻數據庫，因此全文數據庫與文摘型數據庫的合適比例，是查新工作質量與效率平衡的重要因素。⑤自建特色數據庫。把本地域范圍內或本高校專業特色的科學、社科創新成果，按照統一的標準進行分類和著錄，建成具有地方特色、專業性質鮮明的成果數據庫，并通過網絡實現資源共享。⑥免費數字資源的組織整合與導航。⑦傳統紙質資源總量。

1.3 用戶滿意度在以用戶為中心作為服務理念的LIB2.0時代，用戶滿意已成為服務質量的主導性理念，成為我們設置評價指標的一個重要因素。在服務的過程中，工作人員、資源、服務方式、用戶、服務結果共同構成服務五要素，在整個服務過程中，用戶會對服務產生感知，形成滿意度。本文主要從檔案管理、查新時間、查新收費、服務方式、質量反饋等方面進行評價。

1.4 查新技術平臺查新咨詢服務系統平臺支持整個服務系統的運行和保障。它是以豐富的知識為基礎，依托大量的數據庫（或信息資源），依靠高效、暢通的網絡而組織形成的管理系統，包括技術、網絡、資源、設備等硬件，這些因素應作為一個整體來進行綜合評價。本文主要從平臺開放程度、安全穩定性、界面的友好與可操作性等三方面進行評價。

2 查新機構評價指標體系的信度、結構效度分析為衡量上文所構建指標體系是否科學可靠需要用到的一個重要指標就是信度，信度分析又稱為可靠性分析，是一種度量綜合評價體系是否具有一定的穩定性和可靠性的有效分析方法，信度的定量化描述表現為信度系數，能夠反映被評價對象特征的真實程度。克朗巴哈信度系數是反映體系中指標得分間內在一致性的系數，如下式所示：

其中，k為指標體系中評估指標的總數，var（i）為第i個指標得分的表內方差，var為全部項目總和的方差。對一個指標體系進行信度評價后，如果得到信度系數并不理想，就應該考慮通過增刪指標項目以提高指標體系總體的可靠性。一般認為，一個設計合理的指標體系克朗巴哈信度系數在0.80以上是可以接受的，信度系數越大表明被測量指標體系的可信程度也越大［4］。查新機構評價指標體系的結構效度是指該體系對查新機構評價質量得到的結果與期望評價內容的同構程度，它表明在多大程度上實際指標體系的結構能夠被看作為所期望評定的內容在結構上的替代物。進行結構效度分析最理想的統計方法是因子分析法，將指標體系中有高度相關性的指標作為一個群，從而使整個體系分成若干個群，每個因子反映整個體系的一個方面。如果所有公共因子的累積方差貢獻率至少在50%以上，每個指標項目都只在其中一個公共因子上具有高載荷（大于0.4），而在其他因子上的載荷值較低，這樣才能確保整個體系的結構效度是理想的，否則就應該對指標體系進行修訂［5］。

2.1 查新機構評價指標體系的信度評價本文采用克龍巴赫系數法（Cronbach）對構建的指標體系進行信度評價。本文構建的指標體系中，共有4個一級指標，20個二級指標，每項指標的分值均為5分，滿分共100分。選取××大學查新站對其查新機構質量進行評估，按照構建的評價指標體系，隨機選取50名用戶，向他們發放評分調查表，對該查新站的每一個評估指標進行打分。通過EpiData 3.0軟件將分值建立數據庫，SPSS11.5 for windows軟件包對數據進行統計分析，選擇Alpha選項作為信度分析的模型，進行可靠性分析，得到信度系數0.8793，表明這個指標體系的設計還是比較可信的，但為增強評價體系的科學性和公正性，還可以通過對結構效度的分析有針對性的進一步優化。

2.2 查新機構評價指標體系的結構效度分析本文采用基于因子分析法對指標體系的結構效度進行分析，首先應用SPSS對數據是否適合因子分析進行檢驗，得KMO取樣適當性度量值為0.844，Bartlett球度檢驗值為252.009，表明該指標體系適合做因子分析［6］。然后，應用SPSS軟件對數據進行因子分析，選擇Principal component方法，根據Kaiser準則，選取特征值大于1的因子。根據輸入結果整理出主要描述性統計量如表1所示。限于篇幅，文中對取樣適度性和球狀檢驗值的求值以及對數據進行因子分析的過程并沒有列出。

表1 各指標均值、離散系數及共同度

2.2.1 基于離散系數和共同度的分析

從表1中可見，查新隊伍里所有二級指標的離散系數都比較小，表明用戶對查新隊伍的評價差別不大，接近均值，難以體現區別；查新資源和技術平臺2個指標下面的各二級指標離散系數雖然不是很大但差距很小，最大值和最小值相差分別只有0.0106和0.0121，表明無論一級指標還是二級指標都比較好；用戶滿意度中的幾個二級指標的離散系數較大，其中最高的2個值為指標a_32、a32的離散系數0.5726、0.5534，說明用戶滿意度在查新機構過程中差異很大，尤其查新時間和服務方式等方面差距較明顯。由此可見，適當減少查新機構隊伍的評分權重，增加用戶滿意度的評分權重將會增加整個指標體系的離散程度，有利于體系的優化。另外，表1中共同度表示全部提取的公共因子對該指標項目方差解釋說明的比例，體現因子對變量的貢獻程度［6］。從表中可見所有指標項目的共同度均大于0.5，表明公共因子對所有指標的解釋良好。

2.2.2 基于因子載荷矩陣的分析

通過Varimax法進行因子載荷矩陣旋轉，使具有較大因子載荷量的變量個數縮減到最低限度，并刪除LOADING≤0.5的小載荷量，得出每個二級指標均只在一個因子上有較高載荷系數，而在其他因子上的載荷值較低，說明構建的指標體系是較為可靠理想的。

2.3 查新機構評價指標體系權重優化分析在進行以上因子分析的基礎上，結合專家會議法，按照構建的評價指標體系，通過對各二級指標重新分配分值，再隨機選取50名用戶，向他們發放評分調查表，對該查新站的每一個評估指標重新進行打分，并反復通過信度評價和結構效度分析對指標體系進行修訂，直到信度系數達到理想數值。最后得到新的各指標所占分值比重如表2所示。

表2 調整后的各二級指標所占分值比重

3 結束語本文構建了查新機構的評價指標，對所構建的評價指標體系進行了信度評價和結構效度分析，優化了各二級指標所占分值權重。增強了評價體系的科學性和公正性，以便更加客觀準確的評定查新機構質量，為科學評價查新機構工作提供一種新的思路與方法。

參考文獻

［1］http://www.chaxin.edu.cn/views/stations/list/BatchList.xhtml［EB］.

［2］孫瓊.高校圖書館數字參考咨詢評價［J］.2008，29（1）:241-242.

［3］丁德臣.雜合DEA和SOM的科技查新質量評價研究［J］.圖書情報工作，2010，54（8）:46-50，45.

［4］李燦，辛玲.調查問卷的信度與效度的評價方法研究［J］.中國衛生統計，2008，25（5）:541-544.

［5］曾五一，黃炳藝.調查問卷的可信度和有效度分析［J］.統計與信息論壇，2005，（11）:11-15.

［6］宇傳華.SPSS與統計分析［M］.北京:電子工業出版社，2007：168-172，230-233.