科技學會能力評估指標體系構建研究

張良　唐安　劉蓉

[摘 要]國家治理現代化的目標對科技學會的能力提出了更明確的要求，如何準確又簡明地測量科技學會的能力成為學界急需解決的問題。本文基于科技學會能力結構“動態螺旋模型”，根據科技學會能力的現實要求，首先通過文獻法擬定了一套科技學會能力的評估指標體系，然后通過德爾菲法，經過兩輪專家評審，根據得分及意見進行修改后確定科技學會能力評估指標體系。該指標體系共有3個一級指標，9個二級指標，24個三級指標，并賦予每一項三級指標相應的分值。

[關鍵詞]科技學會 能力 評估指標體系

一、問題的提出

國家治理現代化目標的提出，確立了社會組織在國家治理中的重要主體地位，也對社會組織的能力建設提出了更高的要求。社會組織需要具備足夠的能力承擔政府轉移職能和社會責任，否則將有可能出現社會公共職能的“真空”，對社會治理帶來不利影響。如何構建一套合理、有效的社會組織能力評估指標體系，已經成為社會組織研究領域的重要課題。

社會組織能力的結構是什么？復雜系統理論對回答這一問題提供了理論支撐。橫向來看，社會組織的運作是圍繞其功能展開的，這個過程中，社會組織會與其他主體（行政組織、營利組織等）產生比較和互動，這就確定了社會組織運作的邊界；縱向來看，隨著社會的發展，社會組織在社會關系網絡的刺激下，其功能范圍會出現動態調整，從而進一步影響組織的能力情況，促進能力結構的演化。諸多學者認為，社會組織的能力應該體現在組織運作的全過程中，并最終表現為各種外在形式，如組織的收入、活動、規模等。

科技學會（以下簡稱學會）是科技工作者自愿組成的學術共同體，與其他類型社會組織相比，其優勢是“智力密集、人才薈萃、橫向聯系、組織網絡健全”。憑借上述優勢，學會在科技評價、科技獎勵、標準制定等方面的工作效率高、質量好，在提供公共服務、承接政府轉移職能中發揮重要作用。科技學會的能力既有社會組織能力的共性，也有其特性。共性表現在科技學會的組織能力由制度體系、資金情況、信息公開與監督體系、組織影響力和公信力等構成；特性表現在科技學會服務對象的特殊性和服務內容的專業性上。目前，缺少專門針對科技學會能力的評估指標體系，難以對科技學會功能和服務的質量做出科學評價，也對承接政府轉移職能的效果帶來不確定因素。因此，需要構建一套多元維度的合理、有效的科技學會能力評估指標體系。

國外對社會組織評估問題的研究始于20世紀90年代初期，研究的角度主要有：社會組織評估類型（Baumol and Bowen，2000，Herzlinger，1996）、社會組織評估方法（Parasuraman、Valarie A. Zeithaml、leonard L. Berry，1985，Liz Vanghan、Edward Shiu，2000，Mueller et al，2004）、社會組織評估應用（Robert S. Kaplan、David P. Norton，1990）。我國社會組織評估領域的研究雖然還不夠成熟，但也有一些成果，如鄧國勝教授構建的非營利組織評估框架及非營利組織“APC”評估理論；劉清潔、曹慶萍將社會組織的評估分為組織機構評估、組織治理評估、非營利性評估、發展能力評估及項目評估五個環節等。

與此同時，國內很多機構也對社會組織評估進行了實證探究，如上海市社團局每年開展的社會組織“規范化建設評估”包含102個指標，總計1000分，基本上涵蓋了組織運行、管理及發展的各個方面，具有全面性。但是這套體系也存在一些不足：第一，由于評估主體是政府，因此指標主要體現了政府規范的要求；第二，指標體系的過于繁雜直接導致操作性不強；第三，部分指標偏于主觀，難以量化。如上海市科學技術協會為提高科技學會競爭力，在20世紀90年代就開始對上海的科技學會進行星級學會評估工作，最新的評估指標體系有4個維度，共43項指標，與規范化評估相比已經有了很大程度的簡化，但該指標體系以合規性和功能性評價為主，并不能完全反映科技學會的能力狀況。

綜上所述，西方發達國家對于社會組織評估的研究起步較早，已經具有比較成熟的理論模型，在實踐中也獲得了大量的成功經驗，而我國社會組織評估的相關研究主要停留在理論層面，限于構建評估框架，實證研究不夠成熟，沒有對量化指標的形成、指標的有效性進行深入研究。本文以科技學會為對象，基于科技學會能力結構“動態螺旋模型”，嘗試構建一套科技學會能力評估指標體系，以衡量科技學會能力的效率和質量。

二、科技學會能力評估指標體系構建

（一）評估指標體系構建思路

本文對于科技學會能力評估指標體系構建的思路主要基于：

1.復雜系統理論。這一理論為社會組織能力結構的建構提供了三個維度：功能、邊界與時序。功能是指社會組織能夠滿足社會需要的屬性，包含服務、發展、創新等內容，直接明確了社會組織應具備的能力；邊界是在社會組織與其他類社會治理主體在比較和互動中所確定的，界定了社會組織的能力范圍；時序則體現了社會組織發展的縱深過程，表明社會組織的功能會隨時間的推進而發生變化，從而對能力產生新的要求。

2.學會能力結構“動態螺旋模型”。在該模型中，核心能力是體現學會目標與宗旨的能力，包括學術發展、會員服務、科學普及等，這些是學會成立的根本目的所在，沒有核心能力學會就會失去其存在的社會合法性；重要能力是保證學會良性運轉與持續發展的能力，包括科技服務、科技咨詢、科技評價、科技培訓等，這些能力的提升，有助于其擴大規模和影響力；延展能力是指組織與其他各類主體互動衍生而起輔助性支撐作用的能力，主要指承擔的各項社會化服務職能，這是學會履行社會責任、發揮社會責任感的關鍵指標。該模型從學會的功能、邊界和時序三個維度出發，展示了學會能力的層次性和動態性。

（二）評估指標體系的構建原則

1.針對性原則。評估指標體系緊緊圍繞對科技學會能力的評估，能夠更有針對性地反映和指導科技學會的能力建設。

2.多元性原則。評估指標體系的評估主體整合政府、組織自身以及社會公眾三個方面，有利于從組織內部以及廣泛的社會層面激發科技學會的能力建設。

3.簡明化原則。評估指標體系的構建選取了反映科技學會能力的核心指標，既能反映科技學會能力的實際情況，又可以簡化評估的工作量。

（三）評估指標體系的構建流程

第一步，采用德爾菲法設計評估指標體系。由于德爾菲法第一輪相對耗時耗力，所以首先在科技學會能力結構“動態螺旋”模型和文獻研究的基礎上，將科技學會能力的一級指標擬定為核心能力、重要能力和延展能力；然后在科技學會年檢數據分析、調查問卷分析和實地訪談的基礎上擬定了9項二級指標和24項三級指標，并賦予相應分值。

第二步，進行第一輪的專家評審和打分。指標擬定后，邀請長期從事科技學會管理和研究的20位專家進行第一輪的專家評審和打分。這些專家大部分來自科技學會的實際工作者，也有來自高校、研究所和科技學會管理機構的專業人士。問卷設計采用“李克特五點量表”方法，分別用1分、2分、3分、4分、5分來分別表示“非常不合理”“不太合理”“一般”“比較合理”和“非常合理”，將平均分在3.5分（不含）以下或標準差在1（不含）以上的指標或賦分予以修改或剔除。

第三步，進行第二輪的專家評審和打分。第一輪專家評審結束后，根據得分及專家意見修正指標體系，并產生第二輪專家評審調查問卷。然后，再次邀請10位專家，仍然采用“李克特五點量表”進行調查，但將修改標準提高至平均分4分及標準差在0.8，即平均分在4分（不含）以下或標準差在0.8（不含）以上的指標或賦分被修改或剔除。

第四步，確定能力評估指標體系。根據第二輪評審的得分確定各項指標的賦分，并最終確定科技學會能力評估指標體系。

（四）科技學會能力評估指標體系的建立

1.擬定評估指標。在科技學會能力結構“動態螺旋模型”的基礎上擬定的科技學會能力評估指標體系，詳見表1，滿分為100分。其中，一級指標確定為核心能力（61分）、重要能力（26分）、延展能力（13分）；在年檢數據、調查問卷和實地訪談的基礎上將二級指標擬定為9個，分別是：主體服務能力、業務活動能力、領域發展能力、內部治理能力、獲取支持能力、學習創新能力、公信力塑造能力、社會化服務能力和社會影響力；三級指標擬定為24個。

2.第一輪專家咨詢。邀請了20位相關專家對擬訂的評估指標進行評審和打分，其中學會工作人員11人，學會管理部門工作人員4人，高校教師4人，研究所研究人員1人。問卷分為兩部分：一是對指標合理度的評價；二是對賦分合理度的評價，統計結果詳見表2。

為了確保打分結果的可靠性，對打分的結果進行了信度檢驗。指標合理度方面，克隆巴赫系數（Cronbanchs Alpha）為0.914，大于0.8，表明擬定的評估指標的信度很好。三個維度的指標KMO值分別為0.496、0.566和0.611，表明擬定的評估指標的效度較好。賦分合理度方面，克隆巴赫系數為0.916，大于0.8，表明擬訂的評估指標的信度很好；三個維度KMO值分別為0.586，0.591和0.559，均大于0.5，表明擬訂的評估指標的效度較好。

總的來說，評審專家對評估指標體系有較好的認同：第一，指標體系設計具有一定創新性。第二，指標層次比較合理。在理論與實證研究的基礎上提出核心能力、重要能力和延展能力的層次區分，并在此基礎上進行各級指標的設計。當然，評審專家也針對部分指標和指標賦分提出了一些建議。根據專家的意見，對評估指標體系進行了相應的修改。

3.第二輪專家咨詢。第二輪專家咨詢邀請了10位專家，包括學會工作人員5人，高校教師2人，學會管理部門人員3人。調查方法與第一輪相同，統計結果詳見表3。

對統計結果進行信效度分析。信度方面，指標合理度的克隆巴赫系數為0.941，賦分合理度的克隆巴赫系數為0.919，均大于0.8，具有較高的信度；效度方面，由于第二輪調查樣本量較少，因此無法進行KMO值的檢驗，但從專家從事社會組織研究的時間和成果來看，調查結果具有良好的效度。

從結果可以看出，無論是指標合理度，還是賦分合理度，平均分較第一輪都有了較大提升，標準差也在縮小，說明專家對修改后的指標體系給予了更高的肯定。根據得分和專家意見，對平均分低于4分或標準差大于0.8的指標或賦分進行了修改與剔除，得到最終的科技學會能力評估指標體系（詳見表4）。

三、結論與展望

本文基于科技學會能力結構動態螺旋模型，運用文獻法和德爾菲法，通過兩輪專家評審，確定了科技學會能力評估指標體系，包括3個一級指標、9個二級指標、24個三級指標，滿分100分。總的來講，該指標體系基本符合針對性、多元性和簡明化的構建原則，既注重科技學會能力建設過程，也注重科技學會能力建設結果，而且考慮了政府、公眾、科技工作者和學會自身等多個主體的評價。指標均可從學會年檢數據、年報數據或通過問卷調查獲得，操作性較強。本套指標體系具有以下應用價值：

第一，對政府而言，微觀層面上，政府可以通過該指標體系的應用，迅速把握一個科技學會的整體狀況與發展階段；宏觀層面上，該指標體系簡潔而具有針對性，可將其應用到區域之間科技學會宏觀發展狀況的評估對比中。

第二，對于學會自身來說，其內部會員（成員、工作人員）可以根據指標體系更好地認識或者評價其所在學會的能力狀況，并從學會內部督促能力建設，從而更好地激發學會能力建設的內在能動性。

第三，對于廣大的社會公眾來說，簡單明確又有針對性的能力評估指標較容易實現社會普及，這不僅能讓社會公眾更全面地認識學會，而且有利于形成全社會共同推進學會能力建設的良好氛圍。但需要指出的是，本研究設計的評估指標體系尚處于初步探索階段，下一步將選取部分科技學會進行實際驗證，在實踐中對評估指標體系不斷加以修正，最終構建起更具針對性、專業性和可操作性的科技學會能力評估指標體系。

參考文獻

[1]Hansman， H. B. The Role of Nonprofit Enterprise[J]. Yale Law Journal，1980，4.

[2]Lin Nan. Social Capital： A Theory of Social Structure and Action[M]. Cambridge： Cambridge University Press， 2001.

[3]張良.我國社會組織轉型發展的地方經驗：上海的實證研究[M].上海：中國人事出版社，2014.

[4]于水波，曹堂哲.社會組織能力評估的系統權變觀[J].云南行政學院學報，2011（6）：33-36.

[5]張良，劉蓉.治理能力現代化視角下科技學會能力模型構建研究[J].學會，2015（11）：7-14，22.

[6]孫凱.淺談我國科技社團能力建設[J].時代人物，2008（9）：56-59.

[7]林閩鋼.我國社會服務管理體制和機制研究[J].華中師范大學學報（人文社會科學版），2013，52（3）：41-46.

[8]葉托，胡稅根.政府購買社會服務的績效評估指標體系研究——基于德爾菲法和層次分析法的應用[J].廣東行政學院學報，2015，27（2）：5-13，45.

[9]鄧國勝.非營利組織評估體系研究[J].中國行政管理，2001（10）：20-23.

[10]鄧國勝.非營利組織“APC”評估理論[J].中國行政管理，2004（10）：33-37.

[11]孔令梅.我國非政府組織的績效評估研究[D].北京：中國石油大學，2010.

[12]葉萍.社會組織績效評估指標體系研究[J].廣西社會科學，2010（8）：104-107.

[13]曹雁翎.中國非營利組織的核心能力管理[J].東北財經大學學報，2004（1）：599-604..

[14]陳振明，李德國，蔡晶晶.政府社會管理職能的概念辨析——《“政府社會管理”課題的研究報告》之一[J].東南學術，2005（4）：5-11.

[15]金文哲，王謙.新時期中國地方政府公共服務能力建設思路探析[J].理論月刊，2011（2）：79-81.

[16]付建軍，高奇琦.政府職能轉型與社會組織培育：政治嵌入與個案經驗的雙重路徑[J].理論與現代化，2012（2）：108-112.

[17]李紅艷.我國非政府組織發展的困境與建議[J].社會科學輯刊，2007（6）：116-117.

[18]馬慧娟，諸葛達，楊忠.非政府組織（NGO）評估機制研究[J].云南大學學報法學版，2013（6）：107-110.

[19]李緯緯.我國非營利組織績效評估存在的問題及其治理[J].邊疆經濟與文化，2007（8）：29-31.

[20]田雪瑩，胡文波.我國非營利組織評估體系研究[J].中國地質大學學報（社會科學版），2007（4）：43-45.

[21]夏煒，葉金福，蔡建峰，等.非營利組織績效評估理論綜述[J].軟科學，2010，24（4）：124-129.

[22]張麗清，張江海.中國非營利組織績效評估研究述評[J].經濟與社會發展，2007，5（12）：45-49.

[23]陳建國.政社關系與科技社團承接職能轉移的差異——基于點差問卷的實證分析[J].中國行政管理，2015（5）：38-43.

[24]王名，孫偉林.社會組織管理體制：內在邏輯與發展趨勢[J].中國行政管理，2011（7）：1-5

[25]劉清潔，曹慶萍.我國非營利組織評估指標體系探析[J].學會，2008（6）：43-47.