探析檔案安全風險評估中的元評估

譚燕萍

摘 要：文章從檔案安全風險評估元評估涵義入手，對元評估開展的必要性、主體與模式、內容、方法及程序進行探討。在此基礎上提出搞好檔案安全風險評估元評估的相關建議：積極推動檔案安全風險評估和元評估的研究與實踐；加強對檔案安全風險評估指標體系的再評估；重視評估專家隊伍建設，充分發揮專家的作用。

關鍵詞：元評估；檔案安全；風險評估；評估指標

檔案安全風險評估，是對檔案實體和檔案信息資源所面臨的威脅及其可能造成的影響的可能性的評估。[1]檔案安全風險評估的目的就是通過科學的方法、程序查找檔案安全隱患和漏洞、薄弱環節，及時采取必要的措施，最大可能地規避和降低風險，確保檔案的安全。因此，評估的科學與否、評估質量的高低直接決定著評估效果的好與壞。因而，判斷檔案安全風險評估本身的科學性就成了檔案安全保障體系建設不可缺少的一個重要環節。而元評估就是評估的評估，是判定原評估科學性的方法。美國學者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）非常形象地指出：“元評估對評估領域的重要性，就如審計制度對于會計領域的重要性一樣。”[2]鑒于此，本文將從元評估的角度來解析檔案安全風險評估科學性的問題。

1 檔案安全風險評估元評估的涵義及其開展的必要性

1.1 檔案安全風險評估元評估的涵義。元評估的產生與發展得益于元科學（科學的科學，Meta-science）[3]發展的推動，是元科學研究方法和研究成果應用于評估學領域的結果。元評估（Meta-evaluation）即對評估本身進行評估。[4]20世紀以來，隨著評估學發展成為社會科學研究的重要領域，元評估研究亦逐漸成為推進評估學發展的重要途徑。1940年皮多·奧若塔（Pedro Orata）提出“評估的評估”（evaluation of evaluation），是元評估概念的雛形。1969年邁克爾·斯克里文（Michael Scriven）首次提出“元評估”概念。[5]

元評估又稱為“元評價”[6]“再評價”[7]“再評估”[8]“后設評估”[9]等。美國學者丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）將其定義為“經由記述、獲取及運用關于評估的效用性、可行性、適當性及精確性等描述性信息和判斷性信息的過程，據以引導評估，并公開報導其優點和缺點。” [10]國內學者張道民認為“元評估亦稱為評估的評估。它是以已有的評估（原評估，primary-evaluation）活動及結果為對象，從整體上多視角地進行反思認識，進而對其可信度（可靠性）和有效度（功效性）作出客觀、科學、全面的評估結論。”[11]

元評估，同樣適用于檔案安全風險評估領域。在檔案安全風險評估領域，元評估是指按照一定的理論框架，運用可行的科學方法和價值標準，對檔案安全風險評估標準、評估方案、評估過程、評估方法和評估結果的科學性和有效性進行分析，從而對檔案安全風險評估做出價值判斷的過程。從我國在天津[12]、河南[13]等地開展的檔案安全風險評估實踐來看，在評估結束后開始注重對檔案安全風險評估活動本身的經驗總結，從評估的組織領導、評估標準、評估方案、評估方法、程序、結論等方面提出意見和建議。整個過程雖然缺乏嚴格的元評估程序與標準，但從某種程度來說，這實際上已經邁出了元評估探索的步伐，對檔案安全風險評估技術方法的改進、評估質量的提高，起到了重要的作用。

1.2 檔案安全風險評估元評估開展的必要性。檔案安全風險評估元評估開展的必要性主要體現在以下兩個方面：

第一，檔案安全風險評估誤差的客觀存在，需要元評估對原來的評估進行偏差控制，使偏差控制在合理的范圍，提高評估的信度和效度，從而提高評估的整體質量。檔案安全風險評估過程中，一些客觀因素的影響，使得評估不可避免存在誤差，影響評估的質量。這些因素主要有：由于評估指標體系本身（包括評估指標及評估內容的選擇、評估權重的確定等方面）設計不科學產生的誤差；由于評估專家組成員結構不合理、不良心理因素產生的誤差；由于風險本身的動態性、復雜性而產生的誤差。

偏差控制是元評估的一項重要功能，元評估首先檢測與識別檔案安全風險評估偏差。元評估通過方差法、肯德爾和諧系數法等分析原評估數據和流程，識別原來評估的偏差環節。在偏差識別的基礎上運用統計方法和其他各種方法，對原來評估的偏差原因進行分析，對偏差值進行計算，從而對評估偏差予以糾正，保證檔案安全風險評估的質量。

第二，元評估是檔案安全風險評估科學理論形成和完善的推進器。由于風險的復雜性，它處在一個動態的不斷變化的過程中：未知的、新的風險隨時有可能發生，已識別出來的風險其發生的可能性和產生的后果嚴重性也不是一成不變的。因此，在風險控制的過程中，需要定期或不定期的對已經識別的風險發生的可能性和產生的后果進行重新評估。風險的復雜性、風險評估的周期性決定了檔案安全風險評估科學理論的形成是一個及其復雜的過程。馬克思主義認識論科學地揭示了認識的規律，檔案安全風險評估科學理論的形成與完善也需要經歷一個由實踐到認識、由認識到實踐的多次反復的過程，需要在實踐中不斷的檢驗、修正與完善。元評估則是連接實踐與認識的鏈條，元評估通過對風險評估方案、評估指標、評估方法、評估過程的檢驗來驗證風險評估理論的正確性，在不斷修正與完善基礎上形成科學的評估理論。

2 檔案安全風險評估元評估主體及模式

2.1 元評估主體。元評估主體是指元評估行為的實施者，主要回答由誰來進行元評估的問題。可以有幾種選擇：一是原評估者，二是原評估組織者，三是外部專業評估者。第一種可信度不高，第二種受理論與技術的限制，第三種理論上科學高效、客觀公正，需要較高的花費，但即便如此很大程度上也受該行業發展成熟度的影響。理想化的選擇是元評估主體要比原評估主體素質更高，不但能勝任原評估還能對原評估進行優劣評價。因此，檔案安全風險評估元評估主體的選擇，需要考慮各方面的因素，選擇最適當的元評估主體，可以采取內部評估專家與外部評估專家相結合的方式。

2.2 元評估模式。關于元評估的模式，不管是Cook和Gruder（1978）的七種元評估模式，還是stufflebeam（1974）的元評估模式，或是Gowin的QUEMAC模式，所依據的分類標準共同的地方是元評估與原評估是同時實施，還是在原評估完成后實施，即形成性元評估（pro-active meta-evaluation）和總結性元評估（retro-active meta-evaluation）。形成性元評估強調在評估的不同階段，尤其是各個階段的銜接處，應及時進行元評估，以便及時修正評估的方案、技術或操作中可能出現的問題；若等到評估結束，某種無效甚至有害的評估已產生不良影響，此時進行元評估為時已晚。總結性元評估強調元評估作為經驗總結性質的總結性評估的作用，即在評估結束后，對此次評估的方案設計、技術方法、實施程序、結論質量及其產生的作用和影響做出全面的分析、評估和估價，為最終的決策提供咨詢建議或施加影響，也為改進評估活動提出意見和建議。在檔案安全風險評估的元評估中可以將元評估兩種模式各自的優勢結合起來，加強原評估的過程管理，通過對原評估過程的評估，發揮內部監控的作用，做好對評估過程的評價與監控，做到結果監控與過程監控相結合，外部監控與內部監控相結合。

3 檔案安全風險元評估的內容、方法及程序

3.1 元評估內容。檔案安全風險元評估的內容主要包括對檔案安全風險評估標準、評估方案、評估過程、評估方法和評估結果的可信度和有效度進行整體、綜合的評估。具體主要包括：（1）評估目的是否明確；（2）評估標準是否合理；（3）評估指標體系是否完整，指標權重系數是否準確；（4）評估實施方案是否合理；（5）評估方法是否科學；（6）評估結果是否真實、合理、有效；（7）評估功效能否發揮等。

3.2 元評估方法。檔案安全風險評估元評估除了采用內容分析法、經驗總結法等常用的定性評估的方法之外，還可以采用效度檢驗和信度檢驗等定量的方法來判斷。效度（Validity）即有效性，它是指測量工具或手段能夠準確測出所需測量的事物的程度。如果一項評估的效度很低，則其實際效果肯定不佳。信度（Reliability）即可靠性，它是指采用同樣的方法對同一對象重復測量時所得結果的一致性程度。如果評估的信度很低，則其結果就缺乏可靠性。在檔案安

全風險評估的元評估中，可以運用肯德（M.Kendall）和諧系數法對專家的評分差異進行檢驗。肯德爾和諧系數法計算公式[14]如下：

W=S/[（1/12）n2（m3-m）]，

式中，n為評估者人數；m為被評項目（指標）的個數；s為各種被評因素秩和的離差平方和：S=∑（Rj-Rj）2=∑Rj2-（1/m）（∑Rj）2。W值越接近1，則表示專家的評分越一致，差異性越小。

3.3 元評估程序。根據丹尼爾·L·斯塔弗爾比姆（Daniel L. Stufflebeam）后設評估的十個步驟[15]，結合檔案安全風險元評估的實際情況，元評估可以按照以下程序開展：（1）建立一個合格的元評估小組；（2）決議元評估的判斷標準；（3）收集和檢視適當可用的信息；（4）必要時收集新信息，包括實地訪談、觀察及問卷調查等；（5）分析定性和定量信息，并判斷評估符合所選定評估標準的程度；（6）形成元評估報告；（7）解釋及應用元評估結果。

4 搞好檔案安全風險評估元評估的幾點建議

我國檔案安全風險評估元評估理論與實踐的發展都還處于起步和探索階段，有待于今后進一步深入探究和挖掘。對于檔案安全風險評估元評估的發展完善，本文提出以下幾點建議：第一，積極推動檔案安全風險評估和元評估的研究與實踐。檔案安全風險評估和元評估相輔相成，互為促進。一是加強風險管理理論的學習，切實掌握風險評估的科學工具；二是借鑒其他領域風險管理、風險評估應用的實踐經驗；三是加強檔案安全風險評估試點的經驗總結，特別是對評估試點的元評估，形成可以推廣的制度成果，推進元評估與檔案安全風險評估的發展。第二，加強對檔案安全風險評估關鍵環節評估指標體系的再評估。風險評估指標的科學性、可行性直接影響著檔案安全風險評估的質量。對指標體系的再評估，主要檢驗評估指標體系的完整性，評估指標的準確性、獨立性，評估指標權重系數的準確性，并進一步對評估指標體系進行修正與完善，從而提高元評估和檔案安全風險評估的質量。第三，重視評估專家隊伍建設，充分發揮專家的作用。不管是元評估還是檔案安全風險（下轉7頁）評估都離不開評估專家的智力支持，評估專家成為元評估主體不可或缺的組成部分。一方面要大力發揮評估專家的作用，使他們積極的參與到元評估和檔案安全風險評估中來，為檔案安全風險評估和元評估理論和實踐的發展貢獻力量；另一方面為專家專業素質提升提供發展平臺。通過提供必要的考察、交流、培訓的機會，促進檔案安全風險評估專家的培養和發展，從而使他們更好的為元評估和檔案安全風險評估服務。

*本文系廣西民族大學科研基金資助課題項目“檔案安全風險評估專家咨詢制度設計”（項目編號：2016MDYB015）階段性成果。