廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建研究

陳怡玲,徐 燕,李 榮,黃 輝

(1.廣西壯族自治區(qū)科學(xué)技術(shù)情報(bào)研究所,廣西 南寧 530022;2.廣西警察學(xué)院,廣西 南寧 530028)

0 引言

科技報(bào)告是科技人員為了描述其從事的科研、設(shè)計(jì)、工程、試驗(yàn)和鑒定等活動(dòng)的過程、進(jìn)展及結(jié)果,按照規(guī)定的標(biāo)準(zhǔn)格式編寫而成的特種文獻(xiàn)[1]。科技報(bào)告是科研工作者記錄項(xiàng)目研究工作全過程的特種文獻(xiàn),是科技創(chuàng)新成果的一種表現(xiàn)形式,是科技人員交流其研究活動(dòng)及成果的重要手段。優(yōu)質(zhì)的科技報(bào)告還能夠從側(cè)面反映一個(gè)國(guó)家或地區(qū)整體的科研狀況以及發(fā)展的趨勢(shì)。因此,提高科技報(bào)告質(zhì)量對(duì)整個(gè)科技報(bào)告制度建設(shè),對(duì)實(shí)現(xiàn)社會(huì)主義現(xiàn)代化的偉大事業(yè)有著極其重要的意義。

自從2014年國(guó)家全面推進(jìn)民口科技報(bào)告制度建設(shè)以來,我國(guó)科技報(bào)告數(shù)量直線上升。截至2022年11月,國(guó)家科技報(bào)告服務(wù)系統(tǒng)官網(wǎng)顯示,已收錄科技報(bào)告38.5萬(wàn)份。廣西科技報(bào)告制度建設(shè)起步相對(duì)較晚,從2018年1月開始在部分自治區(qū)科技計(jì)劃項(xiàng)目中收集科技報(bào)告,截至2022年12月,廣西科技報(bào)告服務(wù)系統(tǒng)收藏科技報(bào)告數(shù)量為5 000余份。由于廣西科技報(bào)告制度建設(shè)尚處于初級(jí)階段,該階段主要以收集報(bào)告、數(shù)據(jù)積累為主,并沒有強(qiáng)調(diào)科技報(bào)告的質(zhì)量。隨著試點(diǎn)工作的推進(jìn),科技報(bào)告數(shù)量不斷增加,科技報(bào)告質(zhì)量參差不齊的問題日益顯現(xiàn)。比如,有些科技報(bào)告篇幅較短,文章結(jié)構(gòu)不合理,寫作邏輯不科學(xué),布局謀篇不規(guī)范,對(duì)技術(shù)內(nèi)容描述不夠深入,對(duì)研究過程描述過于簡(jiǎn)單等。而且目前的審核主要是格式上的審核和評(píng)價(jià),專業(yè)技術(shù)內(nèi)容評(píng)價(jià)尚未開展。這些問題不單是廣西科技報(bào)告質(zhì)量審核中存在的問題,也是國(guó)家和地方科技報(bào)告審核中普遍存在的問題。針對(duì)這些問題,國(guó)內(nèi)相關(guān)學(xué)者開展了有關(guān)科技報(bào)告質(zhì)量評(píng)價(jià)的理論研究,但在實(shí)踐中只有國(guó)防科技報(bào)告部分開展了科技報(bào)告質(zhì)量評(píng)價(jià),民口科技報(bào)告領(lǐng)域尚未開展科技報(bào)告質(zhì)量評(píng)價(jià)的實(shí)踐活動(dòng)。因此,在科技報(bào)告審核流程中引入科技報(bào)告質(zhì)量評(píng)價(jià)是有現(xiàn)實(shí)意義的。

國(guó)內(nèi)科技報(bào)告研究學(xué)者普遍認(rèn)為,科技報(bào)告的質(zhì)量可分為文獻(xiàn)質(zhì)量(撰寫水平、編制質(zhì)量)、專業(yè)質(zhì)量(技術(shù)內(nèi)容、科學(xué)價(jià)值)和效益質(zhì)量(應(yīng)用價(jià)值、使用價(jià)值)3個(gè)層次[2]。其中,專業(yè)質(zhì)量從根本上決定一篇科技報(bào)告的實(shí)際質(zhì)量。科技報(bào)告的專業(yè)質(zhì)量是反映科技報(bào)告實(shí)質(zhì)質(zhì)量的最重要指標(biāo),評(píng)價(jià)內(nèi)容主要是技術(shù)研究?jī)?nèi)容的完整性、技術(shù)內(nèi)容的創(chuàng)新性、技術(shù)成果的可重復(fù)性等。在科技報(bào)告3個(gè)質(zhì)量層次中,專業(yè)質(zhì)量為最根本的層次,最能反映報(bào)告的科學(xué)價(jià)值和創(chuàng)新性,是整個(gè)科技報(bào)告質(zhì)量的核心和靈魂,文獻(xiàn)質(zhì)量和效益質(zhì)量均需以專業(yè)質(zhì)量為基礎(chǔ)。因此,在科技報(bào)告質(zhì)量評(píng)價(jià)中強(qiáng)調(diào)專業(yè)質(zhì)量評(píng)價(jià),由相關(guān)領(lǐng)域?qū)＜疫M(jìn)行專業(yè)質(zhì)量評(píng)價(jià)是開展科技報(bào)告質(zhì)量評(píng)價(jià)的重中之重,對(duì)從根本上提高科技報(bào)告的質(zhì)量水平具有決定性意義。

1 我國(guó)科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)研究現(xiàn)狀

在國(guó)內(nèi),劉冠偉[3]運(yùn)用層次分析法構(gòu)建國(guó)防科技報(bào)告評(píng)價(jià)指標(biāo)體系,包含撰寫水平、應(yīng)用價(jià)值和技術(shù)內(nèi)容3個(gè)二級(jí)指標(biāo)及9個(gè)三級(jí)指標(biāo),并確定權(quán)重;裴雷等[2]第一次比較全面地設(shè)計(jì)了民口科技報(bào)告質(zhì)量評(píng)價(jià)體系,包括文獻(xiàn)質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個(gè)一級(jí)指標(biāo),并分別針對(duì)3個(gè)質(zhì)量層次設(shè)計(jì)了二級(jí)指標(biāo)和三級(jí)指標(biāo),其中,專業(yè)質(zhì)量評(píng)價(jià)參考指標(biāo)包括3個(gè)二級(jí)指標(biāo)和15個(gè)三級(jí)指標(biāo);朱麗波等[4]構(gòu)建的科技報(bào)告質(zhì)量指標(biāo)體系以報(bào)告編撰水平、實(shí)用價(jià)值、技術(shù)屬性為二級(jí)指標(biāo),下設(shè)9個(gè)三級(jí)指標(biāo)構(gòu)成,同樣是有關(guān)專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)設(shè)置的范圍太廣,操作性不強(qiáng),準(zhǔn)確度不高;任惠超等[5]參考國(guó)防科技報(bào)告質(zhì)量評(píng)價(jià)體系,構(gòu)建了以科學(xué)價(jià)值、編制質(zhì)量2個(gè)層次為一級(jí)指標(biāo),下設(shè)7個(gè)二級(jí)指標(biāo)的驗(yàn)收階段評(píng)價(jià)指標(biāo)模型,還構(gòu)建了以報(bào)告科學(xué)價(jià)值和使用價(jià)值2個(gè)層次為一級(jí)指標(biāo),下設(shè)6個(gè)二級(jí)指標(biāo)的驗(yàn)收后評(píng)價(jià)指標(biāo)模型;廖奇梅等[6]按照科技報(bào)告類型分類編制福建省科技報(bào)告質(zhì)量評(píng)價(jià)指標(biāo)體系,包括3個(gè)一級(jí)指標(biāo)和8個(gè)二級(jí)指標(biāo),其中,專業(yè)技術(shù)質(zhì)量指標(biāo)包含技術(shù)創(chuàng)新性、內(nèi)容完備程度、技術(shù)重現(xiàn)度3個(gè)二級(jí)指標(biāo);王輝等[7]針對(duì)科技報(bào)告3個(gè)質(zhì)量層次中的文獻(xiàn)質(zhì)量構(gòu)建了評(píng)價(jià)體系,以文獻(xiàn)質(zhì)量為一級(jí)指標(biāo),下設(shè)3個(gè)二級(jí)指標(biāo)和14個(gè)三級(jí)指標(biāo)。

綜上所述,我國(guó)已有不少學(xué)者進(jìn)行了科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)研究,但還存在著一些不足,表現(xiàn)在:只是在全體系指標(biāo)構(gòu)建時(shí)宏觀提及專業(yè)質(zhì)量評(píng)價(jià),沒有專門針對(duì)專業(yè)質(zhì)量指標(biāo)進(jìn)行微觀設(shè)計(jì)和具體賦值,評(píng)價(jià)指標(biāo)均比較上位,模糊性大,在實(shí)際操作中難以進(jìn)行定量評(píng)價(jià),操作性不強(qiáng),準(zhǔn)確度不高,需加強(qiáng)科技報(bào)告專業(yè)質(zhì)量微觀層面研究,才能進(jìn)一步應(yīng)用于未來的專業(yè)質(zhì)量評(píng)價(jià)工作。

本文借鑒國(guó)內(nèi)已有的科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)研究成果,結(jié)合廣西實(shí)際,采用層次分析法,構(gòu)建了一套可操作性強(qiáng)的廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系,彌補(bǔ)當(dāng)前相關(guān)研究的不足。

2 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)體系構(gòu)建

本文采用1971年美國(guó)運(yùn)籌學(xué)家Saaty提出的層次分析法(AHP)對(duì)廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)體系進(jìn)行構(gòu)建與權(quán)重的計(jì)算。層次分析法是一個(gè)多指標(biāo)綜合評(píng)價(jià)算法,其主要原理是在分析一個(gè)現(xiàn)象或問題之前,首先將現(xiàn)象或問題根據(jù)它們的性質(zhì)分解為有關(guān)因素,并根據(jù)它們之間的關(guān)系分類而形成一個(gè)多層次的結(jié)構(gòu)模型,然后通過經(jīng)驗(yàn)或?qū)＜?來判斷和衡量低層因素對(duì)高層因素的相對(duì)重要性,并根據(jù)重要性的程度得出權(quán)重排序,進(jìn)而可以量化分析比較。層次分析法的核心是將影響因素層次化和數(shù)據(jù)化,它把一個(gè)抽象的現(xiàn)象或問題由難到易地予以分解,易于對(duì)復(fù)雜問題進(jìn)行直觀判斷,并作出決策。層次分析法的步驟主要分為5步。第1步是確定關(guān)鍵因素;第2步是根據(jù)因素之間的關(guān)系來構(gòu)建結(jié)構(gòu)模型;第3步是構(gòu)造判斷矩陣;第4步是層次單排序及其一致性檢驗(yàn),即對(duì)指標(biāo)定權(quán);第5步為層次總排序及其一致性檢驗(yàn)。以下將按照上述步驟來構(gòu)建廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)體系。

2.1 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)的篩選

按照層次分析法的步驟,首先要對(duì)影響科技報(bào)告專業(yè)質(zhì)量的要素進(jìn)行分解、整理、抽取,并對(duì)其進(jìn)行層次化和數(shù)據(jù)化處理。影響科技報(bào)告專業(yè)質(zhì)量的要素有多個(gè),其中,最核心的要素是數(shù)據(jù)質(zhì)量、創(chuàng)新質(zhì)量及內(nèi)容質(zhì)量。對(duì)科技報(bào)告專業(yè)質(zhì)量的構(gòu)成因素進(jìn)行全面梳理分析,并基于此建立客觀、全面的評(píng)價(jià)體系,可以有效地對(duì)科技報(bào)告專業(yè)質(zhì)量進(jìn)行定量的評(píng)判,幫助該領(lǐng)域或接近該領(lǐng)域的專家對(duì)科技報(bào)告專業(yè)質(zhì)量進(jìn)行科學(xué)的同行評(píng)議,更有效地評(píng)定科技報(bào)告的學(xué)術(shù)水平或重要性。

本文基于已有文獻(xiàn)研究和咨詢從事相關(guān)工作的專家,梳理分析得到多個(gè)與科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)相關(guān)的原始指標(biāo),然后根據(jù)廣西科技報(bào)告撰寫提交的實(shí)際情況,再結(jié)合行業(yè)專家意見,對(duì)指標(biāo)進(jìn)行合理選擇和科學(xué)歸納,最終形成能夠客觀、全面評(píng)價(jià)廣西科技報(bào)告專業(yè)質(zhì)量的3個(gè)二級(jí)指標(biāo)和15個(gè)三級(jí)指標(biāo),如表1所示。

表1 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系及說明

2.2 構(gòu)建層次評(píng)價(jià)模型

研究組按照AHP方法的基本要求,圍繞“廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)”這個(gè)決策事件,確定其目標(biāo)層、準(zhǔn)則層、指標(biāo)層,運(yùn)用Yaahp軟件(層次分析法軟件)建立廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)模型,如圖1所示。

2.3 構(gòu)造判斷矩陣

構(gòu)造判斷矩陣就是通過各要素之間相互兩兩比較,并確定各準(zhǔn)則層對(duì)目標(biāo)層的權(quán)重。簡(jiǎn)言之,就是把準(zhǔn)則層的指標(biāo)進(jìn)行兩兩判斷,具體來說,就是對(duì)準(zhǔn)則層數(shù)據(jù)質(zhì)量(B1)、創(chuàng)新質(zhì)量(B2)、內(nèi)容質(zhì)量(B3)3個(gè)元素,相互之間使用1～9標(biāo)度法[8](見表2)進(jìn)行重要性比較。其中,兩個(gè)元素兩兩比較哪個(gè)重要,重要的程度是多少,按1～9進(jìn)行賦值,然后對(duì)構(gòu)造的判斷矩陣不一致的地方進(jìn)行調(diào)整,重新比較其重要性,直至結(jié)果通過一致性檢驗(yàn)。

表2 1-9標(biāo)度法

通過Yaahp軟件,構(gòu)建的判斷矩陣具體內(nèi)容如表3—6所示。

表3 準(zhǔn)則層判斷矩陣

表4 數(shù)據(jù)質(zhì)量指標(biāo)層判斷矩陣

表5 創(chuàng)新質(zhì)量指標(biāo)層判斷矩陣

表6 內(nèi)容質(zhì)量指標(biāo)層判斷矩陣

其中,對(duì)角線為各個(gè)指標(biāo)自己的判斷,數(shù)值均為1。例如“數(shù)據(jù)質(zhì)量”對(duì)于“數(shù)據(jù)質(zhì)量”而言,其重要性為1,因?yàn)橹笜?biāo)自身與自身對(duì)比肯定是1∶1。對(duì)于第一行第二列,也就是“數(shù)據(jù)質(zhì)量”與“創(chuàng)新質(zhì)量”對(duì)比,研究組認(rèn)為“數(shù)據(jù)質(zhì)量”比“創(chuàng)新質(zhì)量”稍不重要,那么就可以標(biāo)值為1/3,相應(yīng)的,對(duì)角線左邊的值是對(duì)角線右邊值的倒數(shù),以此類推,直到構(gòu)建完成一個(gè)判斷矩陣。

由此得出:

2.4 計(jì)算評(píng)價(jià)指標(biāo)相對(duì)權(quán)重和矩陣一致性檢驗(yàn)

層次分析法中的各個(gè)指標(biāo)對(duì)目標(biāo)層所占的權(quán)重通過先求出各個(gè)指標(biāo)所在的判斷矩陣最大特征根λmax,然后由對(duì)應(yīng)的歸一化特征向量W得到[7]。如采用Yaahp軟件,求得準(zhǔn)則層判斷矩陣A最大特征根λmax為3.018 3,其歸一化后的特征向量是WA=(0.122 6,0.320 2,0.557 1)T,從而得出準(zhǔn)則層數(shù)據(jù)質(zhì)量、創(chuàng)新質(zhì)量、內(nèi)容質(zhì)量3個(gè)指標(biāo)的相對(duì)權(quán)重分別為 0.122 6,0.320 2,0.557 1。以此類推,計(jì)算得到指標(biāo)層各判斷矩陣B1(數(shù)據(jù)質(zhì)量)、B2(創(chuàng)新質(zhì)量)、B3(內(nèi)容質(zhì)量)的最大特征根λmax和歸一化特征向量W結(jié)果如下:

λB1=5.445 9 ,λB2=7.791 8 ,λB3=3.024 7

WB1=(0.154 8,0.502 4,0.103 2,0.057 0, 0.182 5)

WB2=(0.204 5,0.286 5,0.156 3,0.048 2, 0.183 9, 0.090 3, 0.030 4)

WB3=(0.567 9,0.098 2,0.333 9)

在層次分析法中,需要對(duì)矩陣一致性進(jìn)行檢驗(yàn)。一致性檢驗(yàn)的作用在于檢驗(yàn)構(gòu)建的判斷矩陣是否存在邏輯問題,如果判斷矩陣邏輯不合理,將造成指標(biāo)權(quán)重值的不可靠。

當(dāng)一致性比例>0.1時(shí),判斷矩陣不具有一致性,權(quán)重值可靠性低,則需要根據(jù)實(shí)際情況賦值判斷矩陣。當(dāng)一致性比例<0.1時(shí),判斷矩陣一致性良好,求解得到的權(quán)重值可接受。如當(dāng)一致性比例=0時(shí),則判斷傳遞邏輯通順,具有完全一致性。

通過Yaahp軟件計(jì)算上述判斷矩陣A,B1,B2,B3的一致性比例,得到的值分別為0.017 6,0.099 5,0.097 0,0.023 7,表明各判斷矩陣的一致性均在合理范圍內(nèi)。

2.5 根據(jù)評(píng)價(jià)指標(biāo)相對(duì)權(quán)重計(jì)算其綜合權(quán)重

各評(píng)價(jià)指標(biāo)對(duì)總目標(biāo)的加權(quán)權(quán)重由各評(píng)價(jià)指標(biāo)相對(duì)權(quán)重分別與對(duì)應(yīng)的準(zhǔn)則層相對(duì)權(quán)重相乘得到[7](見表7),廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系各指標(biāo)權(quán)重分布如圖2所示。

圖2 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系指標(biāo)權(quán)重分布

表7 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)指標(biāo)體系權(quán)重分布

內(nèi)容質(zhì)量占的比重較大,其中,類似查重指標(biāo)又占比較大;另外,創(chuàng)新質(zhì)量指標(biāo)的權(quán)重是數(shù)據(jù)質(zhì)量指標(biāo)權(quán)重的兩倍多,說明在科技報(bào)告質(zhì)量評(píng)價(jià)中,原創(chuàng)創(chuàng)新性非常重要(見表8)。

表8 廣西科技報(bào)告專業(yè)質(zhì)量評(píng)分結(jié)果

3 實(shí)證分析

為了數(shù)據(jù)的真實(shí)性和可代表性,從廣西科技報(bào)告服務(wù)系統(tǒng)(http://gxkjbg.gxinfo.org.cn:90/)隨機(jī)選取20份科技報(bào)告作為實(shí)證分析數(shù)據(jù)樣本,邀請(qǐng)5名長(zhǎng)期從事科技報(bào)告審核的專家進(jìn)行打分評(píng)價(jià)。考慮到可操作性,約定表1中每個(gè)三級(jí)指標(biāo)滿分為100分,科技報(bào)告審核專家根據(jù)每個(gè)科技報(bào)告的實(shí)際情況打相應(yīng)的分?jǐn)?shù)。為了減少科技報(bào)告審核專家主觀因素的干擾,每個(gè)三級(jí)指標(biāo)的得分取5名科技報(bào)告審核專家打分的平均值。由于每個(gè)三級(jí)指標(biāo)都采用百分制,打分結(jié)果無(wú)須進(jìn)行再歸一化處理。然后根據(jù)打分的平均值再乘以表7中每個(gè)三級(jí)指標(biāo)的綜合權(quán)重,整理得到最終評(píng)分結(jié)果如表8所示。

根據(jù)評(píng)價(jià)總分值的大小,把廣西科技報(bào)告專業(yè)質(zhì)量劃分為差(總分<60)、一般(60≤總分<80)、良好(80≤總分<90)、較高(總分≥90)4個(gè)層次。從表8可以看出,廣西科技報(bào)告專業(yè)質(zhì)量基本位于一般和良好層次,屬于中上水平,這在一定程度上反映了廣西科技報(bào)告的專業(yè)質(zhì)量水平。廣西實(shí)施科技報(bào)告制度時(shí)間還不長(zhǎng),對(duì)科技報(bào)告質(zhì)量的獎(jiǎng)懲制度還沒有形成,大部分科技報(bào)告作者還沒有提交高質(zhì)量科技報(bào)告的動(dòng)力,但是隨著科技報(bào)告管理機(jī)構(gòu)不斷推進(jìn)科技報(bào)告宣講和培訓(xùn)等工作,廣西科技報(bào)告的專業(yè)質(zhì)量還是取得了一定的成績(jī)。

4 結(jié)語(yǔ)

科技報(bào)告內(nèi)容記錄了整個(gè)科技項(xiàng)目的研究過程,是重要的無(wú)形資產(chǎn),如何提升其質(zhì)量是重要的研究課題。科技報(bào)告質(zhì)量包括文獻(xiàn)質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個(gè)方面,其中,專業(yè)質(zhì)量對(duì)整體質(zhì)量起到根本的決定性作用,科技報(bào)告專業(yè)質(zhì)量的好壞可以在一定程度上體現(xiàn)科研人員的科研水平、創(chuàng)新水平,是科技報(bào)告質(zhì)量至關(guān)重要的構(gòu)成部分。

本文基于科技報(bào)告實(shí)踐工作和研究成果構(gòu)建的這套廣西科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)體系,可為廣西將來開展科技報(bào)告專業(yè)質(zhì)量評(píng)價(jià)提供決策模型和評(píng)分依據(jù),幫助專家對(duì)科技報(bào)告質(zhì)量進(jìn)行專業(yè)評(píng)估,為科技報(bào)告評(píng)優(yōu)打分等提供參考工具。