基于過程管理的大創訓練項目評價研究

喻秋山

（長江大學 物理科學與光電學院，湖北 荊州 434023）

基于過程管理的大創訓練項目評價研究

喻秋山

（長江大學 物理科學與光電學院，湖北 荊州 434023）

現行大學生創新創業訓練項目評價體系存在輕過程、重立項、評價主體模糊和成果轉化率低等不足，不利于訓練項目的健康發展。為提高項目訓練的實施效果，應分別從立項選題、過程實施和項目結題等過程中優選評價指標，采用德爾菲法賦予權重，建立過程管理導向的評價指標體系，同時建議配合使用分類制定結題標準等措施來推進大學生創新創業訓練項目和評價體系的建設。對比試驗的結果表明過程管理導向的評價指標體系相較于傳統評價體系在創新人才培養和科研成果形成方面有更好的表現。

過程管理；大學生創新創業訓練項目；評價指標

大學生創新創業訓練項目計劃（以下簡稱為大創訓練項目）是教育部直接面向大學生立項、倡導主動實踐、在國家層面實施的活動。各高校普遍重視活動的開展，但較少關注評價體系的建設。而現行評價體系導向易導致學生急功近利，研究缺乏深度和探索主動性，培訓質量和社會效益產出不佳。[1]建立起科學的過程管理評價指標體系可激發大學生參與熱情、樹立正確的實踐導向。

目前，大創訓練項目評價體系的研究主要集中在評價指標選取方面，可大致分為對參與主體或參與過程進行評價。第一類將參與主體作為研究對象選取評價指標。如邵進強調指導教師的職責，主張從指導教師的思想態度、職稱結構、指導經驗和能力等方面進行評價。[2]綦盛健主張對學生進行評價，認為應該從大學生創新意識、交流次數、團隊合作、實驗開展等方面選取評價指標。[3]王志主張將實驗條件納入評價指標[4]，而荊濤主張用高校、企業、校企間的協調度和創新能力作為評價指標。[5]杜新強認為大學生創新能力培養評價應從教師、學生、學校等多個角度來建立考評體系[6]，楊建新認為應從創新團隊建設的角度選擇評價指標。[7]第二類觀點認為應該從項目實行過程來選擇評價指標，對項目多個參與主體評價。如李旦等認為應該從選題、實施和成果三個階段選擇評價指標，相應主體分別為專家，指導教師，學生、指導教師和專家。[8]霍麗莎等認為評價指標選取應拓展到全過程各參與主體。[9]

上述研究為大創訓練項目評價體系設計提供了思考方向，其中一些評價量表可為進一步研究提供借鑒。多數研究者從項目參與主體方選擇評價指標，這種評價方式簡單、明了，但其對評價對象的研究是靜態的，不能激發活動參與者的熱情，扭轉現行評價體系中存在的重立項、重結果、輕過程和成果轉化率低等不足。[6-7]而李旦等人提出以過程管理為導向的項目評價指標體系可在一定程度上避免以上問題，值得提倡和推廣。[8-9]但沒有針對不同的參與主體分別建立評價指標，不利于厘清各個參與主體的職責和給出合理評價反饋建議。綜上，我們認為建立以過程管理為導向，服務于不同評價主體的分類量化評價指標體系，可推進大創訓練項目和評價體系的健康發展。

1 過程導向的評價指標分析

1.1 立項選題過程的評價指標分析

立項選題過程是組織評審專家對申報項目進行可行性評議，以決定是否列為資助對象及資助額度。主要包括對項目申請書和立項答辯過程的評審。

過程中側重對學生、指導教師、實驗條件和項目潛在市場推廣價值分別量化評價。對學生的評價指標主要是從項目申請書的創新性、可行性、預期應用推廣價值以及項目所需相關知識的儲備、技能掌握等方面選擇。對指導教師的評價側重于教師的業務指導能力和責任心，主要從指導教師的專業背景、研究領域、科研經驗等方面與學生選題內容的匹配程度以及教師的工作風范等方面進行參考指標選擇。對實驗條件的評價側重于對實驗設施和環境、實驗設備和材料、實驗項目過程管理等方面選擇參考指標。在項目市場推廣價值方面側重于評價項目產品的市場應用前景和市場開發難度。

1.2 項目實施過程的評價指標分析

項目實施過程的評價是學生在導師的指導下開展項目研究的過程，這一過程是大創訓練項目評價的重點和難點。

這一階段應對三個主體展開量化評價。1）對學生的評價。評價指標應從學生在項目實施過程中對關鍵問題的解決程度、方法的創新性、精力投入程度、項目進度執行情況、實驗日志記載情況和對訓練過程的總結與反思等方面選擇。2）對指導教師的評價。評價指標應該從導師對學生的指導次數、學生對導師啟發式教育的接受程度、導師的引導具有的創新性思維、資源調配的合理性等方面選擇。3）對管理方的評價。評價指標應該從資金、場地、設備的供給質量、數量、及時性和對項目實施過程中的有效監管情況等方面進行選擇。

1.3 結題驗收過程的評價指標分析

結題驗收評價是對大創訓練項目完成質量的結論性評價。

評價指標可從項目組成員在書面評審和答辯評審過程中的表現來選擇。書面評審的評價指標主要從學生對問題解決方案的理解程度、項目預設目標的完成程度、完成過程中的創新性表現、結題報告的撰寫水平、導師對學生在項目執行過程中的綜合表現評價等方面選擇。答辯評審的評價指標主要從學生對項目關鍵內容的解決過程闡述、解決方案創新性的體現、研究過程的獨立性和團隊協作性、研究成果的水平與價值、答辯過程的表現等方面選擇。

2 評價量表的權重設計與評價指標體系的形成

2.1 樣本與數據來源

在評價指標設計中，研究者常用德爾菲法給不同指標賦予權重，體現指標相對重要性。項目評估專家成員的采樣選擇長期從事大創訓練項目指導、評審和組織的專家，他們的觀點往往具有較高的信度和效度。為了增強代表性，我們以教育部公布的《2014年國家級大學生創新創業訓練計劃實施工作先進單位名單》中活動開展表現優秀的4所高校（部屬高校2所：華中科技大學、中南大學，地方高校2所：湖南師范大學、長江大學）為藍本進行問卷調查。

問卷分為三個部分。第一部分是個人信息，包括性別、年齡、學歷、學校。第二部分是“您認為立項過程、項目實施和結題驗收過程在大創項目評價中應該占多大比例”。第三部分是“請您對以下指標賦予權重”。問卷采用現場采訪、現場填寫并回收的方法，一共獲得有效問卷40份。

2.2 權重的計算方法

權重的計算方法采用加權平均法。第一步，計算平均值。每個二級指標的權重（Uij, i, j=1, 2, 3…）先按照40位專家的平均分計算，匯總后得到一級指標的權重（Ui, i=1, 2, 3…）。第二步，差異調整。由于問卷第二部分已經對一級指標進行了評價（xi, i=1, 2, 3…），匯總后得到一級指標的權重可能與專家填寫的權重有差異。如果差異，我們采用Ui和xi的平均值。第三步，確定最終的權重。為了方便使用，我們對權重取整數，并剔除權重小于5%的指標。

2.3 形成評價指標體系

指標體系主要由指標和權重構成。由于篇幅限制，我們將過程導向的理工類大創訓練項目評價指標體系設計為如下3個量表（表1～表3）。

表1 高校理工類大創訓練項目立項選題過程中評價指標體系構成（占30%）

表2 高校理工類大創訓練項目實施過程中評價指標體系構成（占40%）

表3 高校理工類大創訓練項目結題評價過程中評價指標體系構成（占30%）

量表對各評價主體依立項選題、過程實施和結題答辯三大階段設立評價指標，共設一級評價指標9項、二級指標42項。項目量化評價實行分部計分、加權賦值求和的方法，計算公式如下：

其中，X表示項目實施過程的總得分，Ui和Uij表示一級、二級指標在項目評價指標中的權重。

3 比較與分析

我們采用實驗追蹤的方法檢驗過程管理導向的大創訓練項目評價體系的有效性和先進性，實驗對2015年參與大創訓練計劃的多組學生和指導教師全程跟蹤。

3.1 準備階段

調查樣本的準備工作可追溯到試驗小組的選題和組隊階段。為保證研究樣本的多樣性和代表性，我們爭取到了學校創新創業中心和學院、師生們的支持。首先，我們將參與實驗的教師分為傳統組（立項和結題的評價比重大）和過程導向組（過程管理評價比重大）。接下來，組織參與實驗的學生進行選題提議和討論，選出《照度分級的智能照明系統》等17個項目作為立項申請的優選題目，再根據學生自薦和推薦等方式選出12名項目負責人，挑選出12個項目，組建起12支小隊。在兼顧自由組隊的前提下，為平衡試驗結果的代表性，參照組員的綜合能力評價對部分組員進行了微調，使得各組間的整體綜合實力水平較為接近。

3.2 評價標準影響大創項目選題的對比實驗

學生組隊后根據選題自行查閱文獻資料和撰寫項目申請書。申請書撰寫完畢后，我們將12個小組隨機分為傳統評價組和過程管理導向評價組（各6個組），然后由各導師組教師就各組申請書統一點評，并就項目實施過程中的評價標準和要點進行了介紹，再由各小組對原項目申請書進行修改和完善。

將兩個組的項目申請書內容進行對比分析。傳統評價組在研究內容上更偏向于對某儀器、設備、工藝或理論中的某一點進行改進設計等微創新。與修改前相比，內容上略有精簡，思路更為清晰，目標更為明確，重視研究成果，難度略有降低。整體上表現出研究視野較窄，講究“短”“平”“快”。而過程管理導向評價組則在研究內容上更傾向于對過程的探索和興趣研究，表現出較寬的研究視野,也顯得更為專業和系統性，難度有所提高。

根據上述申請書內容的變化，我們認為評價指標對項目選題有著明顯的導向性。傳統評價普遍重視結果評價，學生傾向于選擇更低難度，更多重視成果；而過程管理導向的評價引導學生更為重視訓練過程中能力培養，也容易設定更高的目標和要求，挑戰更高的難度，更易實現綜合能力的培養。經過院校兩級的項目評審，最終有9個小組（傳統組5組和過程管理評價組4組）獲得立項。

3.3 評價標準影響大創項目實際工作開展的對比實驗

各小組同學在導師組教師的指導下進行了相關課題的開展，并于2016年6月都順利通過了結題答辯。隨后，我們查閱了各小組的實驗過程筆記和項目結題報告，并訪談了部分參與試驗的項目組成員、導師、評審專家和管理人員，對項目實施過程情況進行了整理和對比分析，認為幾個方面對比較明顯，如表4。

表4 不同評價體系導向下的實驗小組項目完成情況對比

過程管理導向的大創項目評價體系更為重視過程評價，降低了結果評價權重，對項目的實施過程具有明顯的導向性，取得了較傳統評價更好的訓練效果。主要表現在：1）解決問題能力的培養上。過程管理導向的評價體系鼓勵學生積極探索，發現問題、解決問題，注重新思維的培養，富于創新。表4的數據支撐了這一觀點，過程管理組在試驗過程中遇到更多的問題，在解決問題上也表現更積極，與指導教師的溝通次數也更多，完成論文的質量更高。2）最終成果的完成質量和數量上。過程管理導向組的同學在完成過程中能更多地培養自己綜合素養，具有后發優勢得到的外界評價也更高。

4 結語

本文構建了過程管理的大創項目評價體系。該評價體系從大創項目的立項實施和結題階段分別選擇指標，利用德爾菲法賦予權重，形成由9個一級指標42個二級指標構成的過程管理評價體系。該評價體系在對比性試驗中表現出良好的導向性更優的訓練效果，管理方可以利用該評價指標體系發現項目執行過程中存在的問題，展開量化評價，分類制定結題驗收標準和獎懲等措施，并可在現有基礎上建立不同學科的評價指標體系，推進大創訓練項目的健康發展。

[1]王詠星，謝麗瓊. 指導國家大學生創新實驗計劃項目的幾點體會[J]. 實驗室科學，2012（4）：206-208.

[2]邵進，董婷，王唯.“大學生創新性實驗計劃”項目指導教師評價考核研究[J]. 高等理科教育，2013（6）：46-49，76.

[3]綦盛健，陸樹良. 大學生創新實驗中學生主體地位的思考與實踐[J]實驗技術與管理，2009（12）：29-31.

[4]王志，杜云海，劉雯雯. 從大學生創新實驗談高校實驗室建設[J]實驗室研究與探索，2013（6）：287-289.

[5]荊濤，鄭永杰，田景芝. 產學研視域下研究生創新實驗評價體系研究[J]實驗技術與管理，2014（3）：169-172.

[6]杜新強，冶雪艷. 從大學生創新實驗項目談學生創新能力的培養[J]. 黑龍江教育（高教研究與評估），2013（1）：47-48.

[7]楊建新，伍旦初，彭瑞明. 構建創新實驗的團隊評價體系[J]. 科技信息，2009（17）：77-78.

[8]李旦，趙希文，吳菊華. 以過程為導向的大學生創新性實驗計劃評價體系研究[J]. 高等工程教育研究，2010（1）：102-104.

[9]霍麗莎，張玲玲，向林那. 大學生創新創業訓練計劃項目過程管理探討[J]. 中國市場，2015（28）：142-143.

（責任編輯 查明華）

A Research on College Students’ Innovation Training Program Evaluation Based on Process Management

YU Qiushan
(School of Physics and Optoelectronic Engineering, Yangtze University, Jingzhou Hubei 434023, China)

The current evaluation system of College Students’ innovation and entrepreneurship training program is not conducive to the healthy development of the training project, such as heavy project, light process, fuzzy evaluation subject and low achievement conversion rate. In order to improve the implementation of the training program, process oriented evaluation system should be established, concluding indicators selected from initiation process, operation process and f i nal process, and weights are calculated by Delphi method. Process management and classified criteria to finish process are suggested to improve the effectiveness of College Students’ innovation and entrepreneurship training program. The results show that the evaluation index system of process management is better than the traditional evaluation system in terms of innovation personnel training and scientif i c research results.

process management; college students’ innovation and entrepreneurship training program; indicators

G647.38

A

1674 - 9200（2017）03 - 0096 - 05

2016 - 11 - 23

長江大學教學研究項目“過程導向的大學生創新創業訓練計劃評價體系研究”（ JY2014026）。

喻秋山，男，湖南寧鄉人，長江大學物理科學與光電學院講師，博士生，主要從事數據模擬與計算研究。