999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

中小學校教育數字化轉型成熟度評價指標體系構建及測度方法

2024-05-17 19:13:00許秋璇吳永和戴嶺
電化教育研究 2024年3期
關鍵詞:層次分析法

許秋璇 吳永和 戴嶺

[摘 ? 要] 教育數字化轉型測評是引領和推動學校開展數字化轉型實踐活動的必要手段,缺乏實用的評價指標體系很大程度上制約學校教育數字化轉型的持續發展。文章首先基于成熟度評價視角,采用內容分析法進行指標遴選,經過德爾菲法兩輪專家征詢修正指標,運用層次分析法確定指標權重后,構建出一套中小學校教育數字化轉型成熟度評價指標體系(包括發展規劃、基礎設施、數據治理、教育應用、發展成效5個一級指標,15個二級指標,47個觀測點)。其次,將中小學校教育數字化轉型發展劃分為初始、成長、穩健、優化和引領5個成熟度等級,并對觀測點的相應等級特征進行描述,明確評價基準。最后,從實踐應用出發,提出一種操作性較強的中小學校教育數字化轉型成熟度測度方法,以此刻畫學校教育數字化轉型發展整體水平和持續改進方向。

[關鍵詞] 教育數字化轉型; 中小學校; 成熟度評價; 指標體系; 德爾菲法; 層次分析法

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 許秋璇(1996—),女,湖北鄂州人。博士研究生,主要從事教育數字化轉型研究。E-mail:571147179@qq.com。吳永和為通訊作者,E-mail:yhwu@deit.ecnu.edu.cn。

一、引 ? 言

作為應對全球教育危機和推動教育可持續發展的重要戰略,教育數字化已成為未來教育變革的主要趨勢。2024年,全國教育工作會議提出“不斷開辟教育數字化新賽道”[1]。學校教育數字化轉型旨在實現學校治理和教育實踐的全面升級,以此推動學校向數字化、智慧化方向發展。盡管我國在數字化賦能基礎教育提質增效方面取得了階段性成效,但多數中小學校還處于數字化轉型發展的初級階段[2]。如何有效評估和推進中小學校教育數字化轉型實踐成為基礎教育數字化轉型進程中迫切需要解決的問題。

教育改革方向的把握和高質量發展目標的達成有賴于科學的教育評價導向。2020年,中共中央、國務院印發《深化新時代教育評價改革總體方案》指出,“堅持科學有效,改進結果評價,強化過程評價,探索增值評價,健全綜合評價”[3]。只有對學校教育數字化轉型過程進行科學合理的評價,才能發揮其診斷、預測和激勵等一系列功能。然而,當前缺少適合中小學校教育數字化轉型發展的相關標準和評價工具,導致學校教育數字化轉型實踐路徑模糊,一定程度上阻礙了學校教育數字化轉型升級的步伐。成熟度評價是引領和推動學校開展數字化實踐的發展性、增值性和過程性評價方式,更關注學校內涵發展。對此,構建一套適合中小學校教育數字化轉型的成熟度評價體系,有助于學校自身持續改進或第三方測評機構科學評價轉型過程,助力數字化賦能中小學校教育高質量發展。

二、學校教育數字化轉型評價研究綜述

自2022年教育部提出“實施教育數字化戰略行動”以來,我國學者對教育數字化轉型內涵進行了廣泛討論,主要有三個認識視角:(1)創變視角,認為教育數字化轉型是將數字技術整合到教育領域的各個層面,推動教育組織轉變教學范式、組織架構、教學過程、評價方式等全方位的創新與變革[4];(2)過程視角,認為教育數字化轉型是建立人、技術、教育實踐之間的整體平衡與和諧關系,實現以數字信息為基礎設施和支撐工具,面向創新人才培養的教育變化過程[5];(3)生態視角,強調教育數字化轉型不應只關注如何使用數據或技術,更重要的是打造滿足學習者個性發展需求,實現終身學習與教育優質公平發展,形成具有開放性、適應性、柔韌性、永續性的良好智慧教育新生態[6]。我們認為,轉型既是一個過程,也是一種結果,是主體主動求變,經歷長期變革,逐漸達到預期的狀態或結果。由此,教育數字化轉型是在價值愿景、技術發展和業務需求等多維因素聯合驅動下,利用數字技術、數據要素與教育系統要素的深度融合,造就教育環境、組織、流程、模式和文化等各領域的價值網絡,提升教育系統的運行活力和服務價值,以促進教育生態系統結構、功能和文化發生質的改變。

相對于其他領域數字化轉型評價的研究,國內關于教育數字化轉型評價的研究成果較少,主要集中于教育數字化轉型成熟度評估模型研究方面。例如:鐘志賢等基于國內外文獻的系統分析,提出構建我國教育數字化轉型成熟度評估模型的五大思考維度[7];祝智庭等提出了教育數字化轉型的六維成熟度模型[8];吳永和等構建了包含5個關鍵過程域、18個子關鍵域和5個成熟度等級的教育數字化轉型成熟度模型[9]。這些研究在充分借鑒其他領域數字化成熟度模型的基礎上,結合教育數字化轉型的獨特性和復雜性,分析成熟度評價用于教育數字化轉型領域的適切性,提煉出教育數字化轉型成熟度評價的主要維度,對學校教育數字化轉型測評的研究具有較高的參考價值。

學校教育數字化轉型是學校適應外部數字時代發展環境和內部創新人才培養模式發展需求的過程[10]。目前,國外圍繞學校教育數字化轉型成熟度評價的研究多集中在高等教育階段,例如:Rodríguez-Abitia和Bribiesca-Correa構建了高校數字化轉型多維整合模型[11]等。少數研究者對中小學校數字化轉型成熟度評價進行探索,例如:Ilom?覿ki和Lakkala提出了創新型數字化學校模型,并在三所基礎教育學校進行評估應用[12];Redjep等開發了用于評估中小學校數字化成熟度的框架和工具[13]。國內部分學者也逐漸關注學校教育數字化轉型的評價研究,例如:申國昌等構建了中小學數字校園管理指數評價指標體系[14];郁曉華等構建了教育數字化轉型下的學校CIO能力體系[15]。這些研究主要聚焦于學校數字化轉型派生的分支要素設計評價指標體系,未能完整細致地刻畫出學校教育數字化轉型發展過程的全貌,并且缺乏具有較強實踐指導性和可操作性的測度方法。

綜上所述,學校作為教育數字化轉型實踐的主陣地,是我國教育數字化戰略行動實施的重要主體。深入探索學校教育數字化轉型評價的新構念、新工具和新方法,對于明確學校數字化轉型目標規劃,判定轉型發展水平,評估發展成效,進而提出優化改進路徑具有實踐價值。鑒于成熟度評價優勢以及我國基礎教育領域缺乏學校數字化轉型成熟度評價工具的現實訴求,本研究試圖研制一套適合中小學校教育數字化轉型成熟度評價的指標體系和具體測度方法,引導我國中小學校教育數字化轉型朝著良性、有序方向發展。

三、中小學校教育數字化轉型成熟度評價指標

體系構建

中小學校教育數字化轉型評價是深化新時代教育評價改革的迫切需求,關鍵在于學校教育結果評價、過程評價、增值評價、綜合評價等全方位的突破性、全局性創新,實現學校教育體系的時代變革[16]。研究依據導向性、發展性、普適性、系統性和可行性等構建原則,以優化學校內部治理、促進學校教育高質量發展為價值取向,研制中小學校教育數字化轉型評價指標體系。

(一)評價指標體系的設計

1. 評價指標體系的構建原則

本研究在指標選取的過程中,主要遵循以下基本原則:(1)導向性原則,構建中小學校教育數字化轉型成熟度評價指標體系要始終緊扣國家教育數字化戰略,結合學校發展現實條件,以提高育人質量(優質)、促進學校優質資源共享(公平)和實現學校治理現代化(高效)為價值導向[17];(2)發展性原則,教育數字化轉型是一個動態發展、持續進化的過程,指標選取時應兼顧靜態指標與動態指標相結合,利用靜態指標反映學校教育數字化發展的現狀,同時利用動態指標預測學校教育數字化轉型的發展趨勢和潛力;(3)普適性原則,各評價指標及觀測點應在各級各類學校之間具有普遍適用性,以方便對評價數據進行差異性分析;(4)系統性原則,指標體系應能統籌學校教育創新系統中各個主體與相關要素,盡可能全面地揭示中小學校教育數字化轉型的全貌;(5)可行性原則,指標選取應考慮數據采集的難易程度及指標量化的可操作性,以確保測評過程的可實施性和測評結果的科學有效。

2. 評價指標體系的制定依據

本研究指標體系的初步制定主要從兩方面尋找理論依據和要素來源:一是國家政策文件中與教育數字化轉型相關的內容;二是學校教育數字化轉型微觀要素的相關評價研究論文。通過內容分析法梳理相關政策文件和核心論文,見表1,發現其主要涵蓋發展規劃、基礎設施、數據治理、教育應用、發展成效等要素,這為確定中小學校教育數字化轉型成熟度評價指標體系結構奠定了基礎。

3. 評價指標體系結構的設計

本研究采用一級指標、二級指標及觀測點的層次結構。以“技術賦能、數據驅動、業務為核、以人為本”為構建理念,結合國家政策文件和相關核心文獻分析結果,初步擬定“發展規劃、基礎設施、數據治理、教育應用、發展成效”作為一級指標。發展規劃是指保障學校教育數字化落地實施的目標、原則、機制和文化等;基礎設施是以5G、人工智能、大數據、云計算、區塊鏈等為技術條件,以數據為驅動要素,面向教育高質量發展的新型基礎設施體系;數據治理是指通過提升學校數據采集的意識、加強伴隨式數據采集,并為教師、學生和管理者提供數據安全專題課程和培訓,以推進學校數據服務精準化、個性化的過程;教育應用是指以新興數字技術為基礎,積極探索教育資源、教學、評價和教研模式變革;發展成效是指對師生數字素養和學校整體發展所作的發展性評價。

本研究采用訪談的方式來提煉二級指標和觀測點。研究圍繞“中小學校教育數字化轉型的實踐問題和應對策略有哪些?”這一核心問題,設計訪談提綱,通過目的抽樣的原則,選取上海市中小學教育數字化特色學校的校長、學科骨干教師、信息化管理人員開展半結構化訪談,深度挖掘學校對教育數字化轉型能力提升的潛在需求點,以此確定二級指標和觀測點。最后,研究初步設計了包括5個一級指標、15個二級指標、49個觀測點的中小學校教育數字化轉型成熟度評價指標體系。

(二)評價指標體系的修正

為驗證評價指標體系的科學性和可用性,本研究編制了中小學校教育數字化轉型成熟度評價指標體系專家意見征詢問卷,選取20位教育數字化轉型研究專家,采用發送郵件的方式進行。意見征詢的專家分為兩類:高校和科研機構的學者,從理論研究的視角修訂評價指標體系;中小學教育工作者,從學校治理和教學應用的視角修訂評價指標體系。專家意見征詢數據分析的統計指標包括專家權威系數、平均值、標準差和變異系數。經過兩輪(其中,第一輪收回有效問卷18份,包括高校和科研機構學者8人,中小學教育工作者10人;第二輪收回有效問卷15份,包括高校和科研機構學者5人,中小學教育工作者10人)指標修訂,指標項平均值逐漸變大,變異系數逐漸縮小,表明專家意見分歧大幅減少,指標設計的科學性和合理性獲得較高認同,見表2。

1. 第一輪專家意見征詢

研究采用專家權威程度系數Cr對專家評分的可靠性進行分析,當Cr>0.7時,說明信度較高。本研究Cr=0.86(Cr>0.7),表明第一輪專家征詢結果的可信度較高。根據反饋意見,研究對各維度設置、指標命名及描述進行優化,具體修改情況為:(1)優化指標結構,如將“C2工作要求”改為“行動計劃”,在“B2機制保障”下增設“C5組織領導”觀測點及描述,刪除“B16能力建設”及下屬觀測點;(2)提升指標表述的準確性,如將“C15智能創客實訓基地”改為“數字化專用教室”,“C18區校聯通”改為“資源供給”,“C21數據格式”改為“采集規范”,“C35學習輔導”改為“作業輔導”;(3)調整指標順序,如將“C13教師素養”與“C14學生素養”調換位置,突出學生發展的重要性。

2. 第二輪專家意見征詢

第二輪專家意見征詢主要集中在觀測點方面,建議指標表述更加清晰準確,避免指標之間的交叉重復。主要修改內容如下:(1)提升指標間的區分度,如將“B10資源應用”下的觀測點“C27資源管理”“C28資源推薦”“C29資源共享”重新整合與劃分,改為“C28資源利用”和“C29資源加工”;(2)提升指標表述的準確性,如將“C32精準教研”改為“智能評價”,將“C33資源推送”改為“資源支持”,將“C34智能診斷”改為“個別指導”;(3)調整指標順序,如將“C43數字社會責任”與“C44專業發展”調換位置,突出教師專業發展的重要性。經過兩輪專家咨詢后,本研究最終構建出包含5個一級指標、15個二級指標、47個觀測點的中小學校教育數字化轉型成熟度評價指標體系,見表3。

(三)評價指標權重的確定

本研究采用層次分析法(AHP)來計算各級指標的權重值。首先,采用經典的Saaty九級標度法構建判斷矩陣。本研究邀請9位全程參與過指標修訂的專家進行群決策,專家們對每一層次評價指標的相對重要性進行兩兩比較,對應指標體系分別建立1、5、15個判斷矩陣。其次,采用一致性比率法對判斷矩陣進行一致性檢驗。研究利用Yaahp軟件進行層次單排序和層次總排序的一致性檢驗。其中,層次單排序的結果顯示,3位專家的少數判斷矩陣未能滿足統計要求,故需通過“標記修正”功能進一步自動調整判斷矩陣;層次總排序的結果顯示,9位專家的數據結果均符合一致性比率CR<0.1的統計標準,說明專家判斷結果可信有效。最后,采用計算結果集結方式確定評價指標的權重。所有判斷矩陣經Yaahp軟件全部通過一致信檢驗后,計算各專家判斷矩陣得到排序權重均值,獲得最終的各項權重值,見表3。

四、中小學校教育數字化轉型成熟度測度方法

學校數字化轉型成熟度是一個具有診斷性、引導性和激勵性的測量工具,通過成熟度等級的劃分可以幫助學校明確目標愿景、定位現狀水平、發現潛在問題和制定發展策略。成熟度等級是依據學校在開展數字化轉型過程中的組織管理、實施流程、規范標準、持續優化、變革創新等綜合程度進行劃分的,不同等級之間具有由低到高逐漸遞進的迭代發展關系。

(一)成熟度等級設計

成熟度等級能夠綜合反映學校數字化轉型的演進過程。一方面,有助于評估學校數字化發展的現狀,發現與預期轉型目標之間的差距,及時發現問題和明確重點發展領域,制定后續改進的對策。另一方面,有助于學校之間的橫向評估,促進學校之間的聯動發展,幫助管理者對所轄學校數字化轉型能力進行科學判斷,進而制定相應的政策或標準,實現區域教育數字化轉型能力的整體提升。目前,數字化轉型領域的成熟度評估大多參照能力成熟度模型(CMM),該模型將成熟度等級劃分為“初始級、可重復級、已定義級、已管理級和優化級”5個級別[23]。本研究借鑒能力成熟度模型的發展等級及其行為特征,結合團隊前期關于教育數字化轉型成熟度評估模型研究和試點實踐學校數字化發展特點,將中小學校教育數字化轉型成熟度等級劃分為“初始級、成長級、穩健級、優化級和引領級”5個級別,各等級總特征及描述如圖1所示。

圖 1 ? 中小學校教育數字化轉型成熟度等級

學校教育數字化轉型成熟度等級依據“A1發展規劃、A2基礎設施、A3數據治理、A4教育應用、A5發展成效”5個維度的成熟度等級加權衡量,每個維度下設二級指標,每個二級指標下設若干觀測點,并對每個觀測點對應的成熟度等級進行描述,依次遞進細化,從而可以具體量化某所學校的數字化轉型成熟度水平和發展能力。以“A4教育應用”維度下二級指標“B11教學創新”觀測點的成熟度等級描述為例,見表4。具體測度時,每個觀測點在實際測評時可以對應一個問題(有時也可采用多個具體問題來加權評測某一觀測點),每個問題的選項則反映觀測點所對應的成熟度等級。

(二)成熟度等級測度方法

結合中小學校教育數字化轉型評價指標體系和成熟等級設計,研究采用成熟度測量常用的5分制賦分法,1-5分別對應5個成熟度等級,依次通過觀測點賦值、加權計算各層級指標成熟度等級分值的方式,最終確定學校數字化轉型成熟度等級水平。具體方法如下:

(1)對某一觀測點進行成熟度等級賦值。依據觀測點對應成熟度等級特征描述,對某一觀測點賦予1、2、3、4、5數值,數值越高,對應成熟度水平級別越高。如觀測者判斷表4中觀測點C30處于成長級,則對其賦值2。

(2)計算二級指標的成熟度等級分值。根據觀測點成熟度等級得分,通過加權求和計算二級指標成熟度等級分值,見式(1):

式中,Bk為某單項二級指標k的成熟度等級得分,m為某單項二級指標下的觀測點數量,C為觀測點成熟度等級賦值,γ為觀測點對應權重值。

(3)計算一級指標的成熟度等級分值。根據二級指標成熟度等級得分,通過加權求和計算一級指標成熟度等級得分,見式(2):

式中,Aj為某單項一級指標j的成熟度等級得分,n為某單項一級指標下的二級指標數量,?茁為二級指標對應權重值。

(4)計算學校教育數字化轉型成熟度等級分值。根據一級指標成熟度等級得分,通過加權求和計算某一所學校教育數字化轉型成熟度等級得分,見式(3):

式中,D為某一學校教育數字化轉型成熟度等級得分,成熟度指標體系由5個一級指標構成,α為一級指標對應權重值。

綜上所述,采用多目標線性加權函數法,得到學校教育數字化轉型成熟度等級測度評價函數,見式(4):

最后,依據中小學校教育數字化轉型成熟度等級評判參考,見表5,判定某一所學校數字化轉型成熟度等級。

五、結 ? 語

學校教育數字化轉型是學校主動適應數字技術革命與教育發展趨勢的必然選擇。本研究基于成熟度評價視角,構建出帶有權重的中小學校教育數字化轉型評價指標體系,提出了學校數字化轉型成熟度評價的測度方法,使其具有更強的實踐指導性。本研究成果可為學校評判教育數字化轉型發展水平提供測評工具,對學校整體推進教育數字化轉型落地具有重要的實踐價值。后續將組織試點學校進行教育數字化轉型成熟度測評的實證檢驗。學校應基于自身特色與目標,根據具體實踐境域對評價指標體系進行適度調整,形成適合于本校數字化轉型的成熟度評價指標體系,才能助推學校教育數字化轉型的持續發展。

[參考文獻]

[1] 中華人民共和國教育部.2024年全國教育工作會議召開[EB/OL].(2024-01-11)[2024-01-20].http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202401/t20240111_1099814.html.

[2] 吳永和,許秋璇,顏歡,鄭浩.數字化賦能未來教育開放、包容與高質量發展[J].開放教育研究,2023,29(3):104-113.

[3] 中共中央,國務院.中共中央 國務院印發《深化新時代教育評價改革總體方案》[EB/OL].(2020-10-13)[2023-11-30].https://www.gov.cn/gongbao/content/2020/content_5554488.htm?ivk_sa=1024320u.

[4] 祝智庭,胡姣.教育數字化轉型的實踐邏輯與發展機遇[J].電化教育研究,2022,43(1):5-15.

[5] 余勝泉.教育數字化轉型的層次[J].中國電化教育,2023,433(2):55-59.

[6] 戴嶺,祝智庭.教育數字化轉型的邏輯起點、目標指向和行動路徑[J].中國教育學刊,2023(7):14-20.

[7] 鐘志賢,盧洪艷,張義,易凱諭,石曉芬.教育數字化轉型成熟度模型研究——基于國內外文獻的系統性分析[J].電化教育研究,2023,44(6):29-37.

[8] 祝智庭,孫夢,袁莉.讓理念照進現實:教育數字化轉型框架設計及成熟度模型構建[J].現代遠程教育研究,2022,34(6):3-11.

[9] 吳永和,許秋璇,王珠珠.教育數字化轉型成熟度模型研究[J].華東師范大學學報(教育科學版),2023,41(3):25-35.

[10] 余勝泉.教育數字化轉型的關鍵路徑[J].華東師范大學學報(教育科學版),2023,41(3):62-71.

[11] RODR?魱GUEZ-ABITIA G, BRIBIESCA-CORREA G. Assessing digital transformation in universities[J]. Future internet, 2021,13(2):52.

[12] ILOM?魧KI L, LAKKALA M. Digital technology and practices for school improvement: innovative digital school model[J]. Research and practice in technology enhanced learning, 2018,13:1-32.

[13] REDJEP N B, BALABAN I, ZUGEC B. Assessing digital maturity of schools: framework and instrument[J]. Technology, pedagogy and education, 2021,30(5):643-658.

[14] 申國昌,陳曉宇.中小學數字校園管理指數評價指標體系研究[J].電化教育研究,2020,41(10):94-98.

[15] 郁曉華,王津鈺.量子領導者:教育數字化轉型下學校CIO的能力轉變[J].遠程教育雜志,2023,41(3):55-64.

[16] 吳龍凱,程浩,張珊,等.智能技術賦能教育評價的時代內涵、倫理困境及對策研究[J].電化教育研究,2023,44(9):19-25.

[17] 李永智,秦琳,康建朝,等.數字教育賦能教育強國的國際觀察[J].電化教育研究,2023,44(11):12-20.

[18] 李璐,王運武.高校智慧校園評價指標體系研究[J].現代教育技術,2020,30(5):87-93.

[19] 杜巖巖,黃慶雙.何以提升中小學教師數字素養——基于X省和Y省中小學教師調查數據的實證研究[J].教育研究與實驗,2021(4):62-69.

[20] 黃艷,周洪宇,郝曉雯,劉軍.教育強國視角下智慧校園建設評價指標體系研究[J].現代教育管理,2021(4):75-82.

[21] 張立明,景麗英,趙亮.指向2035:中小學校教育現代化評價指標體系的基本架構[J].教育科學研究,2022(10):44-50.

[22] 張立國,周釜宇,梁凱華,康曉宇.面向教育新基建的中小學校長信息化領導力評價量表設計[J].中國遠程教育,2023,43(3):64-72.

[23] 卡耐基梅隆大學軟件工程研究所.能力成熟度模型CMM軟件過程改進指南[M].劉孟仁,等譯.北京:電子工業出版社,2001:2-20.

Construction and Measurement Method of Evaluation Indicator System for the Maturity of Digital Transformation in Education in Primary and Secondary Schools

XU Qiuxuan1, ?WU Yonghe1, ?DAI Ling2

(1.Department of Education Information Technology, East China Normal University, Shanghai 200062;

2.Faculty of Education, East China Normal University, Shanghai 200062)

[Abstract] The evaluation of digital transformation in education is a necessary means to lead and promote schools to carry out digital transformation practice activities, and the lack of practical evaluation indicator system largely restricts the sustainable development of digital transformation in education in schools. From the perspective of maturity evaluation, this paper firstly selects indicators by means of content analysis method, revises the indicators after two rounds of expert consultation with the Delphi method, and determines the weights of the indicators by applying the hierarchical analysis method, then constructs an evaluation indicator system for the maturity of digital transformation in education in primary and secondary schools (including 5 first-level indicators of development planning, infrastructure, data governance, education application and development effectiveness, 15 secondary-level indicators, 47 observation points). Secondly, the development of digital transformation in education in primary and secondary schools is divided into five maturity levels, namely the initial, the growth, the robustness, the optimization and leading, and the corresponding characteristics of the observation points are described to clarify the evaluation benchmarks. Finally, from the perspective of practical application, a maturity measurement method for digital transformation in education in primary and secondary schools is proposed as a means of portraying the overall level of the development and the direction of continuous improvement of digital transformation in education in schools.

[Keywords] Digital Transformation in Education; Primary and Secondary Schools; Maturity Evaluation; Indicator System; Delphi Method; Hierarchical Analysis Method

猜你喜歡
層次分析法
基于AHP和因果分析法的引水工程渠道質量問題分析
價值工程(2016年31期)2016-12-03 23:13:03
基于模糊層次分析法的公路橋梁施工安全風險評價研究
中國市場(2016年41期)2016-11-28 05:25:17
乳制品品牌顧客滿意度測評指標體系研究
中國市場(2016年40期)2016-11-28 03:26:35
石家莊縣域特色產業集群綜合評價研究
通用航空維修保障能力的評估體系研究
微電子科學與工程專業評價指標體系研究
大學教育(2016年11期)2016-11-16 20:27:55
基于AHP—GRA的工程施工項目進度風險管理研究
價值工程(2016年29期)2016-11-14 01:02:43
淺談基于層次分析法的變電站安全風險管理研究
關于三江源生態移民創業能力評價指標體系構建的研究
基層社會管理關鍵績效指標體系構建研究
中國市場(2016年35期)2016-10-19 02:03:21
主站蜘蛛池模板: 高清大学生毛片一级| 亚洲性视频网站| 国产成在线观看免费视频| 亚洲中文字幕在线精品一区| 无码国产偷倩在线播放老年人 | 不卡色老大久久综合网| 69国产精品视频免费| 亚洲日本一本dvd高清| 国产精品极品美女自在线看免费一区二区 | 国产精品亚洲αv天堂无码| 精品少妇人妻一区二区| 女人18一级毛片免费观看 | 欧美色综合网站| 国产一区二区三区日韩精品| 国产精品分类视频分类一区| 91麻豆精品视频| 欧美日韩91| 国产成人高清在线精品| 99视频精品在线观看| 国产精品自在自线免费观看| 国产高清国内精品福利| 日韩a级片视频| 国产精品久久自在自线观看| 91麻豆国产视频| 亚洲男人天堂2020| 色综合久久无码网| 无码日韩视频| 国产在线观看精品| 国产成在线观看免费视频| 3344在线观看无码| 婷婷六月色| 天天操精品| 久久精品嫩草研究院| 成人国产免费| 999精品在线视频| 国产女同自拍视频| 国产屁屁影院| 欧美a√在线| 久久黄色一级视频| 成人噜噜噜视频在线观看| 91欧美亚洲国产五月天| 亚洲无限乱码| 98精品全国免费观看视频| 国产色婷婷| 精品国产自在在线在线观看| 国产特级毛片| 国产精品蜜芽在线观看| 在线观看国产精品日本不卡网| 欧美成一级| 亚洲中字无码AV电影在线观看| 亚洲中文无码av永久伊人| 久久久久亚洲Av片无码观看| 亚洲黄色高清| 国产精品性| 色综合久久久久8天国| 在线免费a视频| 91偷拍一区| 午夜视频免费一区二区在线看| 国产在线精品人成导航| 欧美第一页在线| 热这里只有精品国产热门精品| 欧美成人国产| 久久美女精品| 国产精品浪潮Av| 婷婷色一区二区三区| 亚洲一区国色天香| 怡春院欧美一区二区三区免费| a在线亚洲男人的天堂试看| 91区国产福利在线观看午夜| 亚洲高清中文字幕| 国产精品一老牛影视频| 欧美天堂久久| 美女免费黄网站| 91无码视频在线观看| 九九视频免费看| 午夜欧美理论2019理论| 日韩午夜片| 黄色片中文字幕| 免费观看无遮挡www的小视频| 婷婷综合亚洲| 狠狠色成人综合首页| 欧美日韩亚洲国产主播第一区|