張琪 王丹
【摘要】??? 教育評價事關(guān)教育綜合質(zhì)量提升與教育供給側(cè)改革進程。智能時代的教育評價需要與時俱進,利用教育大數(shù)據(jù)與智能技術(shù)“精準(zhǔn)識材”,改變以往評價體系標(biāo)準(zhǔn)單一、手段趨同等弊端。本文聚焦學(xué)習(xí)為主體的“全人”評價,著眼智能時代對人才的需求,圍繞學(xué)習(xí)方式的變化、學(xué)習(xí)結(jié)果的多維尺度等對教育評價轉(zhuǎn)型展開闡釋,在分析“評價識材”與“因材施教”辯證關(guān)系的基礎(chǔ)上,探討了“識材”—“施教”—“發(fā)展”的路徑。從學(xué)習(xí)投入評測、人格特質(zhì)識別、創(chuàng)新能力評測、表達能力評估等維度剖析了智能技術(shù)賦能教育評價的作用點。智能技術(shù)賦能新時代教育評價改革,需遵循教育的基本規(guī)律,將教育場景與計算機技術(shù)有機結(jié)合,共同建立“人機協(xié)同”的標(biāo)注與計算方式,關(guān)注實際環(huán)境中數(shù)據(jù)模型的通用性與遷移能力,形成有效的評估方法與干預(yù)機制,以實現(xiàn)學(xué)習(xí)者個體價值回歸與主體價值增值。
【關(guān)鍵詞】? 新時代;智能技術(shù);教育評價;因材施教;精準(zhǔn)識材;場景計算;建模方法
【中圖分類號】? ?G420? ? ? ? ?【文獻標(biāo)識碼】? A? ? ? ?【文章編號】? 1009-458x(2021)2-0009-08
在新一輪科技革命風(fēng)起云涌、全球經(jīng)歷百年未有之大變局的歷史節(jié)點,黨的十九屆五中全會確立了構(gòu)建高質(zhì)量教育體系、保證人民群眾享有更加公平與優(yōu)質(zhì)教育的目標(biāo)。教育評價作為教育改革的“牛鼻子”“指揮棒”,事關(guān)教育改革導(dǎo)向,決定教育實踐的落實以及現(xiàn)代教育治理的水平。深化教育領(lǐng)域綜合改革,“要抓好深化新時代教育評價改革總體方案出臺和落實落地,構(gòu)建符合中國實際、具有世界水平的評價體系”(新華網(wǎng), 2020)。《深化新時代教育評價改革總體方案》旨在全面落實2020年全國教育工作會議以及黨的十九屆五中全會等精神,以評促改,實現(xiàn)改革與育人深度融合、有效聯(lián)動。
教育評價是對教育相關(guān)數(shù)據(jù)與信息進行系統(tǒng)、科學(xué)與全面的價值判斷,是一項廣泛性、艱巨性、實踐性難題。在教育智能時代,以智能技術(shù)促進學(xué)習(xí)方式和教學(xué)方式的變革,培養(yǎng)適應(yīng)未來教育的創(chuàng)新人才,正成為教育面臨的重大課題,數(shù)據(jù)驅(qū)動教與學(xué)正成為新教育體系區(qū)別于傳統(tǒng)教育的核心特征(中國教育和科研計算機網(wǎng), 2020)。“互聯(lián)網(wǎng)+環(huán)境”可以方便地獲取學(xué)習(xí)者的全維行為特征與過程性學(xué)習(xí)數(shù)據(jù),使研究者首次可以運用科學(xué)的分析技術(shù),精確理解和系統(tǒng)分析學(xué)習(xí)者的學(xué)習(xí)規(guī)律(陳麗, 等, 2019)。學(xué)習(xí)過程的數(shù)據(jù)化為精準(zhǔn)施教提供了有力支持,智能時代的評價需要蛻舊變新、與時俱進,以有效支撐教育的供給側(cè)改革。利用教育大數(shù)據(jù)與智能技術(shù)“精準(zhǔn)識材”,以及在此基礎(chǔ)上的因材施教能夠改變以往評價體系標(biāo)準(zhǔn)單一、個性化缺失、手段趨同等弊端,有助于聚焦以“過程、能力、增值”為特征的綜合性評價,實現(xiàn)“五育”并舉的核心素養(yǎng)教育,從而回應(yīng)新時代教育對創(chuàng)新人才培養(yǎng)的重大關(guān)切。《深化新時代教育評價改革總體方案》的出臺為構(gòu)建科學(xué)教育評價體系指明了方向,是對未來教育發(fā)展趨勢的有力回應(yīng)。
一、智能時代教育評價的意蘊
《深化新時代教育評價改革總體方案》針對我國教育發(fā)展的新態(tài)勢,在系統(tǒng)部署教育評價框架的基礎(chǔ)上勾勒出5個維度共計22項具體任務(wù),指明了落實教育評價改革的創(chuàng)新路徑,提出“改進結(jié)果評價、強化過程評價、探索增值評價、健全綜合評價”的具體評價原則(國務(wù)院, 2020)。上述“四個評價”在尊重教與學(xué)規(guī)律以及學(xué)習(xí)者成長規(guī)律的基礎(chǔ)上,強調(diào)評價的診斷性、調(diào)節(jié)性、導(dǎo)向性和多元性特征,有利于打破“以成績定標(biāo)簽”的固化方式,從而更為全面地考察立德樹人工作的成效,對于構(gòu)建符合新時代中國特色的評價體系,全面實現(xiàn)教育現(xiàn)代化,構(gòu)筑人民滿意的教育體系,具有深遠影響。
(一)智能時代對人才的需求
從學(xué)習(xí)者發(fā)展的視角來看,以傳統(tǒng)的流水線為重要特征的工業(yè)時代孕育出以教師為中心的教育,雖實現(xiàn)了教育的規(guī)模化,但“標(biāo)準(zhǔn)化”和“同質(zhì)化”特征明顯。創(chuàng)新的國家需要創(chuàng)新的人才,創(chuàng)新的人才需要創(chuàng)新的教育。“個性化”成為信息時代的主要特征(黃榮懷, 等, 2017)。信息時代需要大批的創(chuàng)新人才,創(chuàng)新人才的培養(yǎng)絕不是生產(chǎn)線上同質(zhì)化的知識復(fù)制,其培養(yǎng)取決于個性評價基礎(chǔ)上的因材施教。這需要重塑教育,讓學(xué)習(xí)者能從容應(yīng)對各種不確定性和挑戰(zhàn),確保公平和全納的受教機會;需要從傳統(tǒng)的側(cè)重內(nèi)容和培訓(xùn)的教學(xué)流程,轉(zhuǎn)移到為學(xué)習(xí)者提供更合適的學(xué)習(xí)服務(wù),以及對學(xué)習(xí)者所需知識的再認(rèn)識、再評價和再創(chuàng)造;需要從工業(yè)時代“流水化”“程式化”的教學(xué)轉(zhuǎn)向以個性化、數(shù)字化、聯(lián)通化為特征的技術(shù)驅(qū)動與思維整合的教學(xué)。通過多維數(shù)據(jù)記錄學(xué)習(xí)者成長歷程,建立數(shù)字綜合畫像,可以幫助師生從重復(fù)的工作中解放出來,使教學(xué)更具有效性和創(chuàng)造力。需要重視的是,智能教學(xué)支持與服務(wù)不能重蹈行為主義或分?jǐn)?shù)本位的“錯題強化、分?jǐn)?shù)導(dǎo)向、題目灌輸、糖衣新裝”覆轍,應(yīng)重點審視學(xué)習(xí)者的能力水平、多元智能、認(rèn)知頻譜、情感狀態(tài)、個性特征等問題,圍繞信息時代教育改革目標(biāo),對自然語言理解、多維指標(biāo)凝聚、通用視覺信息檢索、情感話題分析、腦神經(jīng)映射機制、復(fù)雜計算模型等展開深入研究,建立教育學(xué)、神經(jīng)科學(xué)、人工智能等學(xué)科的研究共同體。
(二)學(xué)習(xí)方式的變化
教育研究者與實踐者應(yīng)重新理解學(xué)習(xí)者,對“學(xué)習(xí)者是誰”這個問題做出深刻的回應(yīng)。當(dāng)今的青少年學(xué)習(xí)者,作為數(shù)字土著一代的“新群體”,讓教育實踐感受到與之前群體不同的鮮明個性。數(shù)字土著一代生活在大數(shù)據(jù)時代,接受信息能力強,社交媒體承載了他們大部分的喜怒哀樂,形成正確思考方式的難度更大。在數(shù)字時代來臨之前,閱讀對學(xué)習(xí)者三觀的形成有很大的影響,當(dāng)前的數(shù)字閱讀多為碎片化閱讀,網(wǎng)絡(luò)意見領(lǐng)袖呈現(xiàn)低齡化特征。教師常常感到對新一代學(xué)習(xí)者群體難以了解,認(rèn)為有效溝通困難。構(gòu)筑適合數(shù)字土著的新教育模式需要了解學(xué)習(xí)者的思維特征與學(xué)習(xí)方式,需要從傳統(tǒng)的側(cè)重內(nèi)容和培訓(xùn)的教學(xué),轉(zhuǎn)移到關(guān)注“非良構(gòu)”領(lǐng)域知識的考核與有效評價,需要重新理解學(xué)習(xí)環(huán)境,將學(xué)習(xí)視為“統(tǒng)一的連續(xù)體”,提高評估的有效性、及時性和公平性。例如,在此次疫情期間的“大規(guī)模停課不停學(xué)”,相對于被廣泛關(guān)注的硬件條件與課程內(nèi)容設(shè)計,學(xué)習(xí)者的主動學(xué)習(xí)能力還沒有得到充分重視,學(xué)習(xí)者傾向的學(xué)習(xí)方式與身處的學(xué)習(xí)環(huán)境之間依然存在較大的差異,這些都限制了教師對學(xué)習(xí)者的針對性指導(dǎo)。智能時代的教育評價需要進一步了解學(xué)習(xí)者的學(xué)習(xí)方式和個性特征如何根據(jù)場景改變,學(xué)習(xí)者的畫像是否能夠?qū)崟r、精準(zhǔn)、客觀地表征學(xué)習(xí)狀態(tài)。
(三)學(xué)習(xí)結(jié)果的多維尺度
學(xué)習(xí)結(jié)果是學(xué)習(xí)者為滿足教學(xué)需求而產(chǎn)生的一系列活動,是學(xué)習(xí)者通過努力獲得的行為與能力的綜合。學(xué)習(xí)方式的差異和學(xué)習(xí)結(jié)果的多維尺度必然要求評價方式的多維變化。傳統(tǒng)評價觀以結(jié)果為唯一依據(jù),過度強化結(jié)果在評價中的主導(dǎo)地位,帶有濃郁的分?jǐn)?shù)至上色彩,進一步導(dǎo)致了重結(jié)果、輕過程的不良后果,甚至以單一成績劃定教育乾坤。分?jǐn)?shù)作為機械的數(shù)字符號背后理應(yīng)有更為豐富的意蘊,需要更為深入、多視角、多向度地辯證看待。眾所周知,學(xué)習(xí)的結(jié)果是多重努力共同參與的過程,是情商、智商、志商、語商等多因素融入和整合的顯現(xiàn),是與學(xué)習(xí)者成長相伴的一部分。學(xué)習(xí)者的學(xué)習(xí)不僅源自心智活動,更取決于情感凝聚的熱切度和專注度,取決于意志力、自我調(diào)控度與持久度,取決于語商表達的確切度和精彩度。數(shù)字符號不是優(yōu)差中劣的唯一表征,教育評價也不能僅止步于單一維度,還要科學(xué)地評價學(xué)習(xí)者的綜合素質(zhì)、情感態(tài)度、心理韌性、批判能力等,尤其應(yīng)對學(xué)習(xí)者生命成長過程中非智力因素與精神力量給予特別的關(guān)注。
《深化新時代教育評價改革總體方案》的頒布釋放了一個強烈的信號,即學(xué)習(xí)者的發(fā)展具有鮮明特點,應(yīng)給予高度的尊重。學(xué)習(xí)者作為學(xué)校教育流水線上的“標(biāo)準(zhǔn)件”時代已成過去。在未來的教育中,學(xué)習(xí)者必將作為栩栩如生、獨特內(nèi)涵和鮮明個體的人參與社會實踐。學(xué)習(xí)者的成長,縱向而言具有過程性與發(fā)展性,就其生命呈現(xiàn)的狀態(tài)而言有水面之上的顯性品質(zhì)與冰山之下的隱性品質(zhì)。生命的獨特性需要我們突破種種固化評價標(biāo)準(zhǔn),運用更加富有前瞻性的評價方式予以評價。新時代的教育要完善立體刻畫、行之有效的評價標(biāo)準(zhǔn),構(gòu)建意蘊豐富與探索精神的評價體系,使之與學(xué)習(xí)者的生命成長匹配,與生命發(fā)展同步,與多樣化實踐活動呼應(yīng),與教育改革開放的遠景目標(biāo)共振,與教學(xué)實踐樣態(tài)趨同。
二、智能時代“評價識材”與“因材施教”的關(guān)系
智能時代的教育需要適應(yīng)未來的評價,只有在兩者的良性互動中新時代的教育與評價才能相互呼應(yīng)、步入更高的境界。當(dāng)前,我國教育改革與發(fā)展正處于過去與未來交會的關(guān)鍵節(jié)點,通過擴大優(yōu)質(zhì)教育規(guī)模以滿足人民對高質(zhì)量教育的迫切需求,這種方式已經(jīng)接近現(xiàn)有潛力的極限。在我國即將實現(xiàn)第一個百年目標(biāo)之際,全面建成小康社會、全面建設(shè)社會主義現(xiàn)代化強國,對培養(yǎng)多樣化創(chuàng)新人才、保證教育公平、提高教育質(zhì)量提出了更高的要求。隨著教育信息科學(xué)的發(fā)展,以數(shù)據(jù)驅(qū)動與精準(zhǔn)教學(xué)為特征的智能教育提供了規(guī)模化的個性化教育方法,情境感知的無縫學(xué)習(xí)、自適應(yīng)個性化學(xué)習(xí)開始步入常態(tài),為同時實現(xiàn)規(guī)模化教育和個性化培養(yǎng)提供了可能。《深化新時代教育評價改革總體方案》提出堅持“科學(xué)改”的原則,要求借鑒國際先進的教育評價理念,充分利用信息技術(shù),提高教育評價的科學(xué)性、專業(yè)性、客觀性,推動科學(xué)、有效地解決問題。利用智能技術(shù)助力教育綜合評測,推動教育質(zhì)量提升進而推動教育現(xiàn)代化已成為共識。
智能技術(shù)賦能“評價識材”需要厘清“評價識材”與“因材施教”的辯證關(guān)系。在我國有關(guān)教育的格言與典籍中,孔子提出的“有教無類”和“因材施教”無疑最具光芒與生命力。“因材施教”的“材”是指學(xué)習(xí)者個體的認(rèn)知水平、情感態(tài)度、學(xué)習(xí)能力以及自身素質(zhì)。生理因素、成長環(huán)境、生活閱歷與知識背景等的差異形成了學(xué)習(xí)者鮮明的個性特征。而由于“個性”與“能力”的表征維度太多,測量困難且難以常態(tài)化實施,因此在“以規(guī)模減少成本”為趨向的班級授課制中“大規(guī)模”與“個性化”的矛盾難以調(diào)和。讓每位學(xué)習(xí)者在學(xué)校里接受計劃性、系統(tǒng)性指導(dǎo)的同時,為學(xué)習(xí)者提供適合每個人的教學(xué)方法,一直是教育研究者與實踐者的教學(xué)追求。新千年以來,我國陸續(xù)發(fā)布了新時代的重大教育政策,其中,《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》、《中國教育現(xiàn)代化2035》、2020年全國教育工作會議以及此次的《深化新時代教育評價改革總體方案》都強調(diào)要突出因材施教的價值。評價識材,是因材施教的前提。我國正在實施的新高考改革方案更加強調(diào)“服務(wù)選材與立德樹人”,強調(diào)考察核心價值與綜合能力,關(guān)注學(xué)習(xí)者基礎(chǔ)性、應(yīng)用性、綜合性與創(chuàng)新性能力(馮成火, 2020),學(xué)習(xí)者的個人意志和綜合能力,以及個人興趣和特長,都將成為評價識材的重要組成部分。《深化新時代教育評價改革總體方案》聚焦核心素養(yǎng),從學(xué)科知識考查轉(zhuǎn)向素養(yǎng)評測,注重考察學(xué)習(xí)者發(fā)現(xiàn)問題、分析問題并加以解決的能力,這為教育技術(shù)研究提出了現(xiàn)實課題。未來應(yīng)重點關(guān)注智能評價技術(shù)與體系的構(gòu)建以及在不同教育場景的應(yīng)用效果研究,基于診斷性評測、學(xué)習(xí)檔案評價、大數(shù)據(jù)評價等方式幫助教師精準(zhǔn)分析、全域關(guān)照,實現(xiàn)學(xué)習(xí)者個體價值回歸與主體價值增值。
識材和施教是同一過程的兩個關(guān)鍵點,彼此相互影響、不可分割,只有全面、系統(tǒng)地認(rèn)識學(xué)習(xí)者特征才能完成施教的過程。要通過評價明確“材”的特點和程度,找準(zhǔn)“教”的定位和起點,從而為學(xué)習(xí)者成長建立反饋調(diào)節(jié)機制,幫助學(xué)習(xí)者建立自信,其結(jié)果是真正實現(xiàn)能評估學(xué)習(xí)者思想品德、身心健康、能力素質(zhì)等綜合要素,鼓勵學(xué)習(xí)者多樣化成長的個性化教育。需要利用信息技術(shù)推進教育評價改革,幫助教師全面了解和細(xì)致掌握學(xué)習(xí)者狀態(tài),根據(jù)學(xué)習(xí)者的情感意志要素、活動場所等非線性關(guān)系的相關(guān)數(shù)據(jù)評價,聚焦學(xué)習(xí)者綜合素質(zhì)發(fā)展(田愛麗, 2020),以改善教育資源個性化與靈活性不足的問題。對于學(xué)習(xí)者而言,借助智能技術(shù)支持下的自我導(dǎo)向?qū)W習(xí),可以將線上學(xué)習(xí)與線下學(xué)習(xí)、集中學(xué)習(xí)與分散學(xué)習(xí)、課堂學(xué)習(xí)與場館學(xué)習(xí)等多種學(xué)習(xí)形式結(jié)合起來,為自身創(chuàng)造“因材擇學(xué)”的機會,從而實現(xiàn)“識材”—“施教”—“發(fā)展”的邏輯演進。
三、智能技術(shù)賦能教育評價的作用點
智能時代的因材施教亟待充分利用計算分析技術(shù)賦能,以推動數(shù)據(jù)驅(qū)動的教育研究和實踐。伴隨國家相關(guān)政策的陸續(xù)出臺,各類信息技術(shù)“示范區(qū)”“試驗區(qū)”“人人通”“三個課堂”等實踐領(lǐng)域的開辟,以及各地(區(qū))對智能技術(shù)融入教學(xué)實踐的支持力度的不斷增長,更加客觀、精準(zhǔn)、千人千面的因材施教理念有了實現(xiàn)的可能。智能技術(shù)賦能教育評價改革需要相關(guān)的技術(shù)支撐。其中,5G作為高帶寬低時延的通信技術(shù)正助力網(wǎng)絡(luò)空間人人通向物聯(lián)網(wǎng)發(fā)展,有助于利用個性化數(shù)據(jù)實現(xiàn)對學(xué)習(xí)者的因勢利導(dǎo),實現(xiàn)人人有“學(xué)伴”的人機協(xié)同教學(xué);虛擬現(xiàn)實技術(shù)實現(xiàn)了物理空間和虛擬空間的融合,帶來了多感官的沉浸學(xué)習(xí)體驗,使教學(xué)從“離身”步入“具身”,可形成立體綜合的教學(xué)場域;區(qū)塊鏈技術(shù)支撐開放安全的數(shù)據(jù)記錄,可實現(xiàn)分布式、跨平臺、融合化數(shù)據(jù)存儲,助力個人學(xué)習(xí)軌跡的追蹤與分析,從而完成對學(xué)習(xí)者的全方位畫像,提高數(shù)字資源的共享效率;邊緣計算技術(shù)針對物理場景中的數(shù)據(jù)分析,以計算下沉與邊端賦能加速數(shù)據(jù)的分析能力;多模態(tài)學(xué)習(xí)分析以解決復(fù)雜教育問題的數(shù)據(jù)模型與解釋模型為起點,成為洞察學(xué)習(xí)規(guī)律的新范式,為“教育場景計算”提供理論與實踐的支撐(張琪, 等, 2020),為深入理解學(xué)習(xí)機制、研發(fā)評價建模工具提供了全息視角。教師水平的提升是技術(shù)賦能教育評價的關(guān)鍵因素。借助智能、快速、全面的教育分析系統(tǒng),可以建立以學(xué)習(xí)者為中心的智能育人環(huán)境,為學(xué)習(xí)者提供精準(zhǔn)推送的教育服務(wù)(國務(wù)院, 2017),賦能教師、學(xué)習(xí)者、課堂、課程和學(xué)校,形成新的教育教學(xué)場景,引發(fā)教師角色加速轉(zhuǎn)變。概念講述、知識傳授等職能越來越多地可以借助技術(shù)來完成,實現(xiàn)教師更為精細(xì)化的分工,使教師有更多時間潛心于學(xué)習(xí)者的能力培育、創(chuàng)造能力培養(yǎng)與德育塑造。
計算社會科學(xué)是社會科學(xué)發(fā)展的必然走向,數(shù)據(jù)驅(qū)動范式已越來越多地應(yīng)用于教育研究中,為大規(guī)模理解學(xué)習(xí)者行為與內(nèi)在特征提供了前所未有的機會。與此同時,“互聯(lián)網(wǎng)+教育”的常態(tài)化使得教與學(xué)的方式正發(fā)生顯著變化。其中,學(xué)習(xí)環(huán)境容納了日益增長的真實要素,學(xué)習(xí)延伸并拓展至課堂之外的空間,學(xué)習(xí)者聚焦于真實情境中問題的解決,關(guān)注學(xué)習(xí)測量已成為重要趨勢。智能技術(shù)賦能綜合評價,底層依賴于對評價維度的明確界定以及準(zhǔn)確的方法與模型。例如,對學(xué)習(xí)者話語的自動評價,其隱含的假設(shè)是,研究者認(rèn)為學(xué)習(xí)者的對話與交流文本在一定程度上反映了學(xué)習(xí)者的思維方式,并可以通過文本的內(nèi)容與質(zhì)量表征出來。因此,無論是人工評分還是作文自動評分,都需要對評價維度有一個清晰的定義,以及對測量結(jié)果做出更準(zhǔn)確的解釋。通過對評價領(lǐng)域理論與實踐進展的梳理可以發(fā)現(xiàn),學(xué)習(xí)投入、人格特質(zhì)、創(chuàng)造能力、表達能力的建模是智能技術(shù)賦能教育評價的關(guān)鍵作用點。
(一)學(xué)習(xí)投入評測
深度學(xué)習(xí)需要持續(xù)的投入,對學(xué)習(xí)投入的關(guān)注不僅在于其是教育評價的重要內(nèi)容,更在于學(xué)習(xí)投入是可以被塑造的重要變量以及預(yù)測學(xué)習(xí)績效的強有力指標(biāo)。作為智能評測的核心研究領(lǐng)域,學(xué)習(xí)投入是個體在學(xué)習(xí)活動中所展現(xiàn)出的持續(xù)和積極的學(xué)習(xí)狀態(tài)。基于“連續(xù)體”的分析視角,基礎(chǔ)的投入涉及與注意力相關(guān)的操作行為,在高度投入的情況下學(xué)習(xí)者使用大量的心理資源進行深度加工,不僅需要使用深層的認(rèn)知策略,更伴隨情感投入和學(xué)術(shù)投入。在過去20年中,盡管學(xué)習(xí)投入在概念的表述與應(yīng)用方面還有諸多問題需要解決,但始終是一個富有成效的研究領(lǐng)域。已有大量研究對學(xué)習(xí)投入的理論體系展開了歸納,達成共識的是投入不僅是詮釋學(xué)習(xí)狀態(tài)的有效指標(biāo),還融合了多種可區(qū)分的特征,學(xué)習(xí)投入的表征與量化研究依然稀缺(張琪, 等, 2019)。測量投入度的常用方法通常會對技術(shù)環(huán)境中學(xué)習(xí)者產(chǎn)生的交互行為日志文件進行建模,涵蓋了學(xué)習(xí)者的點擊數(shù)據(jù)、交互行為數(shù)據(jù)、響應(yīng)反饋等。也有研究利用表情識別、眼動采集、腦電數(shù)據(jù)等多模態(tài)數(shù)據(jù)展開分析,以脫離“在線”學(xué)習(xí)場景,挖掘與情感狀態(tài)、認(rèn)知水平相關(guān)的指標(biāo)。未來需要聚焦更確切的解釋與評價模型,界定學(xué)習(xí)者“開始”和“脫離”投入的狀態(tài),探索投入可能起作用的條件,研究導(dǎo)致學(xué)習(xí)者脫離投入的個體差異與情境因素,對投入發(fā)生的心理與腦機制展開探索,圍繞學(xué)習(xí)的注意力機制、脫離投入的定義與識別展開深入研究,進一步分析學(xué)習(xí)者投入度、影響要素與中介因素的關(guān)系,提升數(shù)據(jù)表征結(jié)構(gòu)的能力。
(二)人格特質(zhì)識別
個體差異取決于學(xué)習(xí)者的人格特質(zhì)。人格是在先天遺傳、后天環(huán)境等因素交互作用下,表現(xiàn)在身心方面的思考模式、情緒表達與行為特性的總和。特質(zhì)決定了人格的穩(wěn)定性與獨特性。特質(zhì)是個體內(nèi)在的系統(tǒng)反應(yīng),這種反應(yīng)使個體對不同種類的刺激以某種相對一貫的、穩(wěn)定且相同的方式進行反應(yīng)。因此,特質(zhì)是人格的“基礎(chǔ)結(jié)構(gòu)”,具有“支配個人行為的能力”(Matthews, Deary, & Whiteman, 2003),反映人與人之間的基本區(qū)別。人格對學(xué)習(xí)者的成長至關(guān)重要。大量研究表明,了解人格在學(xué)習(xí)過程中的作用,并投入更多的關(guān)注和精力,可以促進學(xué)習(xí)。人格識別在教育學(xué)、心理學(xué)、企業(yè)管理等方面已經(jīng)發(fā)展多年,得到了成熟的應(yīng)用。傳統(tǒng)的評測技術(shù)包括九型人格測試、十六型人格測試以及大五人格測試等,主要方法是通過自我報告的反饋來進行,這類評測不具備針對性,也無法做到多場景的追蹤以及避免虛假答題等問題。利用智能技術(shù)可以從幾個方面提取與人格特質(zhì)相關(guān)的指標(biāo):一是基于學(xué)習(xí)者的文本內(nèi)容與書寫習(xí)慣;二是建立學(xué)習(xí)行為的時序信息,按照時間序列挖掘關(guān)鍵行為序列特征進行采樣,記錄質(zhì)性的行為資料,進行編碼分析,使用量化的推論統(tǒng)計解釋行為序列的轉(zhuǎn)換;三是對不同的學(xué)習(xí)內(nèi)容進行標(biāo)注,將上述特征結(jié)合起來,針對每個特征使用不均衡數(shù)據(jù)分類的方法進行算法融合,使之變成表征能力很強的建模方法。我們的研究團隊對大五人格的建模研究發(fā)現(xiàn),僅通過學(xué)習(xí)行為的建模就可以得到比較高的識別水平。對來自662位被試的建模結(jié)果使用5倍交叉驗證方法的性能評估表明,增強的可拓神經(jīng)網(wǎng)絡(luò)(EENN)算法可以有效識別人格,平均準(zhǔn)確度為0.758,該算法與粒子群優(yōu)化方法(EENN-PSO)相結(jié)合可以顯著提高識別率,平均準(zhǔn)確度為0.976(Lai, Sun, Wu, & Xiao, 2020)。人格特質(zhì)的準(zhǔn)確識別可以為自適應(yīng)內(nèi)容設(shè)計與干預(yù)的實施奠定基礎(chǔ)。研究團隊開發(fā)的自適應(yīng)學(xué)習(xí)分析儀表盤用“模式識別技術(shù)”判定學(xué)習(xí)者人格特質(zhì),基于“復(fù)制自適應(yīng)”方式推送匹配人格特質(zhì)的數(shù)據(jù)指標(biāo),強化了學(xué)習(xí)者使用動機(張琪, 等, 2018)。此外,采用數(shù)據(jù)挖掘方法建立人格特質(zhì)的預(yù)測模型,驗證了深度置信網(wǎng)絡(luò)(DBN)在各階段識別高危學(xué)生的性能,提出了基于人格特質(zhì)的學(xué)習(xí)分析范式(Wu & Lai, 2019)。
(三)創(chuàng)新能力評測
創(chuàng)新能力作為21世紀(jì)核心素養(yǎng)的組成已成為共識。無論是21世紀(jì)技能中的“4C”能力,還是我國提出的《中國學(xué)生發(fā)展核心素養(yǎng)》都包含了創(chuàng)新能力的維度。創(chuàng)造性思維是個體創(chuàng)造性的具體表現(xiàn),其核心是發(fā)散思維。盡管不是整個創(chuàng)造力結(jié)構(gòu)的代名詞,但在過去的60年中,發(fā)散思維被廣泛用作創(chuàng)造力潛力的主要指標(biāo)(Albert & Runco, 1999)。其中,托蘭斯創(chuàng)造思維測驗(TTCT)是運用最廣泛的發(fā)散思維測量工具,該測試包含言語流暢性、變通性、獨創(chuàng)性三個維度。其中,流暢性是指學(xué)習(xí)者在一定時間內(nèi)產(chǎn)生觀點或想法的數(shù)量;變通性指不同方向、不同角度思考問題的靈活性;獨創(chuàng)性是指學(xué)習(xí)者具有不循規(guī)蹈矩的想法或與眾不同的解決問題思路。對于流暢性建模,一般采用潛在狄利克雷分配(LDA)模型進行內(nèi)容主題挖掘。作為貝葉斯學(xué)習(xí)模型,該模型主要應(yīng)用在中文分詞技術(shù)方面,將文章轉(zhuǎn)化為詞向量,是潛在語義分析與概率潛在語義分析的擴展。在變通性維度,可以將詞表征為實數(shù)值向量,通過深度學(xué)習(xí)訓(xùn)練將對文本內(nèi)容的處理簡化為K維向量空間中的向量運算,獲得詞匯在向量空間上的表示。在獨創(chuàng)性維度,一般通過計算響應(yīng)事件之間的語義距離,使用潛在的語義分析和長短時記憶網(wǎng)絡(luò)評估其數(shù)值。除了文本的分析,部分創(chuàng)新能力評測還包含拼圖測試以進行拓展記分。該類測試通常是給出一個不完整的圖形,學(xué)習(xí)者進行筆畫添加賦予該圖形更多的內(nèi)涵。這類計算建模會涉及視覺模式的識別,一般利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從圖像中識別視覺模式,進行圖像特征提取、運動檢測、人工評分等模型訓(xùn)練。
(四)表達能力評估
語文素養(yǎng)是學(xué)習(xí)其他課程的基礎(chǔ),是學(xué)習(xí)者全面發(fā)展和終身學(xué)習(xí)能力的支撐。學(xué)習(xí)者的表達能力是培育學(xué)習(xí)者語文核心素養(yǎng)的重要內(nèi)容,也是教育的“四大支柱”和“21世紀(jì)技能”中“學(xué)會合作”的核心要素。表達能力與“以素質(zhì)教育為核心”的理念匹配,體現(xiàn)了學(xué)習(xí)者的綜合素養(yǎng)。口語與書面表達都可以從文本的角度去評判,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合隱馬爾科夫模型(HMM)能夠準(zhǔn)確識別中文字符。國際常用的表達評測體系涉及對文本內(nèi)容、措詞、結(jié)構(gòu)、語氣、同義詞等不同表達的分析,多采用基于隱含語義分析(LSA)系統(tǒng)和深度神經(jīng)網(wǎng)絡(luò)(DNN)以及改進的算法進行文本的自動評分。
中文的表達一般要綜合考慮語境、詞法、句法、文采、語義以及篇章段落進行全面分析。對于文字段落進行序列化,一般利用Word2vec模型提取文本的字跡、詞匯與通順性等特征,利用上述特征矩陣表征文本的表達情況。從智能建模的視角看,中文形象語言的修辭水平多采用對隱喻的分析來進行。各類隱喻背后涉及學(xué)習(xí)者的認(rèn)知過程,是神經(jīng)語言程序?qū)W(NLP)的關(guān)注重點。一般采用人工制定的規(guī)則或深度學(xué)習(xí)提取特征分析屬性依賴的概念,利用屬性的本體映射進行隱喻的解釋、識別與生成。對于其他修辭手法,例如借代、夸張、反復(fù)、象征、寄寓等的識別,可將混合神經(jīng)網(wǎng)絡(luò)與神經(jīng)語言程序?qū)W結(jié)合,以判斷段落與通篇文章的表達能力。后續(xù)的研究需要進一步分析文本中的認(rèn)知與修辭的成分,擴充專家標(biāo)注集,開展大規(guī)模對比與修正研究,以提升分析系統(tǒng)的整體水平。
四、實現(xiàn)路徑
智能技術(shù)賦能教育評價需要建立有反映能力和預(yù)測效能的教育分析模型,其本質(zhì)是通過機器建模與計算實驗分析,研究數(shù)學(xué)建模和場景計算方法,故其實現(xiàn)路徑應(yīng)當(dāng)以學(xué)習(xí)能力的評價為起點,圍繞建模方法、算法選擇與評價模型的適配性展開深入研究。
(一)建模方法
教育評測領(lǐng)域的建模通常涉及復(fù)雜動態(tài)的語義問題,具有很強的不確定性,這類場景計算通過單純的計算機建模往往難以實現(xiàn)。例如,文本數(shù)據(jù)分析在教育領(lǐng)域有多方面的應(yīng)用,包括評論、考試、評測等,最終目標(biāo)是挖掘被試對象的心理特征與能力水平。若將現(xiàn)有機器學(xué)習(xí)評測技術(shù)應(yīng)用到該場景,會面臨被試樣本非常少以及缺少多維度特征標(biāo)注的問題。如果能將這些數(shù)據(jù)充分結(jié)合起來,則可以了解學(xué)習(xí)者在學(xué)習(xí)過程中的心理痕跡。對于語言識別,目前將口語化的數(shù)據(jù)快速轉(zhuǎn)換成文字的精度已經(jīng)達到了非常高的水平,特殊符號與公式等都可以進行結(jié)構(gòu)化,為進一步的分析提供了依據(jù)。但僅僅將文字結(jié)構(gòu)化是不夠的,還需要關(guān)注學(xué)習(xí)者的思維過程,如思維的流暢度、停頓以及心智游移等。對于文本的語義分析,盡管現(xiàn)有技術(shù)在自然語言處理方面已經(jīng)比較成熟,但如何抽取核心概念,如何對摘要進行選擇卻很少有研究涉及。若直接將通用文本分析的聚類、分詞等服務(wù)應(yīng)用于教育場景,顯然會有較大的誤差。此外,對學(xué)習(xí)者發(fā)散思維的文本分析文本內(nèi)容可能會涉及多個方面,若用單一的整體文本表征則難以覆蓋不同方面的信息。未來的研究需要能夠在文本挖掘的過程中,建立各個信息源對應(yīng)的提取機制,進行連續(xù)語義單元提取,通過不同層面的映射與聚合實現(xiàn)評測性能的整體提升。
學(xué)習(xí)過程的數(shù)據(jù)化需要其他感知工具的輔助,包括采用攝像頭或利用便攜式傳感器采集學(xué)習(xí)者的“離線”數(shù)據(jù),使之預(yù)期可以加工和整合為多模態(tài)信息。若涉及知識體系的評價,需建立可以分析與計算的知識圖譜,底層的技術(shù)包括各個知識點的結(jié)構(gòu)化描述、確立知識點之間遞進的關(guān)系以及不同層次的屬性,從而以網(wǎng)狀結(jié)構(gòu)表現(xiàn)學(xué)習(xí)者的知識與能力水平,在這方面學(xué)術(shù)界已有比較成熟的技術(shù)積累。此外,需考慮將領(lǐng)域知識與計算機體系在一定的情境下融合,特別是需要信息科學(xué)與教育科學(xué)的研究者在教學(xué)實踐中遵循教育問題的基本規(guī)律,圍繞數(shù)據(jù)清洗、特征提取、模型表征開展協(xié)同工作,將教育的規(guī)律和計算機技術(shù)進行有機結(jié)合。
在傳統(tǒng)的有監(jiān)督學(xué)習(xí)中,需要大量用于訓(xùn)練學(xué)習(xí)模型的標(biāo)注數(shù)據(jù)。一般認(rèn)為,標(biāo)注的數(shù)據(jù)越多,基于該數(shù)據(jù)集訓(xùn)練得到的模型越高效。實際上,對于數(shù)字教育與終身教育各項評價指標(biāo)的建構(gòu),當(dāng)前整個技術(shù)體系的能力還處于“弱應(yīng)用”范疇,在許多實際任務(wù)中研究者可以輕松獲取大量數(shù)據(jù),但大部分是未標(biāo)注或者標(biāo)注困難的數(shù)據(jù)。比如在圖像和視頻分類任務(wù)中絕大部分?jǐn)?shù)據(jù)缺乏準(zhǔn)確的語義標(biāo)簽。如何從少量標(biāo)記的數(shù)據(jù)中產(chǎn)生有效模型是一個極具挑戰(zhàn)的問題。需要建立一套完善的建模體系,通過“嵌入式”設(shè)計專家對樣本集合進行選擇,將學(xué)習(xí)指標(biāo)重復(fù)分配給模態(tài)數(shù)據(jù)的不同區(qū)間,整合專家的領(lǐng)域知識以遴選數(shù)據(jù)特征,輸出至計算機,以人機增強的方式訓(xùn)練數(shù)據(jù)集,通過低階意義表征的自動建模與學(xué)習(xí)狀態(tài)的整體權(quán)衡實現(xiàn)“人機協(xié)同”的迭代建模與知識發(fā)現(xiàn)。
評測建模的結(jié)果是發(fā)現(xiàn)規(guī)律以形成有效的干預(yù)。如何利用應(yīng)用模型和評測工具表征教學(xué)過程,對不同特質(zhì)的學(xué)習(xí)者、學(xué)習(xí)場景與學(xué)習(xí)任務(wù)中的問題進行量化與診斷,對“特殊區(qū)間”“脫離狀態(tài)”等重要學(xué)習(xí)風(fēng)險進行干預(yù)的研究還相當(dāng)稀缺。數(shù)據(jù)驅(qū)動的研究方式往往忽視教育中因果關(guān)系的闡釋,干預(yù)的教育學(xué)價值不明,不利于干預(yù)策略的實施。應(yīng)重視開展工具介入的教學(xué)實踐研究,圍繞學(xué)習(xí)描述、診斷、預(yù)測和處方展開討論,建立操作性策略、方法與模式,設(shè)計不同表征形式的課程單元模塊。嘗試?yán)枚嘁蛩卦O(shè)計預(yù)測變量之間的聯(lián)系,結(jié)合質(zhì)性分析,以綜合評估工具作用于教學(xué)的效果,形成教學(xué)效果預(yù)測模型。圍繞不同學(xué)科教學(xué)場景,將準(zhǔn)實驗研究、邏輯推理與典型教學(xué)案例相結(jié)合,對理論、技術(shù)與方法進行驗證。
(二)算法選擇
對評價領(lǐng)域建模文獻進行梳理可以發(fā)現(xiàn),常用機器學(xué)習(xí)算法包括決策樹、隨機森林和邏輯回歸、樸素貝葉斯分類器與支持向量機。其中,支持向量機和樸素貝葉斯分類器被認(rèn)為是黑盒技術(shù),研究者無法確切地知道預(yù)測的推導(dǎo)方式以及模型的含義。相比之下,決策樹的結(jié)果得到了高度解釋,生成規(guī)則集簡單且與人類推理非常相似,易于理解并且可以清楚地描述預(yù)測過程。但決策樹算法對樣本敏感,數(shù)據(jù)的微小變化可能導(dǎo)致不同的樹形結(jié)構(gòu)和完全不同的規(guī)則。隨機森林是決策樹的增強版,因其不強調(diào)特征選擇,對于多維特征的數(shù)據(jù)集建模具有很高的效率和準(zhǔn)確度,且不易出現(xiàn)過擬合的問題,被廣泛應(yīng)用于教育領(lǐng)域的數(shù)據(jù)分類。隨著深度學(xué)習(xí)技術(shù)的成熟,基于深度神經(jīng)網(wǎng)絡(luò)的模型在數(shù)據(jù)建模領(lǐng)域被廣泛采用。例如,深度置信網(wǎng)絡(luò)(DBN)具有更強的學(xué)習(xí)能力和多樣化的網(wǎng)絡(luò)結(jié)構(gòu),可以優(yōu)化多層神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中標(biāo)簽數(shù)據(jù)量大、收斂速度慢等不足,較好地解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在預(yù)測建模上的瓶頸。更為專一化的神經(jīng)網(wǎng)絡(luò),如利用對抗網(wǎng)絡(luò)(Adversarial Network)和生成模型(Generative Model)進行梯度訓(xùn)練,能夠同時并行處理多個任務(wù),這類由相互作用的代價函數(shù)形成的非均勻優(yōu)化系統(tǒng)可以使機器學(xué)習(xí)更為精確,是計算智能的未來發(fā)展方向。
機器建模的準(zhǔn)確性可以采用正確預(yù)測的百分比進行度量,如召回率(Recall)、整體精確率(Precision)、F度量(F-measure)等。鑒于數(shù)據(jù)清洗以及無效樣本信息的存在,良好的性能指標(biāo)不應(yīng)受到樣本中類別分布的影響,這類問題通常會采用ROC曲線度量。ROC曲線具有對類分布變化不敏感的理想屬性,適合不平衡類別群體的精度度量。交叉驗證被廣泛應(yīng)用于判定訓(xùn)練模型的穩(wěn)健性,但該方法不能保證建立的模型可以推廣到其他群體,正確的做法是將模型應(yīng)用于其他場景(不同學(xué)年、學(xué)校或?qū)W習(xí)群體)進行比較判定。評估模型性能的另一種方法是與類似場景的建模精度進行對照,或?qū)W(xué)習(xí)者反饋的有效性進行評估,了解其是否會幫助學(xué)習(xí)者以及改善表現(xiàn)的程度,上述方法的綜合應(yīng)用可以佐證已有模型的泛化能力。
(三)模型的適配性
開發(fā)課程級別的評價模型非常耗時且需要大量的專業(yè)知識。因此,在學(xué)習(xí)評價的建模方面,通用做法是將學(xué)習(xí)者進行整體性評估,封裝后即直接應(yīng)用于其他學(xué)習(xí)場景。由于學(xué)習(xí)群體的不同以及學(xué)習(xí)環(huán)境的差異性,特定場景下評測模型是否具有通用性值得關(guān)注。“互聯(lián)網(wǎng)+環(huán)境”中不同課程的學(xué)習(xí)活動、需求和評價方式會有很大的差異,學(xué)習(xí)活動之間的結(jié)構(gòu)與內(nèi)容的差異會影響學(xué)習(xí)者的行為方式,通用模型可能無法解決這類異質(zhì)性問題。個性化的預(yù)測模型不足,建模指標(biāo)不容易在各學(xué)習(xí)情境之間“移植”,導(dǎo)致通用模型可能很難達到預(yù)想的精度。從目前的研究來看,對于成績的評估,不同學(xué)習(xí)環(huán)境的預(yù)測因子具有極大的差異性,即便是類似的學(xué)習(xí)平臺也顯示出預(yù)測指標(biāo)的不同(張琪, 等, 2019)。需要利用聚類技術(shù)對典型學(xué)習(xí)者的特征、行為與活動進行分類,分析不同類別評價模型之間的共性特征與相關(guān)關(guān)系,圍繞通用模型如何匹配新的場景展開進一步探索。
五、小結(jié)
教育從來沒有像今天這樣迫切地需要智能技術(shù),此時正是彰顯教育信息化價值的最佳契機。以人工智能為代表的新興信息技術(shù)正在重新定義學(xué)習(xí)者的知識與能力維度,計算素養(yǎng)、協(xié)作能力、復(fù)雜問題解決能力、人機協(xié)作能力等將成為新時代人才的核心能力。后疫情時代,人民群眾對教育的需求更為多樣,對更高質(zhì)量、更加公平、更具個性的教育需求也更為迫切,需要發(fā)掘更能激發(fā)學(xué)習(xí)者學(xué)習(xí)進步的原動力,需要構(gòu)筑能充分滿足個人多元化需求的新型教育模式,需要建立教學(xué)過程的完整數(shù)據(jù)表征模型以及相應(yīng)的評價方法。《深化新時代教育評價改革總體方案》的出臺,體現(xiàn)了我國政府立足新的時代背景,對全面發(fā)展的人所應(yīng)具備的創(chuàng)新精神與實踐能力等綜合素質(zhì)的重大關(guān)切。在推動信息技術(shù)與教育深度融合的歷史新時期,深入探索智能評價機制、理論體系、建模方法與關(guān)鍵技術(shù),將學(xué)習(xí)視為復(fù)雜的現(xiàn)象,探究不同認(rèn)知因素、社會情感因素、背景變量等因素影響學(xué)習(xí)的規(guī)律,助力真實教育需求的滿足,既是難得的歷史機遇,也是教育技術(shù)人理應(yīng)具備的使命擔(dān)當(dāng)。
[參考文獻]
陳麗,逯行,鄭勤華. 2019. “互聯(lián)網(wǎng)+教育”的知識觀:知識回歸與知識進化[J]. 中國遠程教育(07):10-18,92.
馮成火. 2020. 高考科目改革的軌跡與推進策略——兼論新一輪高考改革的深化與完善[J]. 中國高教研究(05):78-82,102.
國務(wù)院. 2020-10-13. 中共中央國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[EB/OL]. [2020-12-10]. http://www.gov.cn/zhengce/2020-10/13/content_5551032.htm
國務(wù)院. 2017-07-20. 國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL]. [2020-12-10]. http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm
黃榮懷,劉德建,劉曉琳,徐晶晶. 2017. 互聯(lián)網(wǎng)促進教育變革的基本格局[J]. 中國電化教育(01):7-16.
中國教育和科研計算機網(wǎng). 2020-12-11. 雷朝滋:智能技術(shù)支撐教學(xué)改革與教育創(chuàng)新[EB/OL]. [2020-12-20]. http://www.edu.cn/xxh/focus/li_lun_yj/202012/t20201211_2055540.shtml
田愛麗. 2020. 綜合素質(zhì)評價:智能化時代學(xué)習(xí)評價的變革與實施[J]. 中國電化教育(01):109-113,121.
新華網(wǎng). 2020-09-22. 習(xí)近平:在教育文化衛(wèi)生體育領(lǐng)域?qū)<掖碜剷系闹v話[EB/OL]. [2020-11-22]. http://www.xinhuanet.com/politics/leaders/2020-09/22/c_1126527570.htm
張琪,李福華,孫基男. 2020. 多模態(tài)學(xué)習(xí)分析:走向計算教育時代的學(xué)習(xí)分析學(xué)[J]. 中國電化教育(09):7-14,39.
張琪,王紅梅. 2019. 學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征:支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究,40(12):21-28.
張琪,王紅梅,莊魯,賴松. 2019. 學(xué)習(xí)分析視角下的個性化預(yù)測研究[J]. 中國遠程教育(04):38-45,92-93.
張琪,武法提. 2018. 學(xué)習(xí)儀表盤個性化設(shè)計研究[J]. 電化教育研究(02):39-44,52.
Albert, R. S., & Runco, M. A. (1999). The history of creativity research. In R. Sternberg (Ed.), Handbook of creativity (pp.16-31). New York: Cambridge University Press.
Wu, F., & Lai, S. (2019). Linking prediction with personality traits: a learning analytics approach. Distance Education, 40(1),1-20.
Matthews, G., Deary, I. J., & Whiteman, M. C. (2003). Personality traits. New York: Cambridge University Press.
Lai, S., Sun, B., Wu, F., & Xiao, R. (2020). Automatic Personality Identification Using Students Online Learning Behavior. IEEE Transactions on Learning Technologies, 13(1), 26-37.
收稿日期:2020-12-22
定稿日期:2021-01-04
作者簡介:張琪,博士,教授,碩士生導(dǎo)師;王丹,碩士,講師。淮北師范大學(xué)教育學(xué)院(235000)。
責(zé)任編輯 劉 莉