教學質量評價的改進研究

魏青云 張立新 程新奎

【摘 要】本研究參考國際開放教育質量評價標準設計了調查問卷，對上海開放大學17個分校（教學點）8 000多名在讀學生進行了問卷調查，以期反映當前遠程教育質量管理的現狀和關注點。結果表明，不同學習者在學習需求、學習投入、學習效率、學習認可度以及對組織認同等方面存在顯著差異，并影響其對教學質量評價的認識。基于此，對遠程教育質量管理的組織創新提出對策和建議。

【關鍵詞】遠程教育;成果導向教育;學習者體驗;質量評價;質量管理

【中圖分類號】G72

【文獻標識碼】A

【文章編號】1001-8794（2020）02-0019-08

【作者簡介】魏青云（1968—），女，山東淄博人，碩士，濱州學院教師教育學院副教授，華東師范大學課程研究所訪問學者，研究方向為教學論;張立新（1966—），男，山東濱州人，博士，上海立信會計金融學院高教研究所副所長，研究員，研究方向為高等教育管理;程新奎（1979—），男，山東棗莊人，碩士，上海開放大學質量監控與評價中心助理研究員，研究方向為教育評價。

當“以學生為本”的教育理念已經深入人心，強調人人都能成功、個性化體驗、績效責任、能力本位的成果導向教育（Outcome-based Education，簡稱OBE）實現了從傳統教育范式的轉換并逐步成為高等教育質量保障的重要內涵。由于OBE范式在成人學習中有與普通教育學生同樣廣闊的發展空間，而信息技術的發展使空間距離不再成為制約學習方式和區分教育類型的條件，遠程學習者體驗基礎上對學習質量評價的再評價也就獲得了比以往更權威的地位，從而為改進包括遠程教育在內的各種成人與普通教育質量保障提供了一個的新的視角。

一、文獻分析

隨著高等教育大眾化以及普及化的實現，如何全面保障教育質量問題成為世界范圍內教育實踐和理論研究的熱點。讓所有學生獲得學業以及在此之后的成功，是基于結果教育的根本目標。[1]作為已經身處職場、對自身和社會有更成熟評價的成人學習者，其學習更易受其需要和興趣的影響，對學習的評判也相對理性，成人學習者個性化的學習體驗無疑是對學習過程和結果評判的最直接途徑和有效方式。

（一）關于學習體驗的研究

體驗是一段有意義的完整的個體經歷，[2]學習者的體驗是情感、身體、智力甚至精神層面的結果，而且作為個體的學習者體驗并非孤立存在。[3]學生經驗“不局限于課堂上的學生經驗，而局限于總的學生經驗”。[4]當然，學生體驗的概念是復雜的，包括教學學術方面、內容和課程、學習者活動、指導等，學習者的經驗與學習者的參與、滿意度和保持力有關。[5]體驗是一個主動學習的過程，主動學習可以提高學生的體驗感受。

首先，體驗是一個深度學習的過程，它鼓勵學習者尋求潛在的意義，可以將新知識與先前的經驗聯系起來，分析和評估新知識，使用這種方法的學習者傾向于以更高的速度保留、整合和傳輸信息。與表面學習方法相比，深度學習與更愉快的學習體驗有關。[6]由于學習者的實際學習投入、學習環境條件以及最終的學習效率會對體驗產生影響，由此，基于學習者綜合體驗的反饋成為對學習質量最有權威的評判。[7]

從遠程學習的特點看，當人們以成年人的方式行事時，應該把他們當作成年人對待。學習者更關注自身發展，可以自我指導，能夠獨立做出判斷和決定;經驗成為學習的資源，并為其提供了一個聯系和連接新的學習的橋梁;學習者更了解發展和自我提高的重要性，他們更愿意學習和理解學習，將其視為提升社會地位和履行社會角色的一種手段，體驗是遠程學習中應有的特征和過程。[8]研究表明，學習者接受高等教育，受性別、年齡、既往經驗和動機等因素影響。[9]因此，課程規劃中應考慮遠程學習者的需求和興趣，以確保學生的需求、期望和經驗納入其中。[10]

由于學習是一個不斷變化的過程，學習技能是通過調節學習者的環境和他們在社會環境中的經歷來發展的，學習體驗為學習者主動調節環境提供了可能。[11]當遠程學習者在學習過程中有選擇和控制權時，他們最有可能積極參與學習。[12]可以認為，只有建立在學習者體驗基礎上的學習者主動學習、深度學習，才能形成一個完整的過程并最終達到預期的學習目標。

（二）關于遠程學習質量評價的研究

質量是一個相對的、充滿價值的概念，不同的利益相關者可能會有不同的評價。由于與傳統教育相比，遠程學習在很大程度上依賴于學習者個體的需求動機、投入，這使得衡量和保證遠程學習質量變得更加困難。學習者對質量最有發言權，了解這些學習者如何定義遠程學習的質量至關重要，因為他們的需求和環境是多樣的，與傳統的學習者有很大的不同。[13]學習者對質量評價的基礎，取決于其所感知的質量維度，并確定和確認這些質量維度的結構特征。[14]

美國高等教育學院委員會、南非國家遠程教育組織協會、歐洲遠程教學大學協會、瑞典國家高等教育局、韓國教育科技部（MEST）、加拿大遠程教育協會提出了遠程教育質量評價標準。七個被認為對確保高等教育背景下的在線教育質量至關重要的領域的基準是：清晰的規劃、健全可靠的基礎設施、良好支持系統、良好的師生溝通渠道、課件開發的明確標準以及強有力的學生投入等。[15]學習者作為定義質量的關鍵參與者，其觀點應整合到“電子學習質量評估可持續環境”的框架中，該框架允許每個利益相關者，包括學習者，主觀地權衡質量保證標準的重要性。[16]上述研究以及國家、區域和國際質量保證框架涵蓋了廣泛的維度，分析揭示了評估遠程學習質量的許多共同點，包括愿景、規劃和基礎設施等。當然，不同的利益相關者對質量的看法不同。雖然來自提供者、評估者和政府的輸入對于檢查和提高遠程學習的質量很有價值，但了解學習者的觀點也是至關重要的，因為遠程學習取得了成功通常在很大程度上依賴于學習者的動機和參與度。[17]

在強調以學習者為中心的同時，關注學習者對質量因素看法的研究卻相對較少。有關對澳大利亞學生在線職業教育和培訓的研究表明，學習者認為以下因素對質量至關重要：靈活性、反應靈敏的教師、材料和課程設計、獲取資源以及在線評估和反饋。[18]歐洲學習者認為課程過程相關維度（如存在、教學和協作）比機構因素（如愿景、規劃和財務）更重要。研究表明，學習者和提供者在質量概念上可能存在重要差異，需要進一步調查學習者在不同環境下對遠程學習質量的看法，以了解和改進遠程學習中的質量保證框架。研究認為，質量是學習者的全部經驗，因此應涉及機構的聲譽、課程和教學、員工支持、學習者支持、技術支持、質量保證機制和學生成果。韓國的研究也表明，從提供者的角度提出的這些維度中的大多數對學習者來說也很重要，但技術支持似乎沒有表現出顯著的影響。[19]此外，從學習者的角度看，制度質量保證機制和制度公信力對遠程學習質量的評價具有一定的影響。 “學生學習質量是學生活動和行為（而不是教學內容）的直接后果”。[20]

這些研究取得了一些重要成果，但往往沒有考慮學習者的變量，如主要研究領域、年齡、性別、技術技能以及學習者對遠程學習質量感知等，男性和女性、人文科學和自然科學專業、年齡較大和較年輕的學習者或不同遠程學習經驗的學習者的認知也可能存在一些差異。

（三）學習者體驗下的遠程學習質量評價

隨著遠程教育的快速發展及其內涵的日益豐富，研究者開始意識到，以提供者為中心的質量保證方法可能是不夠的，并且忽略了質量保障因素的相互關系性質。通過從學習者的角度識別質量維度，闡明學習者和提供者的觀點的異同，可以為面向學習者的遠程學習質量改進提供幫助。[21]

傳統的評估形式集中在認知學習和知識獲取的目標上。然而傳統評估未能解釋學習者必須獲得知識以解決不斷變化、復雜的現實發展問題，因此，評估目標的討論已經從關注學習者的知識獲取轉向學習者能力的建立。[22]

其次，現有的視角不足以解釋學習者的“終身”特征，沒有注意到其可持續性及其支持特征。通過一個新的視角可以補充當前評估的發展，即當學生面對變化和未來挑戰時，以其體驗為基礎的責任承諾可能比他們增強學習者的能力和維持他們的主觀性更具決定性。

由于傳統的評估實踐假設知識高度固化、學生整齊劃一，沒有考慮到學習的復雜性，也難以證明遠程學習者如何運用他們的機構來應對不確定、快速變化的未來挑戰。為了讓學習者為他們的未來做好準備，評估必須超越基于知識的范式。評估的新趨勢不是專注于獲取事實知識，而是專注于如何發展知識，即所謂的“整體能力”。[23]為了確保一個人學習的有效性，這些學習者必須同時成為其學習的評估者。[24]作為評價者的學習者，確保其觀點的首要性是重要的，即允許學習者“接受自我評估的權威”。[25]

遠程教育發展面臨的挑戰之一是從發展學習者的認知向促進學習者自我導向的認知、影響和行動的轉變。質量評價任務則需要培養學習者的興趣，將他們的學習與未來和生活世界的環境聯系起來，而不是簡單地與現有課程或計劃聯系起來，這又回溯到了質量評價的本源。基于學習者體驗的質量評價，“解放了學習者去體驗他們可能是什么樣的可能性”，而不是“評估者提出的世界范圍”，[26]這不僅代表了學習者作為評估參與者的角色，而且展示了學習者的感知的首要性，“認可機構推動的常見評估實踐的逆轉”。[27]

一個人的學習過程、實踐表現和更多的自我反思，可能塑造學習者“自己最獨特的可能性”的知識和行為。[28]是學習者關心什么以及自己對如何通過參與學習，與未來的變化形成有意義的聯系的思考及自我認識過程。[29]僅僅依靠外部反饋和判斷可能破壞了學習者的完整性發展，學習者體驗基礎上的質量評估方法則可以更好地支持生活在變化背景下的終身學習者的發展，對學生評估其個人知識、感受和經驗的重要性是不言而喻的。

總之，從學習者為中心出發，為每個個體創造獨特的學習體驗，在學習者眼中建立學習的主導權，對學習質量評價的參與，可以使學習者在培訓期間和之后能夠更好地學習，也可使教育主辦者改進教育教學。[30]事實上，質量反饋作為一種資源密集型的活動，往往被學生（管理者）低估，有時被忽視，沒有形成管理者、教師和學習者的互動反饋。提供反饋時沒有參與的學習者就不太可能有效地將質量評價理論與實踐聯系起來。[31]離開了學習者體驗基礎，對遠程教育質量評價起碼是不完整的。學習者參與下的評估，有助于拓展作為終身學習者對生活的價值和意義的認識，[32]對于改進遠程教育質量管理也具有實際的意義。

二、研究設計

依據學習者中心的學術邏輯，基于結果導向的理論，以遠程學習者在學習全過程中體驗到的教學質量評價方法和內容的視角，從其學習需求出發，觀察其學習投入以及導致其學習效率（結果）差異，及其對自身學習評價到對學習組織認同的差異，從而發現教學質量管理改進的可能性。

其理論框架是：借助于可觀測的指標，即學習需求——學習投入——學習效率——學習評價——組織認同（質量保障管理的校際差異）——質量保障改進的邏輯過程，通過觀察學習者的學習需求（質量關注）、學習投入、學習效率、學習評價、組織認可度以及環境因素等對學習者的學習質量及質量管理評判的影響，在發現學習者對質量保障的關注點差異的基礎上，提出相應的改進對策。

三、問卷及數據分析

（一）問卷設計

問卷在參考美國高等教育學院委員會、南非國家遠程教育組織協會、歐洲遠程教學大學協會、瑞典國家高等教育局、韓國教育科技部（MEST）、加拿大等國家和國際組織制定的遠程教育質量評價標準基礎上，結合我國開放教育的實際進行設計。[33]問卷主要分為基本情況（包括性別、年齡、所學專業、完成課程、在學時間等）、學員體驗到的教學質量評價標準的重要性認識（包括戰略管理、專業建設、課程建設、信息化平臺、教學組織、學習評價、學習者支持、教師支持和質量保障等9個一級指標、27個二級指標、63個觀測點），試圖在學習者體驗視角下對教學質量評價進行改進，并以此反映當前遠程教育質量管理的現狀和關注點。主要變量賦值情況見表1。

（二）數據分析

采用問卷星在線調查平臺，以無記名方式，對上海開放大學系統范圍內17個分校（教學點）8 000多名在讀學生進行了網上問卷調查，回收有效問卷7 731份，對問卷采用Stata 13.0等進行處理，主要情況如下：

1.基本情況

在問卷質量上，從有效問卷答題者的實際答題所用時間看，平均用時10分鐘，總體答題較為認真，問卷質量較好。

（1）從學員基本情況看

首先，從性別比例看，男占37.3%，女占62.7%，女生略占一定優勢。其次，從年齡分布看，以青年學員為主，其中16—25歲占26.4%、26—35歲占46.8%、36—45歲占24.3%、46—55歲占2.3%、56—65歲和66歲以上分別占0.1%。

（2）從學員學習特點看

首先，從所學專業看，涉及學科門類廣泛，其中公共管理類最多，占41.3%，工商管理類占40.2%，機械制造類占7.1%，社會工作類占6.4%，計算機信息類占3.0%，語言教育類占1.3%，商業服務類占0.6%。其次，從所學專業層次看，以專科居多數，占90%，本科占10%。再次，從修完課程門數看，平均修完課程8.6門，中位數為6.0，方差為6.592，從尚未結束1門課程學習的新生，到修完幾十門課程的臨近畢業學生，完成課程門數差距較大，反映出學員修業進展的多樣化特點。最后，從在學時間看，較多分布的是兩年以內的學員，其中第一年的占40%、第二年的占36.5%、第三年的占14.4%、第四年的占5.4%、第五年的占2.9%、六年以上的占0.7%。

2.因子分析

在問卷設計中，對教學質量評價的指標分為9個一級指標、27個二級指標、63個觀測點。為了便于分析，對觀測點進行歸類降維處理，進行因子分析，采用最小二乘法，具有Kaiser正規化的Promax旋轉法，對因子采用回歸評分方法，生成新的變量。基于總體因子分析的KMO與Bartlett檢驗結果可知，KMO=0.994，P=0.000，適合進行因子分析。提取公因子后，以此作為新的變量，進入后面的回歸方程中。

3.回歸分析

Mlogit回歸和線性回歸結果顯示，不同學習需求、學習投入、學習效率、學習評價、制度環境差異等均對質量評價產生顯著影響，見表2、表3。

表2顯示，在學習需求方面，不同學歷層次、不同學科門類學生的學習需求對質量評價存在顯著差異。本科層次學生更看重專業建設，而專科學生對課程建設評價則更高，其他方面則沒有發現不同學歷層次存在顯著差異。在不同學科門類之間，對戰略管理的評價商業服務類顯著高于公共管理類;機械制造類對課程評價顯著高于公共管理類，但對信息化平臺評價工商管理類低于公共管理類，機械制造類則評價更低;在教學組織評價上，商業服務類顯著低于公共管理類，計算機信息類則評價更低;在學習者支持評價上，社會工作類顯著低于公共管理類，商業服務類則評價更低;但在專業建設、學習評價、教師支持和質量保障等方面，不同科類之間沒有發現存在顯著差異。

在學習投入方面，年齡、性別、修完課程門數、在學時間等因素對質量評價產生顯著影響。其中，隨著年齡組增大，對學習者支持的評價越低，對教師支持評價越高，對質量保障評價越低。女生對戰略管理、質量保障的評價比男生更低，學習評價則比男生要高。隨著修完課程門數的增加，對學習評價的評價也隨之升高。隨著在學時間增加，對教學組織的評價也越來越高。

從學習效率看，在單位時間內修完的課程門數越多，則對學習評價的評價越高，但對質量保障的評價越低。

從對學習評價的認可度看，答卷時間越長，意味著重視程度較高，則對學習評價、教師支持的評價越高。

表3則顯示，不同的制度環境對質量評價產生顯著影響。在戰略管理評價上，分校2、3顯著低于分校14，但分校16則高于分校14;在課程建設評價上，分校10、11分別顯著高于、低于分校14;在教學組織評價上，分校5低于分校11、13，高于分校14;在學習評價的評價上，分校2、11、13、16均顯著低于分校14;在學習者支持評價上，分校2、4、7均顯著高于分校14 ;在教師支持評價上，分校15、17則顯著低于分校14。

值得注意的是，在專業建設、信息化平臺、質量保障等方面，不同分校之間則不存在顯著差異。除此之外，被表3省略的情況還有，分校1、6、8、9、12與分校14之間在所有評價項目上沒有表現出顯著差異。經過進一步交互分析，發現同一分校不同年級學員評價沒有存在顯著差異，但不同學校同一年級學員存在顯著差異。

四、結論與建議

（一）結論

（1）不同的學習需求影響學習者的體驗判斷。其從事職業與所學學科專業有一定相關性，也意味著成人學習者更考慮對口問題，其專業（背后的職業特征）對學習需求以及質量關注的差異影響學習者的體驗評判。

（2）學習投入差異影響學習者的體驗判斷。由于年齡的變化、性別差異及家庭負擔影響學習時間和精力等投入，隨著修課門數的增加、在學時間的延長，對學習評價的體驗也會發生變化。

（3）學習效率的高低影響學習者的體驗。影響學習效率的因素可能很多，但總體而言，學習效率越高，對學習的評價也更正面。

（4）以答卷時間作為觀測點，其認真程度間接反映對學習（學校）的認可度。答卷時間越長，評價越正面，反之亦然。

（5）制度環境差異影響學習者的評判。在大的制度背景相似的情況下，不同分校的管理差異影響學生評價，同一分校不同年級學生的評判不存在顯著差異，意味著不同分校內部的制度環境和教學管理質量具有一定的穩定性。

（二）建議

（1）從進一步滿足學習者需求出發，根據學習者學歷層次、學科專業的差異，改進學校戰略管理，加強專業和課程建設，完善信息化平臺，優化教學組織，更好地增進對學習者的支持。

（2）不斷為增進學習者投入提供條件，根據學習者年齡、性別及學習進度的個性差異，改進教學組織和學習評價，優化學習者支持、教師支持和質量保障系統。

（3）從提高學習效率、增進學習者的組織認同出發，持續改進學習評價內容和方法，改進質量保障措施。

（4）創新組織管理。實現教學質量管理的持續改進，既要做好全國開放教育宏觀教育管理制度政策的制定、實施，使共同的質量標準落到實處，又要在中觀、微觀層面做好細致的制度創新工作，形成有特色的辦學風格。對于具體經驗要及時交流推廣，同時，要結合實際工作積極開展相關研究，不斷提高遠程教育的理論研究水平。

【參考文獻】

[1]Spady W G. Outcome-based education： Critical issues and answers[M].Arlington： American Association of School Administrators， 1994.

[2]杜威，高建平.藝術即經驗[M].北京：商務印書館，2005.

[3]KATJA BATTARBEE， ILPO KOSKINEN. Co-experience： user experience as interaction[J].Codesign， 2005，1（1）：5—18.

[4]Harvey， L.， Burrows， A.， & Green， D. （1992）. Total student experience： A first report of the QHE national survey of staff and students'?views of the important criteria of quality. Birmingham， UK： QHE.

[5]Benckendorff， P.， Ruhanen， L.， & Scott， N. （2009）. Deconstructing the student experience： A conceptual framework， Journal of Hospitality and Tourism， 16（1）， 84—93. https：//doi.org/10.1375/jhtm.16.1.84.

[6]Laird， T. N.， Shoup， R.， & Kuh， G. （2005）. Deep learning and college outcomes： Do fields of study differ？ The Annual Meeting of the Association for Institutional Research， May 29 – June 1， 2005 San Diego， CA.

[7]Erin A. Crisp，？ Curtis J. Bonk Defining the Learner Feedback Experience TechTrends， 2018， Vol.62（6）， pp.585—593.

[8]Knowles， M. S. （1984）. Andragogy in Action. Applying modern principles of adult education. San Francisco， CA， USA： Jossey Bass.

[9]Yoo， Sun Joo; Huang， Wenhao David. Engaging Online Adult Learners in Higher Education： Motivational Factors Impacted by Gender， Age， and Prior Experiences Journal of Continuing Higher Education， v61 n3 p151—164 2013.

[10]Shi， Hong. Planning Effective Educational Programs for Adult Learners.World Journal of Education， v7 n3 p79—83 2017.

[11]Dakin， Glenn H. Learning to Learn： A Student Centered Instructional Strategy. https：//files.eric.ed.gov/fulltext/ED583778.pdf.

[12]McDonough， Darlene. Providing Deep Learning through Active Engagement of Adult Learners in Blended Courses. Journal of Learning in Higher Education， v10 n1 p9—16 Spr 2014.

[13]Twigg， C. A. （2001）. Quality assurance for whom？ Providers and consumers in today's distributed learning environment. Retrieved May 14， 2010， from http：//www.thencat.org/Monographs/Mono3.pdf.

[14]Insung Jung. The dimensions of e-learning quality： from the learner's perspective. Education Tech Research Dev （2011） 59：445—464.

[15]McNaught， C. （2001）. Quality assurance for online courses： From policy to process to improvement？ In G. Kennedy， M. Keppell， C. McNaught， & T. Petrovic （Eds.）， Meeting at the crossroads. Proceedings of the 18th annual Australian society for computers in learning in tertiary education 2001 conference（pp. 435—442）.University of Melbourne， 9—12 December. Retrieved December 10， 2009， from http：//www.ascilite.org.au/conferences/melbourne01/pdf/papers/mcnaughtc.pdf.

[16]Dondi， C.， Moretti， M.， & Nascimbeni， F. （2006）. Quality of e-learning： Negotiating a strategy， implementing a policy. In U. D. Ehlers & J. M. Pawlowski （Eds.）， Handbook on quality and standardization in e-learning （pp. 31—50）. Berlin： Springer.

[17]Jung， I. S. （2008）. Quality assurance and continuous quality improvement in distance education. In T. Evans， M. Haughey， & D. Murphy （Eds.）， International handbook of distance education （pp. 609—624）.London： Emerald Group Publishing Limited.

[18]Cashion， J.， & Palmieri， P. （2002）. The secret is the teacher： The learners'?view of online learning. Leabrook， Australia： National Center for Vocational Education Research. Retrieved July 21， 2010， from http：//www.ncver.edu.au/research/proj/nr0F03a.pdf.

[19]Kirkpatrick， D. （2005）. Quality assurance in open and distance learning. Vancouver： Commonwealth of Learning. Retrieved January 14， 2010， from http：//www.col.org/SiteCollectionDocuments/KS2005_QA.pdf.

[20]Hay， D. B.， Kehoe， C.， Miquel， M. E.， Kinchin， I. M.， Hatzipanagos， S.， Keevil， S. F.， et al. （2008）. Measuring the quality of e-learning. British Journal of Educational Technology， 39（6）， 1037—1056.

[21]Insung Jung. The dimensions of e-learning quality： from the learner's perspective. Education Tech Research Dev （2011） 59：445—464.

[22]Sitthisak， O.， Gilbert， L. & Davis， H. C. （2007） “Towards a competency model for adaptive assessment to support lifelong learning”， paper presented at the TENCompetence Workshop on Service Oriented Approaches and Lifelong Competence Development Infrastructures， January 11—12， in Manchester， UK.

[23]Beckett， D. （2008） “Holistic competence： putting judgements first”， Asia Pacific Education Review， 9： 1， 21—30.

[24]Boud， D. （2000） “Sustainable Assessment： rethinking assessment for the learning society”， Studies in Continuing Education， 22： 2， 151—167.

[25]Brew， A. （1999） “Towards autonomous assessment： using self-assessment and peer assessment”， in S. Brown & A. Glasner （eds.）， Assessment matters in higher education： Choosing and using diverse approaches， Buckingham， UK： Open University Press， 159—171.

[26]Gibbs， P. （2011） Heidegger's contribution to the understanding of work-based studies. Dordrecht ： Springer.

[27]Strawser， M. （2009） “Assessment and experience”， Faculty Focus， 8： 1， 4—5.

[28]Heidegger， M. （1978） Being and time （Trans. J. Macquarrie and E. Robinson.） London， England： Blackwell.

[29]Polanyi， M. （1962） Personal knowledge. London： Routledge and Kegan Paul.

[30]Bahgat， Mohamed; Elsafty， Ashraf; Shaarawy， Ashraf; Said， Tamer. FIRST Framework Design and Facilitate Active Deep Learner Experience.Journal of Education and Training Studies， v6 n8 p123—138 Aug 2018.

[31]Peacock， Susi，Murray， Sue，Scott， Alison Executive summary-Exploring the learner experience of ePortfolios for formative and summative feedback in healthcare education. https：//eresearch.qmu.ac.uk/handle/20.500.12289/2798.

[32]Su， Ya-Hui Targeting Assessment for Developing Adult Lifelong Learners： Assessing the Ability to Commit. Australian Journal of Adult Learning， v55 n1 p75—93 Apr 2015.

[33]程新奎，王國清.遠程教育質量保障的國際經驗：一個綜合性框架：五個代表性質量保障框架的分析與綜合[J].成人教育，2019（2）：11—20.