









摘" "要:文章采用日記法收集來自16個國民經濟行業的真實工作場景下具有學習特征的搜索任務實例,結合任務概念框架對搜索任務進行表征,構建面向“搜索即學習”研究的多維任務集,并進一步剖析了真實工作場景下搜索任務的屬性特征,對任務相關特征、參與者認知變化、行為及關系進行探討,根據參與者的學歷層次、完成任務的認知層次,以及在完成任務時所處的時間壓力進行分組比較三組變量間的關系。研究發現:參與者的任務執行熟悉度與任務感興趣程度,所需信息類型的數量顯著影響認知變化,任務執行者特征對認知變化與行為的影響在不同情境下均存在顯著差異。本研究開發的任務集可作為“搜索即學習”研究的公共研究資源,以及評估生成式人工智能技術復雜任務處理能力的評測集,為開發面向真實工作任務情境與高效的信息系統提供依據。
關鍵詞:信息搜尋行為;搜索即學習;任務庫構建;任務類型;認知變化
中圖分類號:G354.2" "文獻標識碼:A" "DOI:10.11968/tsyqb.1003-6938.2024012
\"Searching as Learning\" Task Library Construction and Analysis in Real Work Contexts
Abstract In this paper,the diary method is used to collect the search task examples with learning characteristics from 16 national economic industries in real work context,and the search task is characterized in combination with the task conceptual framework to construct a multidimensional task library for \"search-as-learning\" research,and further analyze the attributes and characteristics of search tasks in real work context. Task-related characteristics,cognitive changes and behaviors of participants,and relationships of them were discussed,and the relationships among the three groups of variables were compared according to the participants’ educational level,cognitive level of completing tasks,and time pressure of the participants when completing the task. The results showed that the participants' familiarity and interest in the task,and the amount of required information types significantly affected the cognitive changes,and the influence of the characteristics of the task performers on the cognitive changes and behaviors was significantly different in different contexts. The task library developed in this study can serve as a public research resource for \"search as learning\" research,as well as an evaluation set for evaluating the complex task processing ability of AIGC technology,providing a basis for developing efficient information systems for real-world work task contexts.
Key words information search behavior; search are learning; task library construction; task type; cognitive change
信息技術和網絡技術的發展重構了人們的信息獲取方式,用戶已經習慣于以便捷的方式與搜索系統進行交互。但對有學習需求的人而言,他們當前已不再滿足于利用信息檢索系統僅僅以解決簡單的信息需求——即獲取相對明確的事實型信息,而是期待獲得更加高效的學習效果。隨著真實工作與學習情境下的用戶檢索任務的日益復雜,信息檢索系統的哪些功能和界面的優化設計能更好地滿足人們學習情境下的信息需求,以實現從信息檢索工具到學習空間的轉變這是當前本領域學術共同體所關注的核心問題[1]。“搜索即學習”(Searching As Learning,SAL)這一主題獲得了國內外學者的持續關注。SAL是將信息搜索過程概念化為用戶通過多種搜索活動對相關信息進行分析、評估和使用,創造出新知識的學習過程。與一般意義的信息檢索所不同,“搜索即學習”不僅僅是關注搜索輸出結果,它更強調搜索過程中產生的學習行為,即用戶認知變化以及搜索任務的學習產出[2]。
學習發生在搜索任務期間,不同的任務類型會導致搜索過程及搜索結果出現差異,進而影響學習效果。如用戶完成分析型任務時的搜索行為最為復雜,體現在花費的時間最多、采用的搜索策略步驟最多、點擊搜索結果頁面次數最多等[3]。伴隨著不同認知水平搜索任務的學習過程,用戶的學習效果,即在習得知識、分析綜合、知識創新以及學習態度上均有不同的變化[4];搜索前后在知識點數量、知識面數量、知識面廣度和知識面深度上的提升也有差異[5]。
為了更好地探究信息搜索過程中知識變化、以及分析用戶完成搜索任務時的學習機制,創建和設計面向“搜索即學習”研究的搜索任務至關重要。已有研究探索了用戶的知識水平[6]、搜索能力[7]、認知風格[8]等學習者特征以及任務類型[9]等對用戶搜索行為、策略以及學習效果的影響,但并未涉及面向“搜索及學習”的任務集構建,實驗所需的模擬仿真任務大多僅僅從認知過程維度進行設計,且收集的是較短時間內的行為數據,部分學者使用真實的場景進行研究,但也僅限于學生的工作場景如完成課程作業等[10]。總體而言,當前研究關注的任務類型范圍較小且任務較為單一,尤其是真實工作場景下的“搜索即學習”發生機理目前尚未完全明晰,有必要對真實工作場景下的搜索任務進行深入研究。
本研究從真實的工作場景下收集具有學習特征的搜索任務,構建面向“搜索即學習”研究的多維任務集,不僅可應用于學習相關的搜索特征研究和搜索系統研究等,還能作為“搜索即學習”研究的公共研究資源;同時由于生成式人工智能技術通過問答式對話完成特定檢索任務的能力不斷增強,目前已逐漸成為用戶使用的一種高效的搜索模式,“搜索即學習”任務集涵蓋了不同認知層次的搜索任務,因而還可以作為評估生成式人工智能技術復雜任務處理能力的評測集,以有效地比較生成式人工智能技術的能力并提供有價值的診斷結果。
1" "文獻綜述
1.1" " “搜索即學習”任務研究
目前已有的SAL實證研究的任務設計主要分為兩大類:第一類是在實驗的環境下,根據任務復雜性的特征設計模擬仿真搜索任務。研究者們近年來開始嘗試從認知角度設計任務的復雜性,大多研究都是基于Anderson和Krathwohl提出的二維分類中的認知過程維度[11]——即修訂后的Bloom認知分類法作為設計任務的標準,將認知的復雜程度分為六個層次:記憶、理解、應用、分析、評估和創造,復雜性隨著認知復雜度的升高而逐漸增高。如Jansen等、Wu等、Kelly等、Ghosh 等的研究[12-15]都是依據該分類法來設計SAL 搜索任務,以探討不同認知程度下搜索任務之間的用戶搜索行為以及學習效果等差異。也有研究根據Lee等提出的認知分類模式[16],設置并運用了接受型的學習、評價型的學習和創造型的學習這三類學習任務。基于認知學習模式設計任務的研究則更適用于對認知過程和學習策略的探索,如Liu等、宋筱璇和劉暢、郭海玲和宋佳琳都分別對學習型搜索中用戶信息源選擇和使用策略、各學習階段的視頻搜索行為進行研究[5,17-18];趙一鳴等根據目標屬性將任務類型分為目標明確型任務和目標模糊型任務,探索用戶在移動端信息搜索中的搜索路徑特征如何對搜索效果產生影響[19];Chen等設置與健康相關的探索式任務,深入分析了消費者在健康相關搜索任務中對檢索平臺切換路徑的修改和學習特征[20]。
第二類是真實的學習任務中加入搜索任務。用戶信息搜索過程中學習機理的發生既可能是因為一個明確的學習目標,也可能是間接地作為參與工作任務的一部分進行的。如Chen等將短論文作為大學生的課程作業設置真實的學習任務,分析了學生為完成論文而進行搜索的整個錄屏過程,以探索主題熟悉度對大學生學習搜索過程的影響[21];張瑤和劉暢通過本科生課業信息搜尋行為問卷,收集了來自162門課程的作業信息和學生完成這些作業的信息搜尋行為,探究了課程特征、作業類型和作業的認知層次與學生課業信息搜尋行為之間的關系[22];王志紅和曹樹金以課程論文寫作為場景,采用日記法收集和分析真實工作任務下的數據,探索大學生的信息搜索與利用行為特點,及其在任務完成過程中的差異[23];Hoyer等通過觀察學習者在完成家庭作業時的信息行為,提出了一個交織心理與技術層面的學習飛船模型,以描述學習情境下用戶如何通過信息檢索系統獲取網絡媒體資源的過程[24]。一般真實工作場景下研究SAL活動可能會受到其他情境屬性的限制,如時間限制,因此這類研究目前尚不充分。
1.2" " 信息搜索任務庫的構建與分析研究
在任務庫的構建方面,由美國國家技術標準局(NIST)和美國國防部聯合主辦的文本檢索會議(TREC)被視為文本檢索領域最具權威性的評測會議。自1991年舉辦了第一屆會議以來,現今IT界企業科研機構和一流學府每年都會參加,并且參與者數量不斷增加。該會議分為幾個主要方向,包括問題回答、特定領域檢索和傳統Web檢索等。會議負責組織收集和向參與者提供標準的語料庫、檢索條件和問題集,以及評測方法。參與者需要在規定的時間內構建信息檢索系統并檢索結果提交給會議。最終依據會議的評測結果召開學術交流大會,根據檢索系統和檢索結果發表相關的會議論文。與之類似的平臺還有NTCIR,這些平臺推動了大規模任務庫的發展。任務集的主題包括專利、醫學、教育等多個領域,同時涉及圖像搜索、文本搜索、語音搜索等多種類型的搜索系統。大規模測試集不僅構建周期較長,且需要耗費大量的物力、人力。因此,國外還構建了一些小型的任務庫(測試集),包括CACM、ADI、ISI、INSPEC、MEDLARS等。在這些測試集中,文檔集的規模多數在1000-3000之間,查詢主題的數量在100左右,文檔集和查詢集的內容范圍都限定在某一具體領域。
目前,我國在任務庫構建方面還處于初級階段,大規模開發的任務庫很少。北京大學的相關團隊參考TREC的任務庫構建了大規模的中文網頁信息檢驗任務庫(Chinese Web Test collection,CTW),查詢主題集包括兩類任務:HPNP任務(Home Page finding/Named Page finding task,導航搜索任務)和TD任務(Topic Distillation,主題提取任務),兩類任務分別有1185個、285個。此外國內也有小規模的任務庫開發,徐建民和王平參照TREC構建了小型中文測試集,其中包含文檔集、查詢主題集和相關文檔集,研究將各種計算機期刊中1583篇中文文檔作為測試集,通過篩選,最終確定了15個查詢主題,并采用ISJ(Interactive Searching Judgement)方法判斷文檔相關性,構建了一個相關文檔集[25]。
隨著大語言模型的蓬勃發展,“搜索即學習”任務也迎來了全新的搜索環境,生成式人工智能技術通過對話形式引導用戶完成特定的檢索任務,使其在問答的過程中進行學習,逐漸成為了未來的發展趨勢。而為了評估通過對話引導用戶完成特定任務的技術方法的性能和效果,這其中涉及生成式人工智能技術測評集的構建。如Yu等參考了Bloom認知體系,根據知識的認知層級,將評測任務分成知識記憶、知識理解、知識應用、知識創造四個層級,提出了KoLA評測基準,從深度而非廣度去衡量大語言模型處理世界知識的能力[26]。
總的來說,Aamp;K的二維分類在搜索任務設計中得到了廣泛應用,但除了Urgo等在實驗任務中對知識維度進行控制[27],大多研究僅限于認知過程維度,且沒有根據標準的流程進行用戶實驗任務設計,會出現不同認知層次的搜索任務間差異不明顯的現象,從而導致研究結果的偏差,因此需要進一步完善設計搜索任務的框架。新興的生成式人工智能技術提供了一種全新的搜索模式,傳統的面向信息檢索系統的評測任務難以滿足新的評測需求,因而需要設計涵蓋范圍更廣、認知層次更多元化的搜索任務。其次,SAL研究大多限定在學生這一群體。除了正式的教育環境外,學習也會發生在工作場所,但往往在日常工作任務中幾乎沒有被注意到。Nwagwu和Segilola在研究中對啤酒廠的288名工程師進行了調查,結果發現工程師主要想獲得關于該領域的新發現和如何使用新設備的相關信息[28];互聯網是首選和使用最多的信息源。在SAL研究領域,真實工作場景下搜索任務對研究結果的影響我們仍缺乏了解。
2" "“搜索即學習”任務集構建
2.1" " 任務數據收集方法
任務數據收集方法包括背景調查問卷、日記表和日記后的訪談。背景問卷收集參與者的人口統計數據,如性別、年齡、教育程度、工作單位和職位等信息。日記法,并以事件抽樣的方式用來收集真實的工作任務。在日記研究中,事件抽樣法可以是在以不同或相同時段為間隔的固定時間點等要求參與者進行記錄,或者在某個固定事件出現之后進行記錄[29]。由于真實工作場景下,參與者的任務分為長線任務或是需要在一段時間內盡快解決的臨時任務,因此這里的事件指的是參與者為了完成真實工作任務而進行的信息行為。參與者決定何時將相關信息記錄到日記表中,并將填好的日記表反饋給研究人員。在日記發放之前,我們先向所招募的參與者解釋說明研究的目的、過程以及所要求記錄的日記內容等,確保其能準確清晰地理解日記記錄過程及所需記內容。
實驗還提供了一般的書面說明和一個示例日記來指導日記的完成。日記主要由三部分構成。第一部分用來收集參與者工作任務的任務執行者特征(通過李克特7點量表測量)。人們的學習搜索活動需要通過信息獲取活動與信息使用活動多輪迭代,從而實現最終學習的目的[30],因此第二部分主要根據Ellis信息搜尋行為模型[31]:任務-分解-辨別-抽取-驗證-結果,改善后形成日記表的主體部分。其中時間為信息搜尋行為發生的時間和耗時;任務為任務名稱和要做的事情;分解目標為這個任務有什么要求;知識背景為對此信息搜索行為有哪些知識背景;搜索過程為信息源選擇和對信息辨別抽取的過程;判斷和評估信息為搜集信息的驗證過程;結果為信息搜索行為的產出和應用效果。第三部分的題項與實例用來幫助參與者判斷在完成搜索后的自身認識變化水平。
在參與日記研究后的兩周內,研究人員會對參與者安排日記后的采訪。每次采訪的時長從30分鐘到60分鐘不等。這些訪談是半結構化的,并引起了對日記條目的進一步解釋,從而提供了對相同數據的補充觀點,研究人員記錄了采訪的內容。通過日記表結合對用戶的深度訪談,從而收集真實工作場景下學習相關的信息搜索任務。
2.2" " 樣本描述
為了獲得全面的任務樣本,本研究在企業、學校和公共管理機構等多種工作情境下進行了參與者招募,最終有效參與50人,男、女分別為27人和23人,各占54%和46%。日記以在線問卷的方式進行發放,每個參與者可以填寫多份日記,每份日記調查一項工作任務的情況。
本研究一共收集有效工作任務57個,平均每個人產生1.1個工作任務,單個工作任務耗時從分鐘到幾十個工作日不等。參與者的學歷從專科覆蓋到博士研究生,年齡分布在22歲-49歲。工作任務數據來自衛生和社會工作(如天門市第一人民醫院、中部戰區總醫院等),商貿金融(如中信證券、中國平安等),信息傳輸、軟件和信息技術服務業(如斗魚、快手等),科學研究和公共服務業(如上海御渡、小米科技等)等16個國民經濟行業門類的單位。參與者職位類型多樣,按照國民經濟行業分類中關于單位活動的劃分,參與者職位功能中82%為主要活動(如項目經理、理財顧問),18%為次要活動或輔助活動(如行政等)。
2.3" " 任務集的構建方法與流程
任務類型的劃分,取決于任務的內部和外部特征。本研究結合孫麗和曹錦丹提出的任務概念框架[32]對真實工作場景下收集到的任務進行表征從而劃分任務類型,并根據真實性、拓展性、標準型三個原則構建來自不同行業面向“搜索即學習”研究的多維搜索任務集(任務分類框架與涉及到的變量的描述和具體分組見表1)。
任務的外部特征來源于其所具有的環境屬性與情景屬性。在任務的環境屬性中,任務執行者特征對信息搜索和使用行為以及學習發生過程都具有重要影響。據此,選取任務執行者特征作為任務的外部特征劃分指標,根據Li和Belkin任務分面分類體系[33]中關于任務主題和任務執行過程的知識水平,分為參與者對搜索前的任務話題熟悉度和任務執行熟悉度。另外,興趣可能有助于參與者維持努力和促進對搜索任務更深的處理,在堅持完成任務后,用戶對搜索主題的理解水平會有所提高,由此考慮將用戶對任務的感興趣程度也納入任務執行者特征指標。時間情境指的是在不同時間產生的信息行為。在真實的工作任務中,不同時間情境在信息搜尋和信息搜索過程中起到的作用也存在差異。由于真實場景下的工作任務基本都有時間限制,因此在情境屬性中,本文根據參與者在完成任務時所處于的時間壓力,將任務按照時間維度可分為2種不同的類型:高時間壓力的、低時間壓力的任務。時間壓力指的是作為完成任務時給予參與者的有限時間,只要在決策進行之前,可用的時間少于正常完成一項任務的時間便會形成時間壓力[34]。
任務的內部特征則從任務主題和任務屬性兩個維度出發對任務類型進行劃分。根據Curlie目錄(www.Curlie.org)將真實工作任務劃分為商業、健康、新聞、游戲等主題;根據Aamp;K分類法[11]的認知層次,將任務按照認知復雜程度劃分為:低認知層次任務(理解、應用)和高認知層次任務(分析、評價、創造)。
2.4" " 數據分析方法
除了對任務進行特征剖析以外,本研究還考慮分析真實工作場景下用戶的信息搜尋行為活動,這是因為信息搜尋行為不僅反映的是尋找相關信息的過程,同時也是一個涉及多種認知活動的學習過程[35]。尤其在真實工作場景中,更深層次的任務變量(特征)與信息搜尋行為變量關系的研究仍需探索。
在數據分析之前,本研究還關注參與者在信息搜尋過程中尋找的信息類型及數量、信息搜尋起點、信息源的選擇及其選擇使用的數量,并根據已有研究構建相應的編碼方案[36]。將參與者完成工作任務時尋找的信息類型依據安德森[11]的知識類型分類劃分為事實型、概念型、技能型;由于面對不同的工作任務,針對性地選擇合適的信息源可能會取得更佳的學習效果[37],將參與者使用過的信息源劃分為通用搜索引擎、商業數據庫、專業垂直類網站、公司官網、政府和教育等組織機構網站、社會性平臺網站、熟人社交平臺和軟件;信息搜尋的起點反映的是工作人員對學習任務和信息源匹配程度的評估,也能從一定程度上反映自身對當前任務的理解[38],將工作人員在接到任務后,首先想到的某個信息源劃分為人際信息源,網絡信息源,公司文檔/數據庫,記錄/文獻/報告。
數據分析方法以定量統計分析為主,包括單因素方差分析、Spearman與Pearson相關系數。其中,單因素方差分析與Spearman相關系數用于檢驗分類變量與連續變量之間的相關性,Pearson相關系數則是用以反映連續變量之間相關關系的密切程度。
3" "“搜索即學習”任務集分析
為了進一步剖析真實工作場景下“搜索即學習”任務屬性特征,并對用戶在執行這些工作任務的過程中的認知變化和表現行為進行分析。同時,用戶在完成與學習相關的信息搜索工作任務的過程中,其領域知識結構同時也是一個發生變化的過程[39]。因此,本研究還分析了任務相關特征、認知變化與行為之間的關系。
由于時間情境在真實的學習任務中對研究結果具有重要影響[40],且參與者的學歷層次跨度大,按照時間壓力的高低、參與者的學歷層次、任務認知層次高低對任務樣本進行分組,以便更加深入探討三組變量之間的關系。
3.1" " 任務特征分析
通過對收集的任務數據進行分詞與詞性劃分,以及句法分析來編碼工作任務的主題與認知復雜度,以此對任務集內的任務特征進行分析。
3.1.1" "任務主題
在任務主題方面,由于一條工作任務描述中包含多個詞條,可以同時劃分為多個不同的主題,如任務:“了解java應用性能的配置文件調優方法”,可以同時劃分為“科學”和“計算機”主題下。57個工作任務的主題類別共編碼121次,一項工作任務包含1-5個主題類別,平均2.12個主題類別。與學習相關的搜索主題主要集中在“商業”,其他依次是“科學”“參考”“社會”和“計算機”這5大類,分別占任務量的59.65%、36.84%、26.32%、24.56%、24.56%。分析“搜索即學習”工作任務的主題頻率分布(見圖1)可以發現:“休閑”“健康”“地區”“新聞”“游戲”“藝術”“購物”“兒童與青少年”這8個主題在任務中有少量出現。“家庭”和“體育”主題在本研究樣本中沒有出現。
3.1.2" "認知復雜程度
根據日記表“分解目標(這個任務有什么要求)”以及“搜索過程(使用什么,查詢什么,得到什么信息;或問了誰,得到什么建議)”部分的內容,以此作為任務認知復雜程度與所需信息類型的劃分依據(具體釋義與實例見表2)。
在認知層次方面,認知層次低的工作任務占54.38%,其中理解型與應用型任務分別為17.54%、36.84%;認知層次高的任務占45.62%,其中分析型、評價型、創造型的任務分別占比為17.54%、12.28%、15.79%。
3.2" " 任務執行者特征、行為與認知變化分析
3.2.1" "執行者任務主題熟悉度與任務執行熟悉度
在任務主題熟悉程度方面,參與者對所執行任務主題非常了解的任務出現頻率為54.39%,19.30%的工作任務其執行者對其工作任務的主題了解程度為中,即對所執行的任務有部分知識基礎,只有26.32%的工作任務其執行者對它的主題基本完全不了解。
在任務執行熟悉程度方面,71.93%的工作任務其執行者對它的執行程序非常了解,8.77%的工作任務其執行者對執行程序部分了解,只有19.30%的任務其執行者對任務執行程序了解的很少。
3.2.2" "任務感興趣程度
在參與者對工作任務的感興趣程度方面,70.18%的參與者對其工作任務非常感興趣,14.04%的參與者對其工作任務的感興趣程度為一般,15.79%的參與者對其需要完成的工作任務基本完全不感興趣。由此可以統計出為任務執行者特征的分布(見表3)。
3.2.3" "信息類型、信息源及信息搜尋起點的選擇
在所需信息類型方面,由于參與者在完成工作任務中所尋找的信息類型通常不止一種,因此同樣采用單任務多次編碼的方式進行分析。統計發現,根據單個任務所需信息類型,57項任務共計編碼85次。其中事實型信息54次(63.53%)、技能型信息25次(29.41%)、概念型信息6次(7.06%)。各信息類型所在任務占總體任務的比率中,94.74%的工作任務需要事實型信息完成任務,43.86%的工作任務需要技能型信息,概念型信息出現在10.53%的工作任務中。分析單個“搜索即學習”工作任務所需信息類型的數量分布(見圖2)可以發現:有59.65%的任務只尋找其中一種信息類型參與者便能完成其工作,有31.57%的任務需要尋找兩種信息類型以完成,僅僅只有8.77%的任務需要同時三種類型的信息才能完成。
在各類信息源中,參與者在完成低認知層次的任務時,通用搜索引擎(如百度、搜狗)、社會性平臺網站(如CSDN博客、微博、知乎)、政府和教育等組織機構網站,為三類最常使用的信息源,使用比例分別達到67.7%、41.9%、41.9%。專業垂直類網站(如房天下、天眼查)、商業數據庫(如Wind數據庫)的使用比例較小,分別為25.8%、19.3%。公司官網為其使用最少的信息源,僅占6.4%;對于高認知層次的任務而言,通用搜索引擎、專業垂直類網站使用的比例最高,約為50%。政府和教育等組織機構網站、社會性平臺網站、熟人社交平臺和軟件三類信息源的使用比例次之,均為30%左右。商業數據庫、公司官網的使用比例為26.9%。
在信息搜尋起點的選擇方面,對不同認知層次工作任務分布統計(見圖3)發現,在低認知層次的任務中,38.7%的參與者選擇以網絡搜索引擎作為起點。25.8%的參與者選擇以人際信息源作為起點,如詢問同事、專家。19.4%的參與者選擇以公司文檔/數據庫作為起點。16.1%的參與者選擇以記錄/文獻/報告作為搜尋的起點;在高認知層次的任務中,大多數參與者同樣會選擇以網絡搜索引擎作為搜尋起點,使用比例達到42.3%。其次,23.1%的參與者選擇以公司文檔/數據庫、記錄/文獻/報告為信息搜尋的起點。僅有11.5%的參與者會選擇以人際信息源為搜尋起點開展任務所需的信息搜索。
3.2.4" "任務執行者的認知變化及其相關分析
“搜索即學習”任務集中的任務完成后用戶的認知變化,由用戶個人判斷,根據Rumelhart和Norman對認知變化的劃分,分為三種類型,即增加、調整和重建[41]。增加即在現有知識結構中逐漸增加事實信息,但知識結構不發生改變;調整即調整概念的范圍和含義及其關系,并對現有知識結構進行微小的修改;重構即改變和替換知識結構中的概念及其關系,對現有結構的徹底改變或建立新的知識結構,分別占總共任務量的56.14%、33.33%與10.53%。
通過分析真實工作場景下三類認知變化的任務分布,本研究發現認知變化為“重構”的搜索任務數量較少,據訪談用戶認知變化在搜索前后發生比較大變化總結的原因有:(1)剛進入當前所在的行業,對行業背景的了解比較初步,因此通過搜索后便對行業背景的全貌有了更加深刻的認識;(2)對該工作任務非常有興趣,因此愿意花費更多時間和精力去豐富自身的知識結構;(3)對該工作任務第一次接觸,并且通過高效的搜索系統能取得較好的學習效果。針對哪些變量會對參與者完成搜索任務后的認知變化產生影響,在此基礎上,本研究進行了相關性分析(見表4),p值低于0.1則表示變量之間顯著相關,即參與者的認知變化均與任務執行熟悉度、感興趣程度以及所需信息類型的數量顯著相關。
3.3" " 異質性分析:任務執行者特征、行為與認知變化
本研究根據參與者所處于的時間壓力、學歷層次,以及其完成任務的認知層次對工作任務樣本進行分組,嘗試比較不同情境下,任務執行者特征、參與者的認知變化與行為之間的關系是否存在顯著差異。
3.3.1" "時間情境異質性
經統計,57.89%的參與者認為其是處于高時間壓力的條件下完成工作任務的,而42.11%的參與者完成其工作任務是處于低時間壓力的條件下,即參與者認為擁有相對充足的時間完成其所進行的工作任務。對不同時間情境下的相關性分析顯示(見表5),任務執行者特對參與者認知變化和行為的影響在不同時間情境下存在明顯差異。低時間壓力的條件下,參與者對任務的感興趣程度與認知變化呈顯著的正相關關系(p=0.033lt;0.05),與信息搜尋的起點存在顯著關系(p=0.008lt;0.05)。且參與者對任務主題、執行過程的熟悉度以及感興趣程度與信息源的選擇數量呈顯著負相關關系(p=0.004、0.007、0.045lt;0.05);在高時間壓力的條件下,參與者對任務主題熟悉度與所需信息類型的數量呈顯著的正相關關系(p=0.087lt;0.1),并且對任務主題的熟悉程度越高,越傾向于尋找事實型信息(p=0.055lt;0.1)。此外,參與者對任務執行過程的熟悉度與認知變化呈顯著的負相關關系(p=0.003lt;0.05)。
3.3.2" "學歷層次異質性
經統計,10.53%的參與者為專科學歷,本科學歷的參與者有45.62%,碩博研究生人群在參與者中占比43.85%。對不同學歷層次下的相關性分析顯示(見表6),不同學歷背景下,任務執行者特征對其認知變化和行為的影響存在顯著差異。學歷背景為專科的參與者,其主題熟悉度與認知變化呈顯著的負相關關系(p=0.013lt;0.05),與信息搜尋的起點同時存在顯著關系(p=0.072lt;0.1);學歷背景為本科的參與者,其主題熟悉度、執行熟悉度均負向影響所需信息源的數量(p=0.062、0.038lt;0.1);學歷背景為研究生的參與者,其主題熟悉度、感興趣程度均正向影響所需信息類型的數量(p=0.06、0.079lt;0.1)。參與者對工作任務主題的熟悉程度越高,越傾向于尋找事實型信息與概念型信息(p=0.084、0.09lt;0.1)。
3.3.3" "任務認知層次異質性
經分析,研究結果發現在參與者完成不同認知層次的任務時,任務執行者特征對其認知變化與表現行為的影響存在顯著差異。對不同認知層次任務下的相關性分析顯示(見表7),當參與者完成低認知層次的任務(理解、應用)時,其主題熟悉度與信息源的數量呈顯著的負相關關系(p=0.059lt;0.1),與所需信息類型的數量呈正相關關系(p=0.016lt;0.05),并且當參與者對任務主題熟悉程度越高,在搜索信息時越傾向于技能型信息。此外,參與者對任務感興趣的程度與搜索時所需的信息源數量呈顯著的負相關關系(p=0.089lt;0.1);當參與者完成高認知層次的任務(分析、評估、創造)時,其對任務的感興趣程度與認知變化呈顯著的正相關關系(p=0.086lt;0.1)。
4" "研究結論
本研究構建面向“搜索即學習”研究的多維任務集,剖析真實工作場景下搜索任務的屬性特征,對任務相關特征、參與者認知變化、行為及關系進行探討,根據參與者的學歷層次、完成任務的認知層次,以及在完成任務時所處于的時間壓力進行分組比較三組變量間的關系。
4.1" " 真實工作場景下的“搜索即學習”任務及任務執行者的特征
在任務特征方面,真實工作場景下“搜索即學習”任務集的主題主要分布在“商業”“參考”“社會”“科學”和“計算機”等類別,一項工作任務可能包含多個信息主題。如“計算機”和“科學”主題很可能同時出現;用戶在獲取“地區”或“社會”主題信息的時候可能會需要一些“參考”主題下的數據作為支持,這為“搜索即學習”任務的主題選取提供了啟發。
在任務執行者特征方面,研究結果發現:真實工作場景下,任務執行者對任務主題與任務執行的熟悉度普遍較高,只有少數任務執行者對其主題和執行程序完全不了解。通過后續的訪談發現,個別執行者任務熟悉度低的原因是:這些任務執行者是才入職的新人,或者這個任務在日常工作中出現的頻率很低,沒有固定的執行程序。任務執行者對任務的感興趣程度會影響其認知變化,這與夏立新等、Collins-Thompson等的研究結果一致[42-43]。
在認知層次方面,真實工作環境下的任務主要以“應用”認知層次為主,執行者所需信息類型方面以尋找事實型信息為主,并且所需信息類型的數量會對認知變化有顯著影響。以往研究主要關注了任務主題熟悉度對用戶學習效果的影響,而真實工作場景下任務執行的形式更加復雜多樣,因此,本研究還引入任務執行熟悉度這一特征變量,并發現其對用戶認知變化有顯著負向影響,即參與者對所執行任務的過程越熟悉,那么其在完成任務后的認知變化就越小。
另外,通過對任務執行者的信息搜尋行為進行分析,發現任務執行者首選的信息源是網絡信息源,其中通用搜索引擎的使用比例高達59.65%,其原因可能是通用搜索引擎主要提供的是事實型知識,而且具有信息呈現結構化、簡便快捷等特點,方便參與者做信息處理。
4.2" " 在不同時間情境下,任務執行者特征對其認知變化和行為的影響存在顯著差異
當參與者處于高時間壓力的條件下,任務執行者特征中的任務執行熟悉度對認知變化有負向影響。受限于工作時間的限制,因此在任務執行時,導致參與者能獲取的信息有限,且高熟悉度可能導致更依賴過往經驗與知識,對認知變化的影響較小。另外,參與者對任務主題熟悉度正向影響所需信息類型的數量,并且對任務主題的熟悉程度越高,越傾向于尋找事實型信息,這可能因為他們能夠精準識別所需信息類型,更主動地追求多樣的信息以確保任務完成,但也會在信息搜索時更注重效率和實用性,因此偏向尋找能夠迅速支持任務完成的信息,而事實型信息通常在這方面具有優勢。而在低時間壓力的條件下,參與者對任務的感興趣程度與認知變化呈顯著的正相關關系。此時,有足夠時間完成任務,他們傾向于將時間用在自己感興趣的任務上,以獲得更好的學習效果。
任務執行者特征中的任務主題熟悉度、任務執行熟悉度、任務感興趣程度對信息源選擇的數量、信息搜尋起點的影響在不同時間情境下亦存在顯著差異。在低時間壓力的條件下,參與者擁有寬裕的完成任務時間,往往會期盼能更高質量地完成其工作任務,而由于對任務主題與執行熟悉度程度、以及任務感興趣程度越高,這使得參與者更了解、并且更樂意在與該任務垂直相關的信息源渠道對所需信息進行深挖,從而學習到更相關專業的知識,因而參與者對任務主題與執行知識的熟悉度、以及感興趣程度對其信息源選擇的數量有負向影響,與認知變化呈顯著的正相關關系。
此外,任務執行者對任務越感興趣,會越傾向將網絡信息源作為其信息搜尋的起點,這可能是使用網絡信息源能使參與者輕松尋求形式更加多樣化、內容更豐富的信息,能夠更大程度地幫助其探索知識。
4.3" " 在不同學歷層次下,任務執行者特征對其認知變化和行為的影響存在顯著差異
學歷背景為專科的參與者,其主題熟悉度與認知變化呈顯著負相關關系,且對任務主題越熟悉,信息搜尋的起點越傾向于選擇詢問身邊的同事、專家。學歷背景為本科的參與者,其主題熟悉度、執行熟悉度均負向影響信息源選擇的數量。學歷背景為研究生的參與者,其主題熟悉度、感興趣程度均正向影響信息源選擇的數量,且對工作任務主題的熟悉程度越高,越傾向于尋找事實型信息與概念型信息。
這一現象可能可以部分歸因于不同學歷背景下的知識深度和廣度以及信息處理能力。當對要完成熟悉度不高的工作任務時,本科學歷的參與者更傾向于從更多信息源中獲取信息,而研究生學歷的參與者特別關注不同信息類型的關聯,傾向于利用多種信息類型,特別是事實型和概念型信息,以獲得更深入的洞察和理解,滿足自己的好奇心和求知欲。
4.4" " 在不同認知層次的任務下,任務執行者特征對其認知變化和行為的影響存在顯著差異
當參與者完成低認知層次(理解與應用層次)的任務時,其主題熟悉度與信息源的數量呈顯著的負相關關系,與所需信息類型的數量呈顯著正相關關系,并且當參與者對任務主題熟悉程度越高,在搜索信息時越傾向于尋找技能型信息。在這種情況下,對工作任務主題熟悉度高的參與者通常不需要過多的專業領域知識,只需了解基本概念和應用,就能從較少的信息源中獲取所需信息。同時,隨著主題熟悉度的提高,參與者可能更深入地思考,試圖從多個角度獲取信息來增強理解和應用,因此他們需要尋找多種類型的信息,為了完善其任務執行,尤其更需要技能性和操作性的信息。此外,參與者對任務感興趣的程度與搜索時所需的信息源數量呈顯著的負相關關系。對于低認知層次的任務,對任務興趣較低的參與者通常不會在搜索信息時投入過多時間和精力,從而減少所需信息源的數量。
當參與者完成高認知層次(分析、評估與創造層次)的任務時,其對任務的感興趣程度與認知變化呈顯著的正相關關系。在高認知層次的任務中,參與者需要更加發散性的思維,如果其對任務感興趣,可能會更愿意深入地思考和探索,從而在任務完成后產生較大的認知變化。
5" "研究不足與建議
本研究通過日記法收集真實工作場景下具有學習特征的搜索任務,根據任務概念框架對搜索任務進行表征,形成面向“搜索即學習”研究的多維度任務集,并剖析了真實工作場景下搜索任務的屬性特征及任務執行者的特征,從真實工作場景的維度對 “搜索即學習”理論進行了豐富,并且可用于指導面向工作任務情境的信息搜索系統設計開發。
本研究的不足包括:首先,任務庫中的任務類型仍有待進一步補充,在目前的任務庫中,概念型、技能型任務與事實型任務相比數量較少,認知層次高的任務與認知層次低的任務相比數量較少;其次,由于本論文屬于“搜索即學習”任務集構建的系列研究之一,當前階段的重點集中在收集各類群體真實工作場景下的“搜索即學習”任務,從多樣化的來源獲取樣本群體,以提高樣本的覆蓋度,確保任務的全面性,下一階段的研究將聚焦于特定行業領域,深入開展專項任務搜集工作,并對本文的結論開展進一步的驗證;最后,相較于實驗室受控實驗來說,參與者提供的信息搜索過程的細節不夠完整與豐富。
后續研究可以對任務搜集方法進行改進,在不影響實驗者工作的情況下安裝插件獲取更詳細的過程,自行剝離出學習相關的搜索任務,提高任務收集信息豐富度和效率;并對任務庫的任務維度和數量有計劃的進行補充,優先補充研究熱點行業和庫內缺失維度的真實工作任務,擴大研究樣本量來進一步檢驗已發現的研究結果并構建更全面的任務庫,最終真正成為面向“搜索即學習”研究的公共資源。
參考文獻:
[1]" HANSEN P,RIEH S Y.Recent advances on searching as learning: an introduction to the special issue[J].Journal of information science,2016,42(1): 3-6.
[2]" RIEH S Y,COLLINS-THOMPSON K,HANSEN P,et al.Towards searching as a learning process:A review of current perspectives and future directions[J].Journal of Information Science,2016,42(1):19-34.
[3]" 韓正彪,顧雅楠,翟冉冉.國外用戶網絡信息搜索中的知識變化研究回顧[J].情報理論與實踐,2022,45(2):204-212,197.
[4]" 王昌,李小敏,孫曉寧.基于任務復雜度的信息搜索用戶學習效果測度及框架構建[J].情報科學,2021,39(3):67-75.
[5]" 宋筱璇,劉暢.搜索前后用戶知識水平的評估及其變化情況分析[J].圖書情報工作,2018,62(2):108 -116.
[6]" WILLOUGHBY T,ANDERSON S A,WOOD E,et al.Fast searching for information on the Internet to use in a learning context:the impact of domain knowledge[J].Computers amp; Education,2009,52(3):640-648.
[7]" 袁紅,李秋.搜索任務和搜索能力對用戶探索式搜索行為的影響研究[J].圖書情報工作,2015,59(15):94-105.
[8]" 劉涵蕊,劉暢.認知風格與話題熟悉度對學習型任務下搜索交互行為的影響研究[J].情報理論與實踐,2018,41(4):56-62.
[9]" 韓正彪,郭靖怡,潘培培,等.基于認知分類的大學生網絡健康信息搜索的學習效果研究[J].圖書情報知識,2020(4):19-31.
[10]" 劉萍,鄧葉芝,楊志偉.自主學習情境下用戶信息搜尋行為的實證研究[J].信息資源管理學報,2019,9(1):94-104.
[11]" ANDERSON L W,KRATHWOHL D R.A taxonomy for learning,teaching,and assessing:a revision of Bloom’s taxonomy of educational objectives[M].New York:Longman,2001.
[12]" JANSEN B J,BOOTH D,SMITH B.Using the taxonomy of cognitive learning to model online searching[J].Information processing amp; management,2009,45(6):643-663.
[13]" WU W C,KELLY D,EDWARDS A,et al.Grannies,tanning beds,tattoos and NASCAR:evaluation of search tasks with varying levels of cognitive complexity[A].Proceedings of the 4th information interaction in context symposium[C].New York:ACM,2012:254-257.
[14]" KELLY D,ARCUELLO J,EDWARDS A,et al.Development and evaluation of search tasks for IIR experiments using a cognitive complexity framework[A].Proceedings of the 2015 international conference on the theory of information retrieval[C].New York:ACM,2015:101-110.
[15]" GHOSH S,RATH M,SHAH C.Searching as learning:Exploring search behavior and learning outcomes in learning related tasks[A].Proceedings of the 2018 conference on human information interaction amp; retrieval[C].New York:ACM,2018:22-31.
[16]" LEE H J,LEE J,MAKARA K A,et al.Does higher education foster critical and creative learners?An exploration of two universities in South Korea and the USA[J].Higher Education Research amp; Development,2015,34(1):131-146.
[17]" LIU H,LIU C,BELKIN N J.Investigation of users' knowledge change process in learning-related search tasks[J].Proceedings of the Association for Information Science and Technology,2019,56(1):166-175.
[18]" 郭海玲,宋佳琳.社會認知視角下移動端視頻用戶學習型搜索行為的影響研究[J].情報資料工作,2022,43(3):75-83.
[19]" 趙一鳴,李倩,邱雨蒙,等.用戶搜索路徑特征對信息搜索效果的影響研究——基于fsQCA的方法[J].情報學報,2023,42(1):103-112.
[20]" Chen Y,Lin H,Zhang J,et al.Online health information consumers’learning across health-related search tasks from the perspective of retrieval platform switching[J].Journal of Information Science,2023:01655515231169961.
[21]" CHEN Y,QIU Y,LIN H,et al.The effects of topic familiarity on college students' learning search process[J].Aslib journal of information management,2022,74(6):1151-1173.
[22]" 張瑤,劉暢.大學生課業任務類型和認知層次對信息搜尋行為的影響研究[J].情報理論與實踐,2022,45(1):134-141.
[23]" 王志紅,曹樹金.工作任務視角下大學生信息搜索與利用行為研究:以撰寫課程論文為例[J].情報理論與實踐,2022,45(8):38-46.
[24]" Hoyer J V,Hoppe A,Kammerer Y,et al.The Search as Learning Spaceship:Toward a Comprehensive Model of Psychological and Technological Facets of Search as Learning[J].Frontiers in psychology,2022,13:827748.
[25]" 徐建民,王平.小型中文信息檢索測試集的構建與分析[J].情報雜志,2009,28(1):13-16.
[26]" Yu J,Wang X,Tu S,et al.KoLA:Carefully Benchmarking World Knowledge of Large Language Models[J].arXiv preprint arXiv:2306.09296,2023.
[27]" URGO K,ARGUELLO J,CAPRA R.Anderson and Krathwohl’s two-dimensional taxonomy applied to task creation and learning assessment[A].Proceedings of the 2019 ACM SIGIR international conference on theory of information retrieval[C].New York:ACM,2019:117-124.
[28]" NWAGWU W E,SEGILOLA M O.Information Needs,Information Sources and Information Seeking Behaviours of Engineers in Breweries in Nigeria[J].Libri,2013,63(2):159-178.
[29]" CZERWINSKI M,CZERWINSKI M,HORVITZ E,et al.A diary study of task switching and interruptions[A].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C].ACM,2004:175-182.
[30]" 劉金亞,王馨悅,劉暢.學習型搜索中的信息行為概念圖構建與研究展望[J].情報理論與實踐,2023,46(4):44.
[31]" ELLIS,DAVID.The derivation of a behavioural model for information retrieval system design[J].University of Sheffield,1987.
[32]" 孫麗,曹錦丹.信息搜尋行為研究中任務概念框架的構建[J].圖書情報工作,2014,58(2):47-52.
[33]" Li Y,Belkin N J.A faceted approach to conceptualizing tasks in information seeking[J].Information Processing amp; Management.2008,44(6):1822-1837.
[34]" SVENSON O,EDLAND A.Change of preferences under time pressure:choices and judgments[J].Scandinavian journal of psychology,1987,28(4):322-330.
[35]" SONG X,LIU C,ZHANG Y.Chinese College Students’ Source Selection and Use in Searching for Health-related Information Online[J].Information Processing amp; Management,2021,58(3):102489.
[36]" SIGAARD K T,Skov M.Applying an expectancy-value model to study motivators for work-task based information seeking[J].Journal of Documentation,2015,71(4):709-732.
[37]" 宋筱璇,劉暢.學習型搜索中用戶信息源選擇和使用策略研究[J].情報學報,2019,38(6):655-666.
[38]" KIM S M,HANNAFIN M J.The effects of source representation and goal instructions on college students’ information evaluation behavior change[J].Computers in Human Behavior,2016,60(7):384-397.
[39]" VAKKARI P.Searching as learning:a systematization based on literature[J].Journal of information science,2016,42(1):7-18.
[40]" 宋筱璇,劉暢,陳建龍.搜索即學習主題的相關研究綜述[J].圖書情報工作,2021,65(10):113-126.
[41]" Rumelhart D E,Norman D A.Accretion,tuning and restructuring:Three modes of learning[M].Center for Human Information Processing,Department of Psychology,University of California,San Diego,1976.
[42]" 夏立新,周鼎,葉光輝,等.情感負荷視角下探索式搜索學習效果的影響因素[J].圖書情報知識,2020(4):133-141.
[43]" COLLINS-THOMPSON K,RIEH S Y,HAYNES C C,et al.Assessing learning outcomes in web search:a comparison of tasks and query strategies[A].Proceedings of the 2016 conference on human information interaction and retrieval[C].New York:ACM,2016:163-172.
作者簡介:趙一鳴,男,武漢大學信息管理學院教授,研究方向:用戶信息行為、文本數據分析與可視化、信息組織與檢索;余馨婕,女,武漢大學信息管理學院碩士研究生,研究方向:用戶信息行為;陳憶金,女,華南師范大學經濟與管理學院教授,研究方向:網絡信息組織、用戶信息搜索行為。
*本文系國家自然科學基金面上項目“‘搜索即學習’視角下的用戶學習狀態感知與智能響應研究”(項目編號:72274146)、國家自然科學基金面上項目“探尋式搜索過程中的路徑識別與評價研究”(項目編號:71874130)與國家自然科學基金創新研究群體項目“信息資源管理”(項目編號:71921002)研究成果之一。
收稿日期:2023-11-20;通訊作者:趙一鳴(zhaoyiming@whu.edu.cn);責任編輯:柴若熔