搜索引擎結果展示效果自動評價方法

張輝，馬少平

(清華大學 計算機科學與技術系，智能技術與系統國家重點實驗室，北京100084)

搜索引擎作為訪問網絡信息資源最重要的工具，在人們的工作、學習和生活中發揮著至關重要的作用。搜索引擎根據用戶提交的查詢內容，返回搜索引擎結果頁面(search engine results page，SERP)，它通常包含1個典型的搜索結果列表，每條搜索結果包括標題、摘要和網址等文本信息，隨著搜索引擎技術的發展，也可能包含圖片、視頻、投票等更多的信息[1]。SERP可以看作原始文檔的“文摘”(abstract)，“摘要”(summary)或者“片段”(snippet)，用戶對于原始文檔一無所知，只能根據看到的搜索結果進行閱讀、認知和判斷。因此，搜索結果的質量直接影響用戶的搜索交互過程[2-3]。為吸引用戶有限的注意力，引導用戶關注更重要的內容，搜索引擎往往采用突顯技術，比如增加插圖、圖標、文本標記或可視化等[4-5]。以往的研究大都集中在評價搜索結果文本內容質量，還沒有學者評價搜索結果文本呈現方式效果。本文研究重點為在確定的查詢和搜索結果的情況下，宏觀和微觀自動化評價不同展示策略(方式)的優劣，力圖關注搜索結果評估的多個方面，如內容、展現形式、豐富搜索結果質量評估體系的完備性；根據用戶調查和訪談，提出視覺力、信息力和有效力這3個維度的結果展現效果評價體系，且這3個維度并不局限于特定的查詢和領域。實驗顯示該方法，在傳統文本搜索結果的展示效果評價方面，與人工標注結果和用戶A/B實驗結果具有較高一致性，因此該方法具有較強的可操作性；……