搜索引擎用戶查詢的廣告點擊意圖分析

靳巖欽，張 敏，劉奕群，馬少平

(清華大學 智能技術與系統國家重點實驗室100084 北京)

近年來，搜索引擎的商業模式已經逐漸轉化為搜索廣告，即搜索引擎針對用戶提交的查詢內容，將相應的廣告顯示在搜索結果頁面中，根據用戶對這些廣告的訪問和點擊情況，向廣告商收取相應的費用［1］.因而用戶對廣告的實際點擊情況，直接影響搜索引擎的收入.于是搜索引擎投放廣告的點擊率分析已經成為近年來研究的熱點.

現有的搜索廣告投放過程中并不區分用戶的意圖，只依靠關鍵詞匹配進行“普遍撒網”，實際點擊率很低，產生了很多無效廣告投放.而單純增加投放廣告的數量會嚴重影響普通用戶的使用體驗，甚至使用戶放棄用該搜索引擎.因此準確預測用戶的查詢是否具有廣告點擊意圖，從而有針對性地選擇投放內容相關的廣告，具有很好的研究意義與應用價值.

本文探討了從用戶查詢的廣告點擊意圖預測方法，首先介紹相關研究工作;然后分別提出兩種用戶查詢的廣告點擊意圖的預測模型，并基于大規模真實用戶查詢點擊日志給出相應實驗結果;接下來通過廣告點擊曲線擬合模型分析方法的可行性;最后給出結論與未來工作.

1 相關工作

當前提高廣告點擊率的工作主要面向上下文廣告和搜索廣告這兩種類型.

在上下文廣告方面，一些大公司在相關研究上起到主導作用.Yahoo!的研發人員提出了一系列提高上下文廣告投放相關性的方法，如B.Ribeiro-Neto 等［2］比較了若干種基于關鍵詞的頁面與廣告的匹配算法;A.Broder 等［3］利用海量數據和熱門廣告詞，建立了針對網頁以及廣告的分類體系，并利用相關類別改進廣告分類效果;隨后在文獻［4］中探討了根據用戶點擊反饋提高上下文廣告投放效果.A.Anagnostopoulos 等［5］研究了上下文廣告投放過程中的實時性和效率問題.但是這些工作都沒有涉及查詢的廣告點擊意圖預測.

在搜索廣告方面，K.Debmbsczynski 等［6］利用引發投放某個廣告的所有查詢的內容來構建廣告的標題和主題，并根據搜索結果頁面的特征(廣告的排名和搜索結果頁的編號)以及廣告URL，建立模型，預測新廣告的點擊率.M.Regelsonl等［7］發現不同的詞項(term)在引發廣告點擊的可能性上具有特定的差別.例如“數碼相機”和“人腦結構”的廣告意圖是不同的，前者引發廣告點擊的可能性高于后者.因此，在論文中提出通過詞項的點擊率來反映這種固有的差別.A.Ashkan等［7］意識到更好地理解用戶查詢的意圖有助于提供個性化的搜索結果并且提高用戶滿意度，他們利用歷史點擊信息、查詢自身的特征以及搜索結果頁的內容分析預測用戶查詢的商業意圖，研究表明將這3 組特征結合起來可以有效檢測出用戶的查詢意圖.在國內，陳磊等［9］統計了各大商用搜索引擎搜索廣告方面的統計數據，研究了大量真實用戶和搜索廣告的實際交互行為.王家卓等［10］研究了在搜索結果頁面放置廣告對用戶體驗的影響，廣告鏈接的實際收效，以及不同關鍵詞或位置的廣告對用戶的吸引力等問題.

實時性也是廣告點擊意圖預測中一個必須考慮的因素.為了達到提高廣告點擊率的目的，必須在用戶提交查詢時對查詢意圖做出預測，這也是當前廣告投放遇到的挑戰.如上所述，基于查詢詞項的廣告點擊預測是目前最主要的預測方法.

本文采用國內著名商用搜索引擎1 個月(2009年11月)的用戶查詢點擊日志進行分析，包括超過200 000 000 條用戶查詢及相應的點擊信息.在處理搜索日志的時候，只考慮發生了點擊(包括點擊廣告或點擊返回的網頁結果)的查詢，而不考慮無點擊的查詢.

2 基于查詢詞內容匹配的點擊預測模型

2.1 基本思想

搜索引擎根據用戶查詢詞與廣告的關鍵詞匹配的程度及相應競價來決定以什么順序展示哪些廣告.因此對于如何預測哪些關鍵詞引發廣告點擊的可能性比較大，一個直觀的思路是:從搜索日志中挑出所有引發了廣告點擊的用戶查詢，統計每個詞項在這些查詢中的頻度，按照頻度的降序對詞項進行排序，詞項的位置代表了它引發廣告點擊的可能性.

然而，這種方法忽略了一個很重要的問題:某些詞項不僅在引發了廣告點擊的查詢中出現頻度很高，在沒有引發廣告點擊的查詢中也會大量出現.可見一個詞項引發廣告點擊的可能性是個相對量.因此本文將查詢分為兩類:引發過廣告點擊的和從未發生過廣告點擊的.對所有詞項，根據它們在兩類查詢中的頻度進行排名，以及根據在兩個排名位置的比較，來判斷詞項的廣告點擊意圖.

更進一步地，本文的目的是預測用戶提交給搜索引擎的完整查詢的廣告意圖.因而需要根據每個term 的廣告意圖，通過一定的映射關系，計算出完整查詢的廣告意圖.

2.2 模型描述

設S 為所有查詢構成的集合，對其中的查詢進行中文分詞，得到所有出現在S 中的詞項的集合T.將全體查詢分為兩個部分S1和S2，其中:S1為引發了廣告點擊的查詢集合，S2為未引發廣告點擊的查詢集合.

對Si，統計T 中的每個詞項在其中出現的頻度，并且按照頻度的高低排名，形成詞表Li.| L1|=| L2|=| T|.對于T 中的每個詞項t，獲取它在L1和L2中的排名rank(t，L1)和rank(t，L2)，計算兩個排名的比值v(t)=rank(t，L1)/rank(t，L2)，并且根據這個比值的大小，對T 中的所有詞項按降序排列，得到詞表L3.其格式如表1 所示.

表1 查詢詞信息包含內容格式

在基于查詢詞內容匹配的預測算法中，本文只需要前兩項的信息，即詞項和排名比值.

給定任意用戶查詢Q，進行中文分詞，得到一個詞項集合s，并定義一個映射g 即

這樣，就獲得由若干詞項組成的完整查詢Q的廣告點擊傾向性的量化度量.如果g(Q)大于某閾值，則判定Q 具有引發廣告點擊的傾向，反之則沒有.在實驗分析中可以看到，映射g 對預測算法的性能有一定影響.

2.3 實驗結果分析

令S 為2009年11月所有查詢構成的集合，T為在S 中出現過的所有詞項構成的集合，為了去除噪聲以及過于稀疏數據的影響，除去那些稀有的詞項或者發生廣告點擊次數過少的詞項(實驗中設為點擊次數＜10).以后討論中所用到的L3均如此.

本文對真實搜索引擎任意一天(為保證開放測試，選取非2009年11月的日期，例如2009年12月15日)的查詢進行驗證，預測這些查詢是否可能引發廣告點擊，并根據實際發生的廣告點擊情況進行預測的精度與召回率等性能評價.測試集含有約7 000 000 條不同的查詢，忽略當天點擊次數＜10 的查詢，一共包括約35 000 條引發了廣告點擊的查詢.

為了保證判斷的準確性，要求t1，t2，…，tn中必須有2/3 的詞項出現在L3中，即某些包含過多稀有查詢詞項的查詢會直接被忽略.由于廣告商購買的都是一些比較常見的詞項，因此這樣做并不會影響對于用戶查詢意圖的判斷.在模型描述中已經提到，g 為用來將詞項的廣告點擊意圖映射到完整查詢的廣告意圖的函數，不同的g 函數會影響預測算法的效果.圖1 給出使用不同映射函數得到的預測效果對比，表2 給出使用不同映射方法得到的最優預測精度.其中映射g 分別為

如果不加預測而對于每個用戶提交的查詢都投放廣告，那么精度=1.000 0，召回率=0.005 0，f1-度量值=0.010 0，結果劣于采用預測算法的情況.基于查詢內容匹配的模型對于非稀有查詢的意圖預測還是比較有效的.采用映射函數g(avg)，能夠使得廣告投放的精度從3.0% 提高到36.8%，f1-度量值從0.060 提升到0.408.本文在更多日期上的預測實驗表明各映射函數對應的閾值基本穩定.其中g(avg)函數一般取閾值為3.

圖1 基于詞表內容匹配的廣告點擊預測效果

表2 基于詞表內容匹配的廣告點擊最優預測結果對比

3 基于樸素貝葉斯分類的預測模型

3.1 模型設計

對用戶所提交查詢的意圖進行預測實際上也可以看做一個分類問題.由此本文提出基于詞項歷史點擊信息對用戶查詢意圖進行分類的樸素貝葉斯預測模型.所有查詢被分為兩類:不含有廣告點擊意圖和含有廣告點擊意圖，分別表示為C1和C2.分別計算每類查詢出現的先驗概率P(Ci)，通過分別統計在所有查詢中具有和不具有廣告點擊意圖的查詢的比例來估計;每個詞項的條件概率P(t| Ci):可以通過統計t 出現在C1和C2類查詢中的頻度估計.將查詢描述為其對應的詞項的集合.假設各詞項獨立，計算P(C1| q)和P(C2| q)，并考慮到P(q)是一個常數，因此有

如果p1＞p2，則q 屬于C1，不含有廣告點擊意圖，這時應減少投放廣告的數量甚至不投放廣告;如果p1＜p2，則q 屬于C2，q 更可能含有廣告點擊意圖，應投放相關的廣告.

3.2 實驗結果分析

采用與上述同樣的數據集，對樸素貝葉斯預測模型效果進行驗證，如表3 所示.

表3 基于樸素貝葉斯的廣告點擊預測效果

表3 中列出了應用11月的數據訓練而成的貝葉斯分類器對于12月部分查詢數據進行測試的結果.其中“2009年12月數據隨機采樣(10%比例)”為從2009年12月的所有查詢中按照10%的概率隨機抽取一部分查詢作為測試集.預測的綜合效果(f1-measure)雖然比不預測有很大提高，但是并沒有達到與基于詞表匹配的模型預測性能.

4 廣告點擊曲線擬合模型

為了驗證使用基于歷史數據是否能夠對新的廣告點擊意圖進行有效預測，本文進行了廣告點擊的曲線擬合，即考察詞表與相對排序關系的穩定性，如圖2 所示.

圖2 2009年11月和12月的查詢詞項廣告點擊數據擬合曲線

圖2(a)是11月數據的擬合結果.曲線解析表達式為f(x)=axb，a=114.5，b=－0.439 9，擬合誤差SSE=1.4e+004，R2=0.910 6.其中SSE 為誤差平方和，值越小說明擬合的誤差越小;R2為決定系數，常用來衡量曲線對真實數據點的近似程度，R2=1 則為精確匹配實際情況。圖2(b)為12月數據的擬合結果，擬合誤差SSE=2.047e +004，R2=0.902，擬合系數a=129.7，b=－0.443 2.擬合結果說明對于不同的兩個月的真實用戶查詢點擊日志，擬合所得到的參數具有一致性，分布平穩，且rank(t，L1)/rank(t，L2)隨排名的降低而迅速減少，因此驗證了所提出方法的可行性.首先，過濾低頻不會對結果造成很大影響;其次，數據穩定，所以可以用以前的數據預測進行分析從而預測未來的點擊情況.

5 結論

1)提出了基于查詢詞內容匹配的點擊和基于樸素貝葉斯分類的兩種預測模型;

2)通過實驗驗證，表明兩種模型均能改進廣告投放效果，其中第1 種模型效果更佳;

3)通過對不同月份的查詢詞項的分布進行了曲線擬合，驗證了所提出預測方法的可行性.該方法可適用于用戶查詢廣告點擊意圖的在線預測.

［1］FAIN D C，PEDERSEN J O.Sponsored search:a brief history［J］.Bulletin of the American Society for Information Science and Technology，2006，32(2):12－13.

［2］RIBEIRO-NETO B，CRISTO M，GOLGHER P B，et al.Impedance coupling in content-targeted advertising［C］//Proceedings of the 28th Annual International ACM SIGIR conference on Research and Development in Information Retrieval.New York，NY:ACM，2005:496－503.

［3］BRODER A，FONTOURA M，JOSIFOVSKI V，et al.A semantic approach to contextual advertising［C］//Proceedings of the 30th Annual International ACM SIGIR conference on Research and Development in Information Retrieval.New York，NY:ACM，2007:559－566.

［4］CHAKRABARTI D，AGARWAL D，JOSIFOVSKI V.Contextual advertising by combining relevance with click feedback［C］//Proceedings of the 17thInternational Conference on World Wide Web.New York，NY:ACM，2008:417－426.

［5］ANAGNOSTOPOULOS A，BRODER A，GABRILOVICH E，et al.Just-in-time contextual advertising［C］//Proceedings of the 16th ACM conference on Conference on Information and Knowledge Management.New York，NY:ACM，2007，331－340.

［6］DEBMBSCZYNSKI K，KOTLOWSKI W，WEISS D.Predicting ads click-through rate with decision rules［C］//Proceedings of the Workshop on Target and Ranking for Online Advertising.New York，NY:ACM，2008:578－586.

［7］ASHKAN A，CLARKE C L A，AGICHTEIN E，et al.Characterizing query intent from sponsored search clickthrough data［C］//Proceedings of the Workshop on Information Retrieval and Advertising.Singapore:SIGIR－IR，2008:15－22.

［8］REGELSON M，FAIN D C.Predicting click-through rate using keyword clusters［C］//Proceedings of Second Workshop on Sponsored Search Auctions.New York，NY:ACM，2006:1－7.

［9］陳磊，劉奕群，茹立云，等.基于用戶日志挖掘的搜索引擎廣告效果分析［J］.中文信息學報，2008，22(6)，92－97.

［10］王家卓，劉奕群，馬少平，等.基于用戶行為分析的競價廣告效果分析［J］.計算機研究與發展，2011，48(1):133－138.