神奇的照片搜索

你有沒有想過用手機拍下的照片來搜索，并獲得地圖位置、促銷、產品價格等多方面信息？

“那么多KFC，哪個才是我要找的呢？”在肯德基（KFC）的廣告里，男主角一臉無奈地向各地網友求助—女友故意要考驗他，眼看約定見面的時間快到了，卻只留下一張在KFC門前拍的照片作為線索。

未來的搜索技術正在攻克這一難題。微軟亞洲研究院從2004年開始，就開始研究照片搜索技術（Photo2Search）。數據搜索和挖掘組的研究員謝幸向《互聯網周刊》介紹了這項技術的研發方向和攻克難點。

人們在一個陌生的城市旅游時，可能會迷失方向。這時，你的手機就會派上用場。由于手機輸入鍵盤較小，文字搜索太麻煩，你可以站在一個大的建筑物前，拍下一張照片，然后用彩信的方式傳給服務器，系統經過查詢和匹配，會反饋給你一張標有所在位置的周圍地圖。此外，系統還將反饋給用戶有關該建筑物的相關信息。比如，如果你站在首都劇場的前面拍下照片，系統返回到手機上的信息可能是一個頁面，介紹該劇場將放映什么電影。

當然，并不是所有照片都能夠進行這一搜索，必須是一些有特征的建筑物、餐館，或者海報等。如果你拍下了某個居民小區的照片，系統就無法識別，因為幾乎任何居民小區的樓看起來都很相似。在海報的應用上，這一技術比現有的二維碼技術還要方便，因為不用在每個海報上都貼二維碼標簽。你拍下一張海報的照片，系統將給你反饋回一些細節信息，比如告訴你到哪里買票等等。由于每張海報都是惟一的，因此很適于這一應用。

據謝幸介紹，這個系統里面最重要的兩個研究方向：一個是準確度和匹配度；另外一個是速度問題。這一系統的原理是，用戶發回彩信后，通過后臺服務器進行接收，并與系統數據庫中的圖片進行比對，尋找相同的圖片，再返回該圖片存在數據庫中的信息。

起先，微軟亞洲研究院采用了CBIR（基于內容的圖像檢索）方法，基于圖片里面的顏色、紋理、邊緣對比度、亮度等一些基本的屬性，來比較兩個圖片是不是相似，“但是經過試驗，結果并不是很好”。后來，研究員們想到了選取特征點的方法，在圖片中選取幾百個，將每個特征點用向量表示。比較圖片時，只是比較這些特征點，看里面到底有多少個點相似。系統選取特征點時，會選那些相對位置不會發生改變的點。也就是說，即使你的手機沒有拿穩，照片角度有些傾斜，都不會影響比對的結果。

每張由手機拍下的照片要跟數據庫中的圖片進行比對。這意味著只有當數據庫中存有類似圖片，才會具備上述的功能。如果一個建筑物有多張不同角度拍攝的照片存于數據庫，系統辨識程度會相應提高。

目前，微軟亞洲研究院用于此項研究的數據庫，已經可以支持一萬張圖片，用不到一秒的時間就可以返回結果。現在圖片主要還依賴人工錄入，未來將有可能實現自動在互聯網上抓取的功能。

這項技術可以拓展新的商業模式。比如，查詢海報時，可以用來做廣告和優惠券等；查詢建筑物時，就涉及到一些位置查詢的相關信息。同時，還可用它來做產品的搜索。比如，拍下一個產品，系統將反饋回產品的價格信息，也可以實現比價功能。現在，微軟亞洲研究院主要聚焦在購物、地理位置和廣告這三個方面。目前這一照片搜索也支持Web版本。用戶可以通過網站輸入一張照片（與圖片大小、格式無關），來查找匹配的圖片及信息。