基于Web的動態語料庫構建*——以中國政治新聞語料庫建庫為例

◆韓朝陽

作者：韓朝陽，碩士，上海杉達學院嘉善校區副教授，研究方向為語料庫語言學、計算機輔助外語教學（314100）。

網絡能為語料庫的構建提供豐富實時的語料。由于不同網站的結構不盡相同，網頁內容又呈現結構化和半結構化特征，這使得如何從網絡汲取語料成為基于網絡構建語料庫的首要問題。同時，如何對汲取后的語料進行整合和組織，也是基于網絡構建語料庫不容忽視的問題。以基于網絡構建動態中國政治新聞語料庫為例，從網站結構分析、網頁下載以語料汲取的技術實現、語料的XML結構化重組等方面，闡述如何在軟件的輔助下從中國日報網站自動汲取語料并構建語料庫的實現過程。

政治新聞語料庫不僅要具有時效性，而且要具有真實性和權威性。其時效性就是指在構建語料庫時要及時采集那些實時新聞報道語料；真實性和權威性則要求采集的新聞語料一定要出自權威機構。

隨著現代信息技術的發展和普及，網絡（Web）已成為目前容量最大、速度最快的信息傳播平臺。網絡語料的時效性是傳統媒介（如報紙、期刊等）無法比擬的，網絡無疑應為政治新聞語料的主要采集地[1]。就政治新聞的權威性來講，目前，大家比較認可的發布中國政治新聞英文報道的權威網站主要有新華網（English.news.cn）、人民網（English.peolopledaily.com.cn）和中國日報網（Chinadaily.com.cn）等[2]。

通過對這三家網站的分析比較，筆者發現：1）就新聞的英文報道本身的來源看，這三家網站經?；ハ嘁?，從而可只關注一個網站也能在一定程度上滿足語料采集抽樣的平衡性；2）目前只有中國日報網有一個專門報道中國政治新聞的頻道（china/politics），且每篇新聞報道的HTML頁面中還包含該篇報道的摘要、關鍵字等信息，而這些信息可為采集的語料提供更為豐富的標注內容。因此，筆者認為，對于中國政治新聞語料庫的創建，可以基于中國日報網的中國政治新聞頻道來采集語料。

本文將從中國日報網政治新聞頻道的結構分析、網頁下載、語料汲取、語料XML結構化重組等方面，詳細介紹如何基于該網站設計開發一個能夠實現自動構建動態實時中國政治新聞語料庫的計算機軟件。

1 中國日報政治新聞頻道結構特征分析

中國日報的中國政治新聞頻道（以下簡稱政治新聞頻道）采用“列項頁（list page）”和“具體內容頁（content page）”的二層結構模式進行新聞內容的導航。列項頁中列出每篇新聞的標題，通過鼠標單擊其中的一個標題項，即可進入包含該篇新聞詳細報道的具體內容頁。該結構模式也是目前其他新聞類頻道最常用的模式之一。有些學者又把“列項頁”稱為“多記錄頁”，“具體內容頁”稱為“單記錄頁”[3]。

政治新聞頻道采用“先進先出”的隊列原則，即該頻道始終只提供200個“列項頁”，除第1頁的URL地址為“http://www.chinadaily.com.cn/china/governmentandpolicy.html”外，其他頁面分別按照頁碼進行有規則編排，如第2頁的URL（Uniform Resource Locator，指網頁的鏈接地址）為“http://www.chinadaily.com.cn/china/governmentandpolicy_2.html”，第3頁的URL為http://www.chinadaily.com.cn/china/governmentandpolicy_3.html。同理，第200頁的URL為“http://www.chinadaily.com.cn/china/governmentandpolicy_200.html”。以此為規律，可設計軟件實現自動生成每個“列項頁”的URL，并循環下載所有政治新聞頻道的“列項頁”[1]。

雖然不同網站“列項頁”的內部結構不盡相同，但一般情況下，同一個網站特別是同一頻道下的所有“列項頁”的結構相同[4]。同樣，政治新聞頻道的200個“列項頁”的內部結構框架也是相同的，如每個頁面都只有12條列項（標題），每個列項的html標簽（tag）也相同等。因此，可設計軟件實現自動解析每個“列項頁”的內容，從而批量獲得各個“列項頁”的所有政治新聞報道的標題以及與這些標題對應的“具體內容頁”URL。

同理，根據“具體內容頁”的URL，可設計軟件實現自動獲得每個“具體內容頁”。由于多數大型網站在上傳文本數據（如新聞報道的內容）時一般都采用確定內容格式的上載工具，所以這些同一類數據內容在瀏覽器中展示時也會采用相同的HTML結構格式。通過觀察分析，發現政治新聞頻道的“具體內容頁”也沒有例外，它們同樣采用相同的HTML結構格式來展示新聞內容。因此，可設計軟件實現自動解析“具體內容頁”的內容，并汲取到目標語料。

通過以上的觀察和分析，筆者認為通過設計開發軟件來對政治新聞頻道提供的語料進行自動汲取具有一定的可行性。下面是設計的通過軟件實現自動汲取語料并構建中國政治新聞語料庫的主要流程步驟：

步驟1：下載“列項頁”；

步驟2：汲取“列項頁”中的信息，創建“具體內容頁”的URL列表；

步驟3：開始循環下載URL列表中每個列表項對應的“具體內容頁；

步驟4：汲取“具體內容頁”中的有用語料信息；

步驟5：按照統一的XML結構重新組合這些語料信息；

步驟6：把包含語料信息的XML文件保存到相應的位置；

步驟7：判斷URL列表是否循環完畢，若沒有執行完畢就繼續從步驟3開始，否則結束本次操作。

2 網頁下載

網頁下載是指軟件根據給定的URL，自動從網絡上把與該URL對應的網頁內容以數據流的形式下載到本地計算機，然后以文本形式重新編碼并輸出，其機理為：1）軟件通過網絡向給定URL所在的服務器發出下載請求并與該服務器建立數據通道；2）服務器對下載請求驗證審核后，通過數據通道向軟件提供URL對應網頁內容的數據流；3）軟件接收數據流后，對數據流以文本的形式進行重新編碼并輸出[1]。

在網頁自動下載模塊開發過程中，通過使用C#程序開發語言，編程并調用微軟.net平臺提供的HttpWebRequest[5]和HttpWebResponse[6]兩個類中的Create方法和GetResponse方法，實現軟件自動向中國日報網站服務器發出下載請求、建立數據通道以及接收數據流等功能，從而實現軟件自動從中國日報網站下載相應的網頁。

在中國政治新聞語料庫構建過程中，主要有兩個地方需要調用網頁自動下載模塊，分別是下載指定的“列項頁”和下載指定的“具體內容頁”。以下載政治新聞頻道的第一個列項頁為例，在建庫過程中，只需向網頁下載軟件模塊提供表示第一個列項頁的URL字符串（http://www.chinadaily.com.cn/china/governmentandpolicy.htm），網頁下載軟件模塊就會自動向中國日報網站的服務器發出請求并下載到該頁面的HTML文本[1]。

3 網頁內容解析

由網頁下載軟件模塊下載的“列項頁”HTML文本和“具體內容頁”的HTML文本不僅包含需要提取的信息，同時包含HTML標簽以及其他信息（如廣告等）。這就要求開發能夠解析這兩種HTML文本的軟件模塊來自動汲取需要的內容。HTML文本是有一定結構的文本，找出它們內部的結構特征，就可編寫軟件，利用正則表達式自動提取出需要的文本內容[1]。

圖1 HTML文本中一條新聞標題及其相關信息表示方法

圖2

以圖1所示“列項頁”的部分HTML文本為例（2013年7月3日 20:08下載），很容易觀察到需要提取的每一條新聞的標題以及其相關信息都是以“