語言大數據迷思

鄭錦全

（美國伊利諾大學榮退教授，臺灣師范大學講座教授）

過去數十載，學界使用電腦處理語言資料，提煉出人類語言活動的規律。研究過程中大家面對浩瀚的原始資料，希望能建立更大的語料庫。例如崔希亮、張寶林《全球漢語學習者語料庫建設方案》一文（《語言文字應用》，2011年第2期），提出建構全球漢語學習者中介語大語料庫的設想。2012年美國科技業關注大數據資源的流通與應用。中文計算機學界的響應是如何把大量資料以“詞向量”計算法列出詞語在中文文本中與臨近詞語出現的關系，例如2018年騰訊人工智能實驗室發文《開源大規模高質量中文詞向量數據，800萬中文詞隨你用》。這樣的大數據能給語言學界提供什么樣的新的研究領域并不明顯。

我個人近年關注的問題是如何衡量古今漢語的異同，如果單以詞語的有無來考察，是無法顯示不同時期或體裁差異的，例如“之”，古今都用，但是古代用“之”的有些語境，現在白話文用“的”。所以古今漢語比較，需要有斷詞的文本，才能探究詞語的屬性。近年我研究所用的語料包括臺灣“中研院”典藏的上古漢語文本，取自秦漢（公元3世紀以前）的傳世文獻，有斷詞和詞類語法標記，一共111 000多個詞；唐詩三百首（公元7世紀至公元10世紀），有斷詞，無詞類標記，一共有11 000多個詞；宋詞三百首（公元10世紀至公元13世紀），有斷詞，無詞類標記，一共有13 000多個詞；近代漢語文本包括唐五代到清代的作品，例如《水滸傳》、《紅樓夢》等，一共有2 865 000多個詞；現代漢語語料包括臺灣“中研院”1990年前后分兩期建構的文本，有斷詞和詞類標記，前后兩期各收大約五百萬個詞；新聞體裁文本包括北京大學標記的《人民日報》1998年1月份有斷詞的新聞稿，共約100萬個詞；臺灣“中央通訊社”1991年至2002年每天發布的新聞稿，共約950萬個詞，有斷詞標記。

我從這些語料里計算出詞語使用的特色，區別特色的關鍵在于詞語在語流中的使用次數，從出現最高的詞語往下排列出來，以出現頻次最高的15個詞的累計頻率百分比作為該文本的詞匯動態屬性。細節請見鄭錦全《漢語詞匯動態屬性與變異》一文（《語言學論叢》，2017年第2期）。通過詞匯動態屬性能清楚地區別所考查的古代、近代、現代、詩詞和新聞稿的異同和近似值。其中，唐詩三百首（3.431）和宋詞三百首（3.327）的屬性接近（括號中的數字為詞語屬性數值，下同）；北京大學標記的《人民日報》1998年1月新聞稿（13.827）和臺灣“中央社”發布的新聞稿（12.392），這兩個語料庫的新聞稿屬性接近；現代漢語語料中的后五百萬詞（15.782）、現代漢語一千萬詞（16.705）和現代漢語前五百萬詞（17.712），三者之間的現代漢語屬性接近；近代漢語（18.078）類似現代漢語；上古漢語（28.757）則離現代漢語較遠。今后應該大量擴展這些語料成為大數據，希望能從中看到更多可以深入研究的理念。