創作詩歌與散文的全新AI語言模型

編譯 莫莊非

“美國證券交易委員會：“馬斯克，您的推文真是令人生厭。如果您不停止這種夜間發推的行為，它會損害您的工作……”

馬斯克大喊：“為什么？我寫的推文內容并不刻薄，我不會用全部大寫的方式來強調什么，我肯定那里頭沒有臟話。”

“但是您的推文會影響市場，這就是我們憤怒的原因。您可能是個天才，一個億萬富翁，但這并沒有賦予您惹人厭煩的權利！””

顯而易見，以上內容是一段雙方爭論的對白，對話者分別為特斯拉和SpaceX的創始人埃隆?馬斯克（Elon Musk），與美國的金融監管機構——證券交易委員會。不過這些內容并非人為創作，而是由計算機軟件生成。據稱，這款會寫詩的軟件全名Generative Pre-Trained Transformer 3，簡稱GPT-3，由位于舊金山的人工智能實驗室OpenAI（在馬斯克幫助下建立）開發。GPT-3代表了AI領域里一個最熱門研究方向的最新進展——讓計算機生成復雜的、仿佛出自人類手筆的文本。

該軟件基于“語言模型”的理念構建。然而，建立這類語言模型是一項艱巨的任務，超大的工作量需要機器學習（人工智能的一個子領域）來搞定：把海量書面文本作為訓練素材丟給AI，命令它嘗試數百萬次的文本預測。經過反復試驗和學習，機器終于能夠算計出建構文本所需的統計關系了。

丟給算法的文本越多，它就越能處理復雜任務，表現自然越好。 GPT-3的與眾不同之處在于其前所未有的規模：支持GPT-3的模型擁有1 750億個均可的單獨調整參數（比它的過往版本大一個數量級）；它還接受了有史以來最大規模的文本訓練，訓練素材來自書籍、維基百科以及Common Crawl網站（從互聯網各個角落抓取內容的數十億頁文本集）。

一切都只用“統計”來說話

GPT-3向全世界展現了它的超凡能力。OpenAI于2020年7月中旬向少數人提供了該軟件的早期版本，讓他們探索GPT-3的實際用途。藝術家亞拉姆?薩貝蒂（Arram Sabeti）證明了它寫短篇小說、喜劇小品等——如本文開頭那段對話——的能力。GPT-3曾創作了一個主角名叫哈利?波特、文風冷峻隱忍的偵探故事：“哈利?波特外穿粗花呢套裝，內著襯衫沒有熨壓平整，鞋子也沒好好擦。他坐在桌子后面，看上去衣冠不整，形容憔悴，又帶著怨忿情緒……”

AI研究人員和企業家埃利奧特?特納（Elliot Turner）演示了如何借助GPT-3將不禮貌的消息轉換成文雅隨和的回復，這在許多戾氣深重的互聯網角落可能有用。另外，讀者已經難以區分很多新聞的報道者究竟是人還是機器。

鑒于OpenAI希望最終能把GPT-3推向市場，尚處“內測”階段的各項神奇功能很有可能真的走入老百姓生活。但它也并不完美：有時它似乎會把某些已經記住了的文本直接拿來用，而不是從頭開始生成全新文本；另外，人類創作的文本源于我們對世界的連貫理解，但AI是通過統計詞語間的關聯概率造出文本與其有本質不同——GPT-3往往會生成語法上正確，卻脫離了現實的文本，例如“從夏威夷跳到17需要兩道彩虹”。

讓GPT-3回答人類提出的問題，是暴露其短板的最好方法。擁有人工智能和量子計算背景的研究人員邁克爾?尼爾森（Michael Nielsen）發布了他與GPT-3的對話。對話里的機器就某個懸而未決的重要問題（關于量子計算機）給出了明確而自信的回答，但當尼爾森讓它進一步解釋自己的答案時，情況就大不同了。由于對問題本身缺乏真正的了解，GPT-3進入了回避模式，重復了4次“對不起，我沒有時間解釋原因”。

GPT-3還從網上學到了一些OpenAI不希望它掌握的東西：像“黑人”“猶太人”“婦女”和“同性戀”之類的提示往往會誘使這款軟件生成帶有種族主義、反猶太主義、厭女傾向和恐同傾向的文本。出現此類情況也是因為GPT-3只會統計，而沒有理解。

除了語言模型，面部識別系統也一樣遵循訓練量決定輸出量的規律，例如，它們分析白臉的能力強于判別黑臉，這是因為白臉素材在其訓練中更為常見，見得多，自然認得準。AI專家們正在努力解決此問題。

資料來源 Economist