基于遞歸神經(jīng)網(wǎng)絡(luò)的詩詞生成

曹芳 王海龍 涂術(shù)娟 康建庚 韓錦濤

（北京吉利學(xué)院汽車工程學(xué)院，北京 102202）

詩歌是一種特殊而重要的文化遺產(chǎn)，具有更多的意義。在人類歷史上已有數(shù)千年的歷史他們的受歡迎程度在日常生活的許多方面表現(xiàn)出來，例如表達(dá)個人情感，政治觀點(diǎn)或在節(jié)日場合傳達(dá)信息。相對于自由語言，詩歌具有獨(dú)特的優(yōu)雅，例如唯美主義和簡潔等。創(chuàng)作古典詩歌被認(rèn)為是作為一項(xiàng)具有挑戰(zhàn)性的任務(wù)，它具有一系列結(jié)構(gòu)上，語音上，和語義要求，因此只有很少的優(yōu)秀學(xué)者能夠掌握操縱或組織術(shù)語的技能。

隨著人工智能的快速發(fā)展，我們意識到計(jì)算機(jī)可能在以下方面發(fā)揮重要作用幫助人類創(chuàng)作詩歌：它很方便計(jì)算機(jī)從大型語料庫，以及計(jì)算機(jī)程序可以發(fā)揮很大的優(yōu)勢認(rèn)識，學(xué)習(xí)甚至記住模式或給出語料的規(guī)則。以上觀察激發(fā)自動使用計(jì)算智能生成詩歌。為了讓人們更好地繼承這種古典藝術(shù)，我們介紹自動詩歌創(chuàng)作的一項(xiàng)有意義的任務(wù)是賦予計(jì)算機(jī)模仿的人工智能人類詩歌的產(chǎn)生過程一種幫助人們掌握詩歌創(chuàng)作水平的工具。

在本文中，我們關(guān)注自動生成詩歌。盡管計(jì)算機(jī)不能代替詩意的創(chuàng)造力，他們可以分析非常大的在線文本存儲庫詩。計(jì)算機(jī)可以提取統(tǒng)計(jì)模式，進(jìn)行維護(hù)它們存儲在內(nèi)存中，并使用它們生成許多可能的變體。此外，對于機(jī)器而言，它相對簡單檢查候選詩是否與那些詩相符要求。超越建立自主性的長期目標(biāo)能夠創(chuàng)造有意義的智能系統(tǒng)詩歌最終將有潛在的短期應(yīng)用對于AI 增強(qiáng)人類的專業(yè)知識/經(jīng)驗(yàn)，可能使每個人都可以因娛樂或教育而成為詩人目的。我們提出基于遞歸神經(jīng)網(wǎng)絡(luò)的詩詞生成系統(tǒng)鑒于有大量收藏詩歌，我們學(xué)習(xí)單個人物的表現(xiàn)，及其組合成一個或多個行，以及如何他們相互加強(qiáng)和相互制約。鑒于用戶指定的寫作意圖，系統(tǒng)可以生成一個通過順序語言建模創(chuàng)作詩歌。不同于傳統(tǒng)以前的神經(jīng)網(wǎng)絡(luò)中的單遍生成，我們的擬議的系統(tǒng)將能夠?yàn)橐粋€或多個迭代，以完善措辭，并做到更多詩意的，這很像一個真實(shí)的人類寫作過程。

一、相關(guān)工作

詩歌是最重要的文學(xué)遺產(chǎn)之一在世界各地的各種文化中，有一些正式的研究計(jì)算機(jī)輔助詩歌生成領(lǐng)域。來自不同國家的科學(xué)家研究了自動通過不同語言以自己的語言創(chuàng)作詩歌方式：1.遺傳算法。2.統(tǒng)計(jì)機(jī)器翻譯（SMT）。提出了一種跨語言一代的翻譯模型詩歌，從意大利語到英語；3.基于規(guī)則的模板。基于語義和語法模板的生成平臺。如果用戶的輸入查詢太短而無法提取足夠的關(guān)鍵字，則我們需要擴(kuò)展一些新關(guān)鍵字直到滿足關(guān)鍵字編號的要求。我們對關(guān)鍵字使用兩種不同的方法擴(kuò)張。基于RNNLM 的方法。我們使用遞歸神經(jīng)網(wǎng)絡(luò)語言模型（RNNLM）根據(jù)前面的關(guān)鍵字序列預(yù)測后續(xù)關(guān)鍵字RNNLM 的訓(xùn)練需要一個訓(xùn)練集，該訓(xùn)練集包括從詩歌中提取的關(guān)鍵字序列，其中一個關(guān)鍵字代表一行的子主題。我們自動生成訓(xùn)練語料庫從收集的詩歌中具體來說，給定一首包含N 行的詩歌，我們首先對單詞進(jìn)行排名根據(jù)詩歌語料庫上計(jì)算出的分?jǐn)?shù)在每行中進(jìn)行排列。然后用選擇最高的分?jǐn)?shù)作為該行的關(guān)鍵字。這樣，我們可以提取一個關(guān)鍵字排列每首詩，并為基于RNNLM 的關(guān)鍵字預(yù)測生成訓(xùn)練語料庫模型。在本文中，我們著重于中國絕句的產(chǎn)生，它有4 行，每行有相同長度的5 或7 個字符。我們從互聯(lián)網(wǎng)上收集了7 萬部絕句，并隨機(jī)選擇用于驗(yàn)證的2,000 首詩，用于測試的2,000 首詩以及其余用于培訓(xùn)的詩。從詩歌訓(xùn)練語料庫中，我們提取了70000 個關(guān)鍵字序列，即用于訓(xùn)練RNN 語言模型以進(jìn)行關(guān)鍵字?jǐn)U展。

二、方法

詩人創(chuàng)作詩歌的一個可行程序是首先概述可以表達(dá)的主要寫作意圖通過一組關(guān)鍵字。自作者以來，這是一個反復(fù)的過程可以隨時更改條款的一部分以完善想法，直到整首詩都寫完了。試圖模仿這樣的過程。問題表述。我們將問題定義如下輸入。給定關(guān)鍵字={k1，k2，...kn}來自作者作為寫作意圖（即主題，主題，場景，或生成詩歌的主題），其中ki 是關(guān)鍵字學(xué)期。每個關(guān)鍵字由一個或多個字符組成，即ki={c1，c2，...}。我們從關(guān)鍵詞中產(chǎn)生一首詩。輸出。我們生成一首詩P={c1,1，...，c1，n;...;cm，1，...，cm，n}，ci，j 2 V，其中V 是詞匯量。n 是一行詩中的字符數(shù)； m 是行數(shù)。對于中國古典詩歌，即絕句和受限制的經(jīng)文，n（5 或7）和m（4 或8）是固定數(shù)字。系統(tǒng)框架。我們的系統(tǒng)以編碼解碼方式工作時尚，代表用戶的意圖單個向量，然后將向量解碼為整首詩。意圖表示。系統(tǒng)接受一組用戶指定關(guān)鍵字作為輸入。我們使用神經(jīng)網(wǎng)絡(luò)（CNN）或遞歸神經(jīng)網(wǎng)絡(luò)（RNN）上的字符以捕獲特定含義關(guān)鍵字詞；然后整合不同術(shù)語的信息通過池化層。這樣我們得到一個向量用戶意圖的表示。

順序生成。以向量表示為條件根據(jù)用戶的意圖，我們使用RNN 編寫一首詩逐個字符生成一個字符。注意那首詩包含多行，并且每行進(jìn)一步包含多行人物，我們對詩歌使用分層架構(gòu)一代。具體來說，我們有一個RNN 代表全球每行的信息：全局信息向量的影響在該行中的所有角色世代上。基于全球RNN，我們還有另一個代表本地的RNN 信息，指導(dǎo)單個字符的生成在行內(nèi)。

LSTM。LSTM 代表長期短期記憶，它是循環(huán)層的構(gòu)建單元神經(jīng)網(wǎng)絡(luò)。LSTM 單元由一個單元，一個輸入，一個輸出和一個忘記門組成。這些負(fù)責(zé)記憶一定時間范圍內(nèi)的門保留了多少數(shù)據(jù)。有兩種主要的訓(xùn)練LSTM 詩歌模型的方法。首先字符，這意味著模型將字符序列作為輸入。基于第一個該模型試圖預(yù)測以下特征，然后根據(jù)前兩個預(yù)測預(yù)測第三個字符，依此類推。第二種方法是逐個子詞基本上與每個字符相同-模型試圖預(yù)測下一個子詞基于以前的。此外，使用了兩種方法來分割數(shù)據(jù)，很明顯的一種是逐詩另一種將基于特定的序列長度。逐詩逐句詩歌必須等長，因此模型可以使用批量更新。但是，這將增加訓(xùn)練時間，因?yàn)檫€有更多數(shù)據(jù)需要處理通過和詩的長度變化很大。另一方面，有限的序列長度可能會失去這首詩的上下文，因?yàn)榫W(wǎng)絡(luò)不會將這首詩視為整個。盡管如此，這兩種方法都已實(shí)現(xiàn)并嘗試過。最后但并非最不重要的一點(diǎn)是，使用LSTM 模型生成詩歌。該模型從一個開始隨機(jī)或輸入的字符，并據(jù)此預(yù)測，直到結(jié)束符號或長度限制為到達(dá)。綜上所述，系統(tǒng)對寫作意圖進(jìn)行編碼，并生成按照這樣的意圖通過一首詩解碼過程。

三、實(shí)驗(yàn)與評估

自動生成與人類詩人我們進(jìn)行了一次有趣的評估，直接比較了我們的自動詩歌生成系統(tǒng)與人類詩人相似，類似于圖靈測驗(yàn)。我們隨機(jī)選擇了二十測試集的詩歌，由中國古代詩人撰寫。我們用這些詩的標(biāo)題作為通過我們的自動生成系統(tǒng)輸入并生成了20 首詩。因此，機(jī)器生成詩與人類詩是同一個主題。然后我們問了一些人類評估者區(qū)分人類創(chuàng)作的詩歌和機(jī)器生成的詩歌。在盲測中，我們向評估者展示了兩首詩及其標(biāo)題。時間，并要求評估者從以下三個選項(xiàng)中進(jìn)行選擇：1.詩歌A 是人類寫的；2.詩B 是人類寫的；3.無法區(qū)分人類寫的是哪一個。評估結(jié)果我們可以看到48.9%的機(jī)器生成的詩歌被錯誤地識別為人類詩歌或無法被普通評估者區(qū)分。但對于專家評估人員，這一數(shù)字下降到15.3%。我們可以從結(jié)果中得出兩個結(jié)論：1.在普通用戶的標(biāo)準(zhǔn)下，我們的機(jī)器生成的詩歌的質(zhì)量非常接近人類詩人；2.但從專業(yè)專家的角度來看，機(jī)器生成的詩歌仍然有與人類詩歌相比，有一些明顯的不足。

四、結(jié)論與未來工作

在自然領(lǐng)域，詩歌創(chuàng)作是一項(xiàng)艱巨的任務(wù)語言生成。我們提出了一種新穎的建模方法這個問題基于遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。給定用戶的寫作意圖，我們對信息進(jìn)行編碼并通過順序生成將其解碼為一首詩。我們的人類評估研究顯示機(jī)器產(chǎn)生的詩歌落后于人類產(chǎn)生的詩歌那些。值得牢記的是詩歌創(chuàng)作對人類來說是一項(xiàng)艱巨的任務(wù)，更不用說機(jī)器了。未來工作的途徑很多。我們想產(chǎn)生不同的詩語言和流派。