一千三百七十億參數谷歌帶來新語言模型LaMDA，將實現更安全更高質量對話

如今，語言模型的能力越來越強，在各種任務中都發揮了很大的作用。其中，開放域對話可能是最難以完成的一類任務，需要做到能夠就任何主題進行對話。

在對話任務中，除了生成人類認為合理、有趣且特定于上下文的響應之外，語言模型還須按照負責任的人工智能框架工作，以免生成無信息源證實的內容。

近日，谷歌在以《LaMDA：對話應用程序的語言模型》為題的一篇論文中介紹了語言模型LaMDA在安全、可靠和高質量的對話方面取得的最新進展。

據悉，LaMDA模型具有1370億個參數，通過微調采用Transformer架構的專用對話神經語言模型而構建，可以利用外部知識源展開對話。

對于訓練對話模型來說，定義目標和指標至關重要。LaMDA模型具有質量、安全和扎實性三個關鍵目標，每個目標有各自的衡量指標。

質量上，谷歌將其拆分為合理性、特異性和趣味性這三個方面。

其中，合理性是指模型在對話中作出有實際意義的回應，如回應中沒有出現常識性錯誤;特異性是指模型在對話中針對特定的上下文來響應，而不是在常規情形下的通用響應;趣味性是指模型作出了富有洞察力和智慧的回應。

安全上，谷歌在開發和部署負責任的人工智能方面有很大的進步。為避免出現各種偏見以及可能對用戶造成傷害的內容，其用一組可限制模型輸出對話的安全目標來組成安全指標。

由于語言模型有時會輸出貌似合理實際卻與已知事實相悖的內容，谷歌對LaMDA模型的扎實性展開了研究。……