近日,在全球自然語言處理領域頂級賽事GLUE Benchmark中,阿里巴巴達摩院以平均分90.3分的成績奪冠,戰勝了來自Google、微軟、Facebook、斯坦福大學等企業和高校的團隊。自然語言理解是人工智能的核心技術之一,GLUE Benchmark(通用語言理解評估基準)比賽排名是衡量自然語言理解技術水平的重要指標。比賽設置了自然語言推斷、語義相似度、問答匹配、情感分析等9項任務,最后按平均分綜合排名。
達摩院NLP團隊取得了CoLA、MRPC、QQP、WNLI等4個任務的最佳效果,以平均分90.3分位列第一。據了解,目前,阿里AI的表現已經超越了人類水平(87.1分)。早在2018年初,阿里AI就在機器閱讀理解頂級賽事SQuAD中打破世界紀錄,首次超越人類成績。2019年,阿里AI登頂GLUE榜單,并于同年6月在常識QA領域的權威數據集CommonsenseQA中奪冠,刷新了MSMARCO文本閱讀理解挑戰賽的紀錄。
據介紹,達摩院NLP團隊此次開發的StructBERT模型好比給機器內置了一個“語法識別器”,使機器在面對語序錯亂或不符合語法習慣的詞句時,仍能準確理解并給出正確的表達和回應,大大提高機器對詞語、句子以及語言整體的理解力。目前,這一技術已廣泛使用于阿里旗下阿里小蜜、螞蟻金服、優酷等業務。阿里達摩院的語言模型和閱讀理解技術也被用于行業賦能,推進AI技術在醫療、電力、金融等行業的落地。