王淳
7月13日,上海交通大學重慶人工智能研究院“兆言”大模型發布會在西部(重慶)科學城召開。活動現場發布了該研究院最新研發成果——“兆言”大模型產品(下稱:“兆言”),這也是重慶首個自主研發的大語言模型。
據了解,兆言大模型是上海交通大學重慶人工智能研究院基于全球領先的AI大模型技術研發出的最新成果,其建立是通過積累海量數據,輔以獨特的數據處理和AI訓練技術,以達到精準、專業的文本輸出,并且能夠實現以自然語言選擇、調用應用程序的能力,助力打造個性化的智能產品。
發布會上,上海交通大學重慶人工智能研究院院長、首席科學家金石介紹,和通用大模型相比,“兆言”大模型擁有“領域精調效率高、訓練推理成本低、人機交互能力強”的特點。
通用大模型在行業落地面臨許多困難。比如,未經行業精調的通用模型在行業應用中表現不佳、通用大模型需要的算力資源不易進行私有化部署、自然語言轉API調用不穩定等。“兆言”大模型較好地解決這些問題。
“兆言”大模型由齊鵬博士領銜,沈國陽、潘楊分別負責技術和產品。該模型采用啟發式數據過濾及增強、模型預訓練和精調自適應比例混合、人工和自動評測相結合等方法對模型進行垂直領域精調,解決了精調中的數據質量差、模型原有能力遺忘、模型答案出現幻覺、模型訓練效率低等行業難題,使得模型答案質量有很好的保障。
模型研發還把小型化部署作為重點,大幅降低模型訓練和推理成本。在商業化所需特定任務上,模型回答質量不降低,而調用成本僅為小型化前的四百分之一,從而保障了以模型為基礎的產品在市場上的競爭力。為解決在自然語言轉應用程序接口(API)調用任務上模型發揮不穩定的問題,研發團隊還建立了專有的自然語言調用語料和指令數據集,從而實現了大語言模型對其他系統的精準調用。
發布會上,上海交通大學重慶人工智能研究院還與華院計算技術(上海)股份有限公司、重慶賽迪工程咨詢有限公司、重慶譽存科技有限公司、中國移動通信集團重慶有限公司、北京流金歲月傳媒科技股份有限公司、重慶賽寶工業技術研究院有限公司進行了現場簽約,將發揮各自優勢,促進大模型技術在制造業、金融、農業、文旅、教育、醫療、司法等場景落地應用。
未來,上海交通大學重慶人工智能研究院將根據重慶主導產業布局需求,通過不斷優化和升級,將“兆言”大模型產品應用到各個領域中,為推動重慶數字經濟的發展和助力西部(重慶)科學城的建設做出貢獻。