近日,騰訊云小微提出的多語言預訓練模型“神農MShenNonG”以平均分85分的成績登頂XTREME榜單。與此同時,該模型僅包含5億級別的小參數量,也一舉刷新業界記錄。

據了解,該榜單是目前最受國內外行業公司認可的多語言評測榜單,研究人員以多語言預訓練模型在此榜單的表現作為其跨語言遷移能力的評價標準。

目前,全球有超過6900種語言,其中大多數語種都沒有足夠的數據支撐研究者將其單獨訓練成成熟模型。騰訊云小微深耕知識挖掘、語義理解技術以及預訓練技術,“神農MShenNonG”此次登頂XTREME榜單,代表了其從單語言到多語言理解能力的一個顯著擴展,將跨語言遷移開發由市場平均的月級降低至10天。同時,“神農”系列的預訓練模型已應用于云小微全系列產品矩陣,可顯著提升AI語音助手、智能客服機器人、數智人等產品的多項技術指標,助力出海企業快速落地本地化服務。

刷新行業記錄,跨語言遷移開發周期縮短至10天

(資料圖片僅供參考)

憑借對自然語言應用程序等領域發展研究的積極作用,XTREME榜單備受業界認可。

由于大多數的NLP預訓練模型主要為中文、英文等高資源語種,低資源小語種的研究并未得到足夠重視。2020年,來自 CMU、谷歌研究院和 DeepMind的科學家們提出了覆蓋四十種語言、橫跨了12個語系的大規模多語言多任務基準 XTREME,其中包含了9項需要不同句法或語義層面進行推理的任務,并可以為語句文本分類、結構預測、語句檢索和跨語言問答等自然語言處理任務提供有效支持。

此次登頂XTREME榜單,主要是由于“神農MShenNonG”在以下三個不同維度做了創新性的嘗試。

首先,在數據層面,預訓練模型的訓練數據主要由兩種形式的數據構成:單語種句子和雙語平行句對。此前的模型處理方法是,對于單語種句子,單純地將單語種信息輸入模型,并以MLM作為訓練目標,非常依賴相似語系之間“共享詞”的預測來建模各語言間的語義對齊關系;對于平行句對,又依賴平行語料的規模和組合,模型對其對齊關系的建模存在一定缺陷。為緩解以上問題,騰訊云小微研究團隊提出了基于混合編碼的數據構造方式,分別利用雙語對齊詞典和句子檢索工具,構造大量的“多語言混合”訓練數據。

其次,在模型層面,研究團隊提出了一種可插拔的、基于多尺度的多語言信息融合模塊,分別從詞級別和句子級別多個尺度融入多語言信息,期望在訓練過程中,加強所有語種的詞向量的更新和對齊,解決多語言模型對低資源語種、低頻次詞匯建模較弱的問題。

第三,在訓練方式上,研究團隊分別通過語種層面和語義層面引入對比學習策略,使得相同語義的表示相互拉近,不同語義的表示相互遠離,進一步強化多語言預訓練模型對于多語言的語義建模能力和語義匹配能力。

值得注意的是,研究團隊重視多尺度的多語言的一致性建模,以強化預訓練模型的跨語言遷移能力,并將跨語言遷移開發由市場平均的月級降低至周級,同時,相較市場平均1個月以上的模型迭代周期,“神農MShenNonG”僅需10天。

多次登頂權威榜單神農以技術優勢探索出海場景

“神農MShenNonG”登頂XTREME榜單,依托于騰訊云小微團隊技術研發和行業知識的長期積累。此前,騰訊云小微的中文預訓練模型ShenNonG就以十億級參數量一舉登頂CLUE總排行榜、1.1分類任務、閱讀理解任務和命名實體任務四個榜單,刷新行業記錄。

專注于語義理解技術以及預訓練技術的研發,此次登頂XTREME榜單代表了騰訊云小微從單語言到多語言理解相關技術的一個擴展。目前,“神農”系列的預訓練模型已應用于全系列產品矩陣,可顯著提升AI語音助手、智能客服機器人、數智人等產品的多項技術指標。

隨著開發的不斷成熟,優勢產品向海外拓展成為不少國內企業的選擇。但產品出海通常要面臨適應新語種、業務本地化的挑戰。過往,以機器翻譯的方式將單語種遷移到多語言場景,不僅費時費力,效果也差強人意。相對于傳統的機器翻譯模式,騰訊云小微“神農MShenNonG”預訓練模型有著低成本、低門檻的優勢,以輕量參數為多行業、小語種提供跨語言遷移服務,助力企業降本增效,落地出海業務。

未來,騰訊云小微團隊還將持續深耕知識挖掘和深度學習技術,探索更多技術落地場景,以科技助力各行業的企業更好地服務用戶,為社會創造更多價值。

免責聲明：本文不構成任何商業建議，投資有風險，選擇需謹慎！本站發布的圖文一切為分享交流，傳播正能量，此文不保證數據的準確性，內容僅供參考

關鍵詞：