“悟道·天鷹”（Aquila）發(fā)布24小時后 摩爾線程率先實現(xiàn)兼容適配 當(dāng)前信息

(資料圖)

6月9日-10日，智源研究院在北京智源大會上重磅發(fā)布了全面開源的“悟道3.0”系列大模型，包括“悟道·天鷹”（Aquila）語言大模型等領(lǐng)先成果。目前，摩爾線程已率先完成對“悟道·天鷹”（Aquila）大模型的推理兼容適配，整個適配過程僅花費不到6小時時間，便已實現(xiàn)與摩爾線程自研MUSAChat應(yīng)用的無縫集成。此前，摩爾線程曾在ChatGLM發(fā)布后24小時內(nèi)實現(xiàn)適配，并在數(shù)小時內(nèi)適配LLaMA模型，摩爾線程CUDA兼容的技術(shù)能力一再被驗證。

這充分得益于摩爾線程強大的代碼移植工具“musify”。該工具可快速將現(xiàn)有的CUDA程序遷移至摩爾線程MUSA，零成本完成CUDA代碼自動移植，之后用戶短時間內(nèi)即可完成熱點分析和針對性優(yōu)化，大大縮短遷移優(yōu)化的周期，從而使得大模型適配形成了標(biāo)準(zhǔn)“流水線作業(yè)”，讓開發(fā)者可以省時、省力、省事、省心。

目前，基于摩爾線程打造的AI與云計算平臺，已經(jīng)可以運行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等開源大模型，以及摩爾線程自研的MUSAChat和MUSABert等模型的部分訓(xùn)練和推理應(yīng)用。借助摩爾線程元計算統(tǒng)一系統(tǒng)架構(gòu)MUSA，用戶可以復(fù)用PyTorch開源社區(qū)的大量模型算子，降低開發(fā)成本。與此同時，摩爾線程開源的MT Pytorch可以支持多種模型的推理，覆蓋CV、NLP、語音等多個領(lǐng)域，能夠運行典型的大模型分布式多卡推理，也可以支持單機多卡與多機多卡的分布式訓(xùn)練。利用數(shù)據(jù)并行、模型并行以及ZERO等分布式訓(xùn)練技術(shù)，MT PyTorch還可以完成簡單基礎(chǔ)模型以及典型Transformer結(jié)構(gòu)的NLP語言模型的訓(xùn)練。

據(jù)悉， 智源此次發(fā)布的“悟道3.0”系列開源模型涵蓋語言、視覺、多模態(tài)等基礎(chǔ)大模型，其中，“悟道·天鷹”（Aquila）語言大模型是首個具備中英雙語知識、支持商用許可協(xié)議、國內(nèi)數(shù)據(jù)合規(guī)需求的開源語言大模型。其在中英文高質(zhì)量語料基礎(chǔ)上從0開始訓(xùn)練，通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時間內(nèi)，獲得比其他開源模型更優(yōu)的性能。

關(guān)鍵詞：