登录/注册
扫描二维码
手机浏览

蚂蚁集团推出新款MoE大语言模型 使用国产AI芯片训练其性能与完全使用英伟达芯片、同规模稠密模型及MoE模型相当

新榜商桥
情报行业动态

新榜讯 3 月 24 日电,近期,蚂蚁集团 Ling 团队发布了一篇技术成果论文。该论文指出,蚂蚁集团已推出两款规模各异的 MoE 大语言模型,分别为百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus)。其中,百灵轻量版参数规模达 168 亿(激活参数 27.5 亿),而百灵增强版的基座模型参数规模更是高达 2900 亿(激活参数 288 亿),二者性能皆处于行业领先地位。不仅自研出性能卓越的大模型,此技术论文的最大亮点在于提出众多创新方式,有效提升了资源受限环境中 AI 开发的效率与可及性。实验结果显示,其 3000 亿参数的 MoE(混合专家)大模型能够在配备国产 GPU 的低性能设备上实现高效训练,性能与完全采用英伟达芯片、同等规模的稠密模型及 MoE 模型不相上下。 (财联社)


分享文章链接