新榜讯 3 月 24 日电,近期,蚂蚁集团 Ling 团队发布了一篇技术成果论文。该论文指出,蚂蚁集团已推出两款规模各异的 MoE 大语言模型,分别为百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus)。其中,百灵轻量版参数规模达 168 亿(激活参数 27.5 亿),而百灵增强版的基座模型参数规模更是高达 2900 亿(激活参数 288 亿),二者性能皆处于行业领先地位。不仅自研出性能卓越的大模型,此技术论文的最大亮点在于提出众多创新方式,有效提升了资源受限环境中 AI 开发的效率与可及性。实验结果显示,其 3000 亿参数的 MoE(混合专家)大模型能够在配备国产 GPU 的低性能设备上实现高效训练,性能与完全采用英伟达芯片、同等规模的稠密模型及 MoE 模型不相上下。 (财联社)
扫描二维码
手机浏览
蚂蚁集团推出新款MoE大语言模型 使用国产AI芯片训练其性能与完全使用英伟达芯片、同规模稠密模型及MoE模型相当
分享文章链接
相似推荐

消息称蚂蚁集团AI训练取得突破:使用国产芯片,成本降低20%
新榜讯 据外媒报道,知情者透露,蚂蚁集团正在运用中国制造的半导体来开展 AI 模型训练技术的开发工作,此举预计能让成本降低 20%。

字节对MoE模型训练成本再砍一刀 成本可节省40%
新榜讯 3 月 10 日,字节豆包大模型团队正式宣布开源一项针对 MoE(混合专家模型)架构的关键优化技术。

苹果将使用亚马逊AI芯片对其专有模型进行预训练
新榜讯 据 CNBC 报道,苹果公司机器学习和人工智能高级总监贝努瓦·杜平宣称,苹果借助亚马逊的 Inferentia 和 Graviton 芯片为其搜索服务予以支持,相较 x86 芯片,亚马逊芯片令效率提高达 40%。