新榜讯 3 月 10 日,字节豆包大模型团队正式宣布开源一项针对 MoE(混合专家模型)架构的关键优化技术。此技术能够使大模型训练效率提高 1.7 倍,成本降低 40%。据了解,该技术已在字节的万卡集群训练中得到了实际应用,累计节省数百万 GPU 小时的训练算力。