新榜讯 2 月 12 日消息,据字节跳动豆包大模型团队透露,其 Foundation 团队于近期推出 UltraMem,这是一种能将计算和参数解耦的稀疏模型架构,在确保模型效果的基础上成功化解了推理的访存难题。据悉,该架构有力地攻克了 MoE 推理时居高不下的访存问题,推理速度相较 MoE 架构加快 2 至 6 倍,推理成本最多可降低 83%。