登录/注册
扫描二维码
手机浏览

字节豆包大模型团队提出稀疏模型架构UltraMem

新榜商桥
情报行业动态

新榜讯 2 月 12 日消息,据字节跳动豆包大模型团队透露,其 Foundation 团队于近期推出 UltraMem,这是一种能将计算和参数解耦的稀疏模型架构,在确保模型效果的基础上成功化解了推理的访存难题。据悉,该架构有力地攻克了 MoE 推理时居高不下的访存问题,推理速度相较 MoE 架构加快 2 至 6 倍,推理成本最多可降低 83%。


分享文章链接