新榜讯 据悉，2024 年 6 月，月之暗面 Kimi 与清华大学 MADSys 实验室携手发布 Kimi 底层的 Mooncake 推理系统设计方案。此系统凭借以 KVCache 为核心的 PD 分离及以存换算架构，提高了推理吞吐量。 近期，为推动该技术框架的应用及推广，月之暗面 Kimi 与清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等，共同发布开源项目 Mooncake，合力构建以 KVCache 为核心的大模型推理架构。 11 月 28 日，Mooncake 技术框架已开源上线。据相关介绍，Mooncake 开源项目由论文拓展而来，以超大规模 KVCache 缓存池为重点，借由以存换算的创新思维，大幅降低算力开销，增强了推理吞吐量。 此次开源将分阶段进行，逐步公开高性能 KVCache 多级缓存 Mooncake Store 的实现，同时对各类推理引擎以及底层存储/传输资源予以兼容。其中，传输引擎 Transfer Engine 部分现已在 GitHub 全球开源。Mooncake 开源项目的终极目标在于，为大模型时代塑造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。