新榜讯 清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣称,开源大模型推理引擎“赤兔 Chitu”。据悉,该引擎首次达成在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型。此次开源的版本重点着眼于当下市场最为迫切的需求,即把 DeepSeek-R1 FP8 精度模型毫无损失且高效地部署于存量英伟达 GPU 上。团队宣称,针对多款国产芯片特别优化的版本也将相继开源。
扫描二维码
手机浏览
清华系创企清程极智开源大模型推理引擎“赤兔Chitu”
分享文章链接
相似推荐

清华联合百度,共建生态环境垂直领域预训练大模型
新榜讯 2025 年 1 月 13 日,在“中国环境科学学会生态环境人工智能专委会成立大会暨学术论坛”上,清华大学环境学院徐明教授宣称,清华大学将与百度展开战略合作。

月之暗面Kimi联合清华大学等开源大模型推理架构Mooncake
新榜讯 据悉,2024 年 6 月,月之暗面 Kimi 与清华大学 MADSys 实验室携手发布 Kimi 底层的 Mooncake 推理系统设计方案。

月之暗面Kimi联合清华大学等机构开源共建大模型推理架构Mooncake
新榜讯 近日,月之暗面 Kimi 携手清华大学 MADSys 实验室,并联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研各方力量,共同发布开源项目 Mooncake,构建以 KVCache 为核心的大模型推理架构。