新榜讯 近日,全球知名的开源解决方案提供商红帽公司宣称正式启动新开源项目 llm-d。此项目旨在满足生成式 AI 大规模推理需求,由红帽公司与创始贡献者 CoreWeave、Google Cloud、IBM Research 以及 NVIDIA 携手打造。该项目能够借助突破性的大规模生成式 AI 推理技术,使大语言模型(LLM)推理云达成最为严苛的生产服务级目标(SLO)。(新浪科技)
扫描二维码
手机浏览
红帽宣布推出llm-d社区,NVIDIA、Google Cloud为创始贡献者
分享文章链接
相似推荐

抖音推出精选内容社区“爱看”APP
新榜讯 4 月 18 日报道,抖音于近日上线一款名为“爱看”的 APP。

腾讯云首次亮相MWC2025,推出SuperApp解决方案
新榜讯 西班牙当地时间 3 月 4 日,腾讯云在 2025 届世界移动通信大会(MWC)上首次亮相,正式推出 SuperApp 解决方案。

华为云发布端到端大模型安全解决方案等一系列云服务
新榜讯 3 月 3 日,华为云透露,于 2025 年巴塞罗那世界移动通信大会期间,华为云面向全球市场推出了一系列云服务,涵盖数据中心上云解决方案、企业 IT 迁移上云解决方案、容灾备份连续性解决方案、大模型安全解决方案、CMRP 多层联动防勒索安全解决方案、商专车自动驾驶解决方案等。