清华大学 - 一枝梧桐

Kimi联手清华开源大模型推理架构Mooncake 提升AI推理效率

在人工智能快速发展的背景下，Kimi公司与清华大学MADSys实验室合作推出了基于KVCache的Mooncake推理系统，旨在解决高推理负载和降低推理成本的问题。Mooncake项目在GitHub上...