开发技术
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
2026-10-09arxiv.org
★★★★★
月之暗面公开 Mooncake，以 KVCache 为中心的分离式架构，支撑 Kimi 生产流量。
值得记下
阅读原文↗把 KVCache 当作一等资源做全局调度，而非推理过程的副产品，这一取舍决定了整套推理架构的形态。
内容来源：arxiv.org，版权归原作者所有
月之暗面公开 Mooncake，以 KVCache 为中心的分离式架构，支撑 Kimi 生产流量。
把 KVCache 当作一等资源做全局调度，而非推理过程的副产品，这一取舍决定了整套推理架构的形态。
内容来源：arxiv.org，版权归原作者所有