开发技术

From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems

2026-08-18arxiv.org

刻画Agentic工作负载特征,为推理服务系统设计提供参考。

值得记下

Agentic负载的调度与缓存需求显著区别于传统推理,服务系统设计需重新权衡。

阅读原文

内容来源:arxiv.org,版权归原作者所有