开发技术
From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
2026-08-18arxiv.org
★★★★★
刻画Agentic工作负载特征,为推理服务系统设计提供参考。
值得记下
阅读原文↗Agentic负载的调度与缓存需求显著区别于传统推理,服务系统设计需重新权衡。
内容来源:arxiv.org,版权归原作者所有
刻画Agentic工作负载特征,为推理服务系统设计提供参考。
Agentic负载的调度与缓存需求显著区别于传统推理,服务系统设计需重新权衡。
内容来源:arxiv.org,版权归原作者所有