芯片&算力
#推理优化#GPU#容量规划推理服务的容量规划，先看峰值形态再看平均 QPS
长上下文、突发流量和多模型路由会让平均指标掩盖真正的资源瓶颈。
David Chen算力基础设施9 分钟阅读1,540 阅读
这是一篇来自 FLUX 编辑部的深度内容，记录真实项目中的判断、取舍和可复用经验。
模型服务的平均 QPS 很容易让容量规划变得过于乐观。一次长上下文请求消耗的显存和计算时间，可能相当于数十次短请求；而营销活动带来的突发流量又会让队列快速堆积。
工程团队应该同时观察 token 速率、排队时间、上下文长度和缓存命中，并为不同业务设定独立的预算。
硬件升级当然重要，但先理解请求形态，往往能用更低的成本换来更稳定的吞吐。
编辑提示：如果你在项目中遇到类似问题，欢迎带着上下文来到社区讨论。好的问题会成为下一篇内容的起点。