系统PLUS博客 - 性能评测

压测推理服务：只报 tokens/s 是不够的

xiaorui7小时前1

为什么传统 RPS 压测在 LLM 端点上失效，四指标、并发扫描、闭环与开环，以及该测哪些功能...