系统PLUS博客
首页
系统PLUS博客
压测推理服务:只报 tokens/s 是不够的
xiaorui
7小时前
1
为什么传统 RPS 压测在 LLM 端点上失效,四指标、并发扫描、闭环与开环,以及该测哪些功能...
查看全文
控制面板
您好,欢迎到访网站!
登录后台
查看权限
网站分类
未分类
最新留言