系统PLUS博客 - 模型部署

vLLM 显存装不下：参数该按什么顺序调

xiaorui7小时前1

从 gpu_memory_utilization 到 TP/PP 的四步调优顺序、官方 OOM 缓解顺序，以及 FP8 的硬件门槛与 kernel 踩坑...