推理服务该盯哪些指标:一张诊断映射表

xiaorui7小时前1
vLLM 原生五个关键指标、延迟异常定位到上游还是 decode 侧,以及上线前必须演练的三件事...

压测推理服务:只报 tokens/s 是不够的

xiaorui7小时前1
为什么传统 RPS 压测在 LLM 端点上失效,四指标、并发扫描、闭环与开环,以及该测哪些功能...

RAG 上线后效果不好,多半不是模型的问题

xiaorui7小时前1
检索与生成必须分开评估、golden dataset 的规模口径,以及八类生产失败模式与对应处理方向...

vLLM 显存装不下:参数该按什么顺序调

xiaorui7小时前1
从 gpu_memory_utilization 到 TP/PP 的四步调优顺序、官方 OOM 缓解顺序,以及 FP8 的硬件门槛与 kernel 踩坑...

装 skill 前先扫一遍:NVIDIA SkillSpector 和那组不好看的数字

xiaorui7小时前4
31,132 个 skill 里 26.1% 含漏洞、5.2% 疑似恶意,NVIDIA 用 SkillSpector 补这道闸,以及它扫不出来的部分...

拆开 Agent Skills:SKILL.md 到底长什么样

xiaorui7小时前4
从开放标准与官方仓库出发,讲 SKILL.md 的结构、description 驱动的渐进式披露三层机制,以及上下文预算与重叠冲突两个成本...

读《Best Claude Skills》:我同意的三条和存疑的一条

xiaorui8小时前3
Farasat Ali 文章的提炼笔记,附对 seo-audit 定位的不同看法,以及本地离线生态这块原文没覆盖到的地方...

Gemini 4 Argon 的 100 万输出 token,改变的到底是什么

xiaorui8小时前4
输出上限从 6.4 万提到 100 万,任务形态和审核成本都会变;顺带说清楚为什么榜单分数不该直接横比...

MiniMax M3.1 Flash:1M 上下文、74% DeepSWE,权重 10 月 23 日开放

xiaorui8小时前3
10 月 19 日发布的多模态模型,价格约为 M3 三分之一,标注了哪些数据尚未经一手核实...

为VLLM运行的大模型API增加API KEY鉴权方法

xiaorui5个月前 (06-06)482
为VLLM运行的大模型API增加API KEY鉴权方法
前面在《[华为 Atlas 800I A2 部署 Qwen2.5-32B 全栈 AI 应用实践]》(*注:...