当前位置:首页 > 科研成果库

大模型推理优化:别只盯着算力,解码才是吞金兽

2026-11-16 15:03:09小研科研成果库11

先看看钱烧在哪:Prefill 和 Decode 是两码事

先泼盆冷水。大模型推理优化,最怕一上来就聊用哪个框架。错。你得先分清两个阶段:Prefill 和 Decode。

Prefill 处理整段 prompt,矩阵乘法堆得满满,GPU 算力容易吃满。Decode 呢?每次生成一个 token,计算量小得可怜,但要把历史 KV Cache 全读一遍。结果就是——显存带宽成了瓶颈,算力反而在摸鱼。这就是为什么很多线上服务,TTFT 还行,但 TPOT 慢到让人摔键盘。

一句话:Prefill 拼算力,Decode 拼显存带宽。 搞错优化方向,调参调到天亮也没用。

大模型推理prefill与decode阶段GPU利用率对比图大模型推理prefill与decode阶段GPU利用率对比图

我见过一个团队,8 张 A100 部署 13B 模型,想着绰绰有余。上线后并发一高,P99 延迟直接起飞。为啥?KV Cache 把显存吃光了,新请求排队,老请求 decode 又慢。最后只能限流。尴尬不?

KV Cache:显存里的巨兽,得学会分页和压缩

KV Cache 是自回归生成的命根子。每个 token 每一层都要存 Key 和 Value。序列越长,占用越吓人。公式摆在那:2 × 层数 × 头数 × 头维度 × 序列长度 × 批大小 × 精度字节。长上下文一开,显存直接爆。

怎么治?几条路。

第一,改注意力结构。 MQA、GQA 让多个查询头共享 KV 头,显存直接砍几倍。DeepSeek 的 MLA 更狠,把 KV 压缩到潜在空间,推理时再投影回来。论文里数据漂亮,工程落地也真香。

第二,分页管理。 vLLM 的 PagedAttention 把 KV Cache 切成固定大小的 block,按需分配,像操作系统管内存一样。碎片少了,批大小就能上去。这个工作拿了 SOSP 2023 最佳论文?至少是很有影响力。现在几乎成了推理框架标配。

vLLM PagedAttention KV缓存分页管理示意图vLLM PagedAttention KV缓存分页管理示意图

第三,量化 KV Cache。 FP16 太奢侈,INT8 甚至 FP8 能省一半。但注意,Key 量化比 Value 敏感,有些层不能一刀切。瞎量化,模型胡言乱语,别怪我没提醒。

还有 prefix caching。系统提示词、few-shot 示例,很多请求共享。缓存复用,prefill 直接跳过。省钱省时间。不过话说回来,缓存命中率低的时候,管理开销也会咬人。

连续批处理:别让 GPU 等你的下一个 token

传统静态批处理,一批请求必须一起结束。短请求等长请求,GPU 空转。气不气?

连续批处理,也叫 in-flight batching。一个请求生成完,立刻踢出去,新请求马上塞进来。GPU 始终保持忙碌。Orca 系统最早把这个思路讲清楚,现在 vLLM、TensorRT-LLM、DeepSpeed-FastGen 都在用。吞吐量翻几倍不稀奇。

但调度器不是简单的先来先服务。你得考虑:请求优先级、SLA、KV Cache 剩余空间、prefill 和 decode 的混合比例。Prefill 太重会卡住 decode,导致 TPOT 抖动。有些框架搞 chunked prefill,把长 prompt 切块,穿插着跑。妙。

调度器才是隐藏 BOSS。 模型结构一样,调度策略不同,每百万 token 成本能差一倍。

投机解码:小模型打草稿,大模型拍板

Decode 阶段每次只出一个 token,GPU 算力闲着也是闲着。能不能一次多猜几个?能。投机解码就是干这个的。

思路不复杂:用小模型或者额外头,快速生成 K 个候选 token。大模型并行验证。猜对了,一次接受多个;猜错了,回退。数学上可以保证输出分布不变,前提是采样和验证写对。写错?那就不是加速,是事故。

科研圈卷得厉害。Medusa 加多个解码头,EAGLE 在特征层做自回归,Lookahead 用 Jacobi 迭代。效果呢?2 到 3 倍加速常见。但草稿模型也得占显存,batch 大了还可能拖累。不是银弹。

大模型投机解码草稿验证流程示意图大模型投机解码草稿验证流程示意图

我挺喜欢 EAGLE 的思路,不过工程实现复杂。团队要是连 KV Cache 都没管明白,先别碰这个。真的。

量化、并行、长上下文:新战场越来越卷

量化、并行、长上下文:新战场越来越卷量化、并行、长上下文:新战场越来越卷

量化是另一条大腿。权重 4bit,激活 8bit,显存和带宽都降。GPTQ、AWQ 在权重上表现稳,SmoothQuant 处理激活离群值。FP8 在 H100 上原生支持,训练推理都能用。但量化不是越狠越好。4bit 以下,精度掉得可能让你怀疑人生。

并行策略也得看场景。单卡装不下,张量并行切矩阵,流水线并行切层,专家并行切 MoE。通信开销能把收益吃掉。NVLink 和 InfiniBand 不是装饰品。MoE 模型现在火,DeepSeek-V3 这种,专家并行加负载均衡,路由稍微偏一点,热点专家就堵死。

长上下文更刺激。128K、1M token,KV Cache 线性涨。于是稀疏注意力、滑窗、KV 压缩、检索式注意力全来了。StreamingLLM 保留 attention sink,H2O 丢重 token,SnapKV 压缓存。DeepSeek 的 NSA 搞原生稀疏,硬件友好。论文一篇接一篇,看得人眼花。

还有 test-time compute。o1、R1 这类模型,推理时生成超长思维链。Token 数暴涨,decode 时间成倍增加。这时候,投机解码、连续批处理、KV 优化,一个都不能少。反过来说,推理优化做得烂,推理成本能把商业模式直接干碎。

最后聊点实在的:指标和工具

别只看吞吐。要看 TTFT、TPOT、P99、每百万 token 成本、GPU 利用率。不同业务,指标权重不同。聊天机器人怕 TPOT,RAG 怕 TTFT,离线批处理只看吞吐。

工具链现在挺丰富。vLLM 生态好,SGLang 的 RadixAttention 对前缀复用友好,TensorRT-LLM 性能猛但锁定 NVIDIA,DeepSpeed-FastGen 适合微软栈。选哪个?看团队。别为了追新把生产环境搞崩。

说个暴论:大模型推理优化,一半是系统工程,一半是算账。 算法再漂亮,落不了地,都是论文里的烟花。先测瓶颈,再动手。别瞎卷。