Step-5 在 PPU 上的推理优化:总览篇
Step-5 在 PPU 上的推理优化总览篇
如果关心长提示词多久能处理完,先看稀疏打分。在 PPU-ZW810E 的一次 TP8、64K 输入、并发 1 的测试里,优化后输入吞吐从约 718 提到 924 tok/s。如果关心每生成一步花了多少时间,就要沿着打分、选择历史、计算注意力和路由逐项看。这里有些改动每层只省几微秒,却会在一次迭代里重复几十次。
从哪里读起
| 你在 trace 里看到的现象 | 对应文章 |
|---|---|
| Prefill 不断解码同一批索引 key,长上下文 decode 读写分散 | 稀疏打分:FP8 点积、跨行复用与连续读写 |
| 只有 511 项有效历史,top-k 却扫描十几万列 | 区域选择:按行传长度,合并排序和打包中的重复工作 |
| 选 8 个专家需要连续归约,分发前还要转换专家编号 | MoE 路由:选专家与本卡编号映射 |
| 每层分别处理 Q 和 K,部分层还要重新读取 K/V 写 cache | 注意力输入:合并 Q/K 计算与 KV cache 写入 |
| Prefill 中多行选中相同区域,构建并集时反复更新几个位图字 | 区域并集:成员掩码怎样一次写出来 |
| Gate 单独算一次,indexer 对同一份输入又做三次矩阵乘 | 投影:哪些权重可以拼在一起算 |
长提示词的服务实测
打分改动的服务对照各跑了三轮。基线输入吞吐为 717.89、717.88、717.63 tok/s,优化后为 919.28、927.11、927.05 tok/s,平均提高 28.8%。三轮的平均请求耗时从约 48.1 秒降到 37.4 秒。作为参照,同一实验中的大形状打分 kernel 从 83.28 ms 降到 5.56 ms。服务还要跑其他层和算子,各 chunk 的有效历史也长短不一,因此不能拿单次打分的 15 倍直接推算服务吞吐。
另一次 TP16/EP16 的 INT8 测试只替换 MoE top-8。8192 行的单算子快了 2.26 倍,102400 token 的 prefill 实际省下 59 ms,约占原耗时的 0.33%。这两组测试的配置和改动范围各不相同。
一轮 decode 少了 229 次调用
在 TP16/EP16、batch 4、EAGLE 配置 4 个 draft token 的 graph 采集中,可以逐项核算每轮少了多少次启动。下表按原报告的调用次数和各 kernel 的设备时长归一到一轮;次数描述的是这段 trace。
| 改动 | 每轮少启动 | 每轮减少的累计设备时间 |
|---|---|---|
| 直接用 int32 查本卡专家编号 | 88 次 | 约 723 µs |
| Q 与 K/V 一次调度,DSA 在同一次调用写 cache | 118 次 | 约 220 µs |
| 选出 region 时直接打包物理位置 | 23 次 | 约 39 µs |
| 合计 | 229 次 | 约 982 µs |
这些相关调用从每轮 435 次降到 206 次。设备时间可以按 kernel 相加,用户等到下一个 token 的时间还受多条流重叠执行的影响。两份报告的采样窗口也有差别,优化后采到了更多 MTP 验证工作。要回答这四处融合让实际 decode 快了多少,还缺同一负载、同一采样窗口下的服务开关对照。
原实验还发现 prepare_varlen_num_blocks 在多层间重复出现。不过当时调用的是厂商 FA3 的预编译实现,Python 接口未提供可直接复用这段结果的途径。这项保留为观察,没有计入上表。同样,原稿对 selection 优化后整步时延的推算,也没有作为服务实测列入本文。
从一轮 trace 找回调用次数
以一次专家查表为例。Python 里只写了一句 table[topk_ids],trace 中却先出现一项转成 int64 的拷贝,再出现一项索引操作。两者都是每轮 88 次。换成直接读取 int32 的查表 kernel 后,每轮只剩 88 次调用。旧报告里同名拷贝实际出现了 90 次,新报告里还剩 2 次;把这 2 次也算成路由开销,就会多算。
其余几项也可以这样核对。95 次 Q 和 95 次 K/V 合成 95 次,另外省下 23 次单独写 KV 的调用;23 次选择结果打包仍然保留,只是它们顺手完成了后面 23 次地址打包的工作。于是每轮少掉的次数是 88 + (95 + 23) + 23 = 229。保留下来的打包 kernel 从 1.79 µs 增到 2.27 µs,它接过了查页表的工作。单看它会以为改慢了,把省下的 2.18 µs 地址打包也放回来,才能看到这两步的净收益。
长 prefill 还花时间在哪些地方?
看一个 8192-token chunk。单是把每行选中的 region 合成每组的并集,旧实现就在一次 dump 中花了 1042 µs,约占当时 Triton prefill 路径的四分之一。这里还没开始算注意力。另两处开销来自投影:gate 单独发一次矩阵乘,indexer 又对同一份隐状态做三次投影。下面按代码位置列出这几项的进展。
| 位置 | 原实验能回答什么 |
|---|---|
| Prefill 区域并集 | 旧路径集中更新少量位图字。按 region 建表、按 query 槽位更新后,当时同一份输入回放的构建加速约 3.6 倍。 |
| 索引 key 打包 | ZW810E 的 FP8 测试变体从 340.60 降到 85.16 µs。890P 的生产入口有独立设备门槛,原稿尚无该入口的对照耗时。 |
| 短历史选择 | 最多 512 个历史区域都能保留。PPU radix 路径直接给出 ID,打分端也能跳过相应工作。 |
| 注意力与 indexer 投影 | 合并前 gate 约 51 µs/层,indexer 三次投影约 372 µs/层。提交记录明确了调用变化,未给出合并后的同口径净耗时。 |
| Q/K 归一化与 RoPE | ZW810E 上,32768 token、每卡 4 个 Q head,同一次 acu 采集从 249.79 降到 84.77 µs。 |
这些结果来自不同形状、平台和采集窗口。要知道五项合在一起让首 token 提前了多少,还需要同一服务配置的端到端对照。
对应提交
下表链接到 support-step5-preview 上的原始提交。各篇的源码链接也固定在对应的实验版本。
| 文中改动与代码入口 | 原始提交 |
|---|---|
| 长提示词打分:FP8 与分组,随后按请求切 span。 | 15176336a9、dfe015ae14 |
| 长上下文打分的连续读写,以及 selection 按有效长度取 top-k。 | 594b73bb53、c98eafce19 |
| MoE top-8 的 int64 版本及后续双归约版本,原稿的 2.26 倍对应前者。 | 0eef32dd7e、8131e7a3e4 |
| 四处 decode 融合分布在三篇模块文章里,每轮少 229 次启动对应同一个原始提交。 | 484bd782ce |