Step-5 在 PPU 上的推理优化:总览篇

Step-5 在 PPU 上的推理优化总览篇

如果关心长提示词多久能处理完,先看稀疏打分。在 PPU-ZW810E 的一次 TP8、64K 输入、并发 1 的测试里,优化后输入吞吐从约 718 提到 924 tok/s。如果关心每生成一步花了多少时间,就要沿着打分、选择历史、计算注意力和路由逐项看。这里有些改动每层只省几微秒,却会在一次迭代里重复几十次。

从哪里读起

你在 trace 里看到的现象 对应文章
Prefill 不断解码同一批索引 key,长上下文 decode 读写分散 稀疏打分:FP8 点积、跨行复用与连续读写
只有 511 项有效历史,top-k 却扫描十几万列 区域选择:按行传长度,合并排序和打包中的重复工作
选 8 个专家需要连续归约,分发前还要转换专家编号 MoE 路由:选专家与本卡编号映射
每层分别处理 Q 和 K,部分层还要重新读取 K/V 写 cache 注意力输入:合并 Q/K 计算与 KV cache 写入
Prefill 中多行选中相同区域,构建并集时反复更新几个位图字 区域并集:成员掩码怎样一次写出来
Gate 单独算一次,indexer 对同一份输入又做三次矩阵乘 投影:哪些权重可以拼在一起算

长提示词的服务实测

打分改动的服务对照各跑了三轮。基线输入吞吐为 717.89、717.88、717.63 tok/s,优化后为 919.28、927.11、927.05 tok/s,平均提高 28.8%。三轮的平均请求耗时从约 48.1 秒降到 37.4 秒。作为参照,同一实验中的大形状打分 kernel 从 83.28 ms 降到 5.56 ms。服务还要跑其他层和算子,各 chunk 的有效历史也长短不一,因此不能拿单次打分的 15 倍直接推算服务吞吐。

另一次 TP16/EP16 的 INT8 测试只替换 MoE top-8。8192 行的单算子快了 2.26 倍,102400 token 的 prefill 实际省下 59 ms,约占原耗时的 0.33%。这两组测试的配置和改动范围各不相同。

一轮 decode 少了 229 次调用

在 TP16/EP16、batch 4、EAGLE 配置 4 个 draft token 的 graph 采集中,可以逐项核算每轮少了多少次启动。下表按原报告的调用次数和各 kernel 的设备时长归一到一轮;次数描述的是这段 trace。

改动 每轮少启动 每轮减少的累计设备时间
直接用 int32 查本卡专家编号 88 次 约 723 µs
Q 与 K/V 一次调度,DSA 在同一次调用写 cache 118 次 约 220 µs
选出 region 时直接打包物理位置 23 次 约 39 µs
合计 229 次 约 982 µs

这些相关调用从每轮 435 次降到 206 次。设备时间可以按 kernel 相加,用户等到下一个 token 的时间还受多条流重叠执行的影响。两份报告的采样窗口也有差别,优化后采到了更多 MTP 验证工作。要回答这四处融合让实际 decode 快了多少,还缺同一负载、同一采样窗口下的服务开关对照。

原实验还发现 prepare_varlen_num_blocks 在多层间重复出现。不过当时调用的是厂商 FA3 的预编译实现,Python 接口未提供可直接复用这段结果的途径。这项保留为观察,没有计入上表。同样,原稿对 selection 优化后整步时延的推算,也没有作为服务实测列入本文。

从一轮 trace 找回调用次数

以一次专家查表为例。Python 里只写了一句 table[topk_ids],trace 中却先出现一项转成 int64 的拷贝,再出现一项索引操作。两者都是每轮 88 次。换成直接读取 int32 的查表 kernel 后,每轮只剩 88 次调用。旧报告里同名拷贝实际出现了 90 次,新报告里还剩 2 次;把这 2 次也算成路由开销,就会多算。

其余几项也可以这样核对。95 次 Q 和 95 次 K/V 合成 95 次,另外省下 23 次单独写 KV 的调用;23 次选择结果打包仍然保留,只是它们顺手完成了后面 23 次地址打包的工作。于是每轮少掉的次数是 88 + (95 + 23) + 23 = 229。保留下来的打包 kernel 从 1.79 µs 增到 2.27 µs,它接过了查页表的工作。单看它会以为改慢了,把省下的 2.18 µs 地址打包也放回来,才能看到这两步的净收益。

长 prefill 还花时间在哪些地方?

看一个 8192-token chunk。单是把每行选中的 region 合成每组的并集,旧实现就在一次 dump 中花了 1042 µs,约占当时 Triton prefill 路径的四分之一。这里还没开始算注意力。另两处开销来自投影:gate 单独发一次矩阵乘,indexer 又对同一份隐状态做三次投影。下面按代码位置列出这几项的进展。

位置 原实验能回答什么
Prefill 区域并集 旧路径集中更新少量位图字。按 region 建表、按 query 槽位更新后,当时同一份输入回放的构建加速约 3.6 倍。
索引 key 打包 ZW810E 的 FP8 测试变体从 340.60 降到 85.16 µs。890P 的生产入口有独立设备门槛,原稿尚无该入口的对照耗时。
短历史选择 最多 512 个历史区域都能保留。PPU radix 路径直接给出 ID,打分端也能跳过相应工作。
注意力与 indexer 投影 合并前 gate 约 51 µs/层,indexer 三次投影约 372 µs/层。提交记录明确了调用变化,未给出合并后的同口径净耗时。
Q/K 归一化与 RoPE ZW810E 上,32768 token、每卡 4 个 Q head,同一次 acu 采集从 249.79 降到 84.77 µs。

这些结果来自不同形状、平台和采集窗口。要知道五项合在一起让首 token 提前了多少,还需要同一服务配置的端到端对照。

对应提交

下表链接到 support-step5-preview 上的原始提交。各篇的源码链接也固定在对应的实验版本。

文中改动与代码入口 原始提交
长提示词打分:FP8 与分组,随后按请求切 span。 15176336a9、dfe015ae14
长上下文打分的连续读写,以及 selection 按有效长度取 top-k。 594b73bb53、c98eafce19
MoE top-8 的 int64 版本及后续双归约版本,原稿的 2.26 倍对应前者。 0eef32dd7e、8131e7a3e4
四处 decode 融合分布在三篇模块文章里,每轮少 229 次启动对应同一个原始提交。 484bd782ce

Step-5 在 PPU 上的推理优化:总览篇
https://dingfen.github.io/2026/11/22/2026-11-22-Step5-ppu01/
作者
Bill Ding
发布于
2026年11月22日
更新于
2026年11月22日
许可协议