Step-5 稀疏注意力打分:让相邻 query 共用一批 key

Step-5 稀疏注意力是怎么给历史打分的?

Step-5 生成下一个 token 前,要先决定回看哪些历史。它把每 8 个 token 归为一个区域(region),每个区域存一条 256 字节的索引 key。打分时,当前 token 的 4 个 query head 各自和这条 key 做点积,负值截为零,再按 head 权重相加。这样得到一个分数。下游用这些分数选出最多 512 个历史区域。

在 PPU-ZW810E 上,这一步有两种慢法。处理长提示词时,同一批历史 key 被反复解码、反复读取。生成阶段每批只有几行,却可能要回看上万个区域,这时怎样读取 key、怎样写出一行分数,又成了主要开销。

优化分两步做。先把同请求的 query 合起来,让它们共享一次 FP8 key 读取和点积;再按 key 的物理布局连续读取,把同一行的分数连续写出。

Prefill 时,相邻的 query 可以共用一批 key

先看原来实际跑到哪段代码。测试机器报告的设备能力为 (8, 0),没有进入 SM100 的 CuTe 实现。调用方又要求把未来区域的分数显式写成负无穷,供下游按完整行宽读取。原有的两个分组 kernel 都只处理无需清理未来区域的情况。于是,即使调用方知道哪些行来自同一请求,最后仍是每个线程块只处理一个 query 行的一块区域。

旧实现先逐字节拆开 E4M3FN 的符号、指数和尾数,转成 BF16 后才做点积。一行只有 4 个 head,矩阵乘却留了 16 行,另外 12 行补零。小样本的性能报告里,显存吞吐只有峰值的 0.18%,约一半调度周期没有可发射的 warp。团队先试了能否去掉点积之前的这段转换。

设备上的编译实验给出了一条路。该后端接受 float8e4b15 操作数。对这里使用的有限 E4M3FN 数值,同一串比特按新格式解释,指数偏置从 7 变为 15,读出的值缩小到原来的 1/256。query 和 key 都缩小 256 倍,因此在点积之后统一乘回 65536 即可。这样每个输出只需补一次缩放,输入字节可以直接交给矩阵乘。这个推导解释了缩放因子;不同矩阵分块是否改变累加顺序,还得拿输出对拍。

接下来才是分组。比如同一请求里相邻的 4 个 token,每个有 4 个 head,放在一起刚好填满矩阵的 16 行。线程块查一次页表,取来一块历史 key,就能算出 4 行分数。每行仍按自己的位置屏蔽未来区域。属于不同请求的行,即使逻辑 region 编号相同,也可能指向完全不同的物理页,所以分组必须尊重请求边界。

这里有个容易漏测的情况。一个组横跨请求边界时,需要逐行查 key。早期版本为这条分支保留了整组的中间结果,连正常分组也跟着变慢。改成在分支里算完一行就写回,临时值只活到这一行结束。对于整块都落在未来的区域,实现还可以先把输出铺成负无穷,再跳过这块的查表和点积。这样既省去计算,也避免下游读到缓冲区上一轮留下的分数。

Prefill 打分形状(query 行 × region 列) 参考实现 优化后
186 × 24,抓取的小样本 33.68 µs 12.12 µs
4288 × 4352,实际 chunk 形状 83.28 ms 5.56 ms

同样一组改动,小样本快约 2.8 倍,实际 chunk 快约 15 倍。长请求给了更多行共享 key 的机会,也产生了更多可以整块跳过的未来区域。

Decode 时,先让读取连续,再把每次写出的分数加宽

在一次每请求 4 行的验证批次里,即使总共只有 4 行,也已经凑齐了一个可复用 key 的组。早期的分派规则却要求有多个满组才启用分组。去掉这个额外门槛后,4 行、16384 个有效区域的单次打分从 147 µs 降到 47 µs。这项优化依赖请求内确实有多行,普通单行 decode 不能借用别的请求凑组。

更长的历史还暴露出 key 的读取方式有问题。虽然一条 key 有 256 个通道,SW128 布局只保证每段 16 字节在物理内存里连续,段的位置随页内槽位变化。旧代码为每个字节分别算地址。改成先算段首,再连续取段内 16 字节,最后恢复点积需要的通道顺序,每个读取 sector 的有效数据从 4.51 字节增到 57.10 字节。可 profiler 里的耗时只从 235.8 µs 降到了 223.7 µs。

剩下的时间花在哪?看输出就明白了。一行分数可以很宽,原先线程块每行只写 8 个 FP32,也就是 32 字节。连续处理 4 行时,四小段数据落在相隔很远的四处。把每行处理的区域数从 8 提到 32,一次就能连续写 128 字节。在这组长上下文形状上,配合两个 warp,写操作实际需要的 wavefront 与理论值之比从 7.46 降到 1.97。顺序很重要:沿用旧的逐字节取址时,单独把块宽从 8 加到 16,反而从 215.8 µs 退到了 420.6 µs。

Graph 重放,32 行 参考实现 第一轮优化后 调整读写后
每行 1024 个有效区域 291.8 µs 46.4 µs 39.1 µs
每行 16384 个有效区域 2536.0 µs 233.1 µs 115.7 µs

上表三列都用 graph 重放计时。单独采集 kernel 时,最后一个形状的 profiler 读数是 93.8 µs。原实验还在 72 组配置上比较了新旧分数、负无穷的位置和 top-32 ID,报告中的差异为零。换 warp 数或累加顺序时,这三项都值得重测。

对应代码可从 打分分派 和 Triton 实现中的 _load_keys_tile、_group_plan 读起。

跟一块数据走一遍:从页表到分数

先看 query。以一个请求的 4 行、每行 4 个 head 为例,row_base 指向这一组的第一行。Triton 用下面三行把它们排进同一个矩阵乘:

1
2
3
matrix_row = tl.arange(0, GROUP_ROWS * HEAD_BLOCK)
query_row = row_base + matrix_row // HEAD_BLOCK
head = matrix_row % HEAD_BLOCK

令 HEAD_BLOCK=4,矩阵第 6 行就对应第 2 个 token 的第 3 个 head(下标分别为 1 和 2)。这 16 行各有 256 个通道。右边只需准备一块形状为 [256, BLOCK_R] 的 key,乘完就有 [16, BLOCK_R] 个点积。代码在每个点积上乘回 65536、截去负值、乘对应 head 的权重,最后整理成 [4, 4, BLOCK_R],沿中间那一维求和。这样每个 token 都得到自己的一行分数。

再看右边的 key 从哪来。假设要算请求 3 的第 9 个历史区域(编号 9),先查 req_to_token[3, 9 * 8]。假设表里给的是物理 token 位置 200:每页 64 个 token,所以它在第 3 页;页内偏移为 8,所以它占第 1 个槽(均从 0 编号)。页号和槽号必须从查表结果推出来,不同请求的 region 9 可以落到不同物理页。

下面按单个区域、单个通道段写出地址,省略 Triton 批量计算时的广播维度。一页有 8 个槽,每槽存 256 字节,整页 2048 字节。SW128 先分开存放前后两半通道,再在每个槽内调整 16 字节段的顺序:

1
2
3
4
page, slot = token >> 6, (token & 63) >> 3
base = page * 2048 + (seg >> 3) * 1024 + slot * 128
base += ((seg & 7) ^ slot) * 16
offsets = base + tl.arange(0, 16)

沿用刚才的例子,取第 0 段时,段首为 3×2048 + 1×128 + (0^1)×16 = 6288。通道 0 到 15 就落在字节 6288 到 6303。旧实现把“我的字节在哪”分给每个通道各算一遍;这里先找到 6288,就能把这 16 个字节一次表达成连续读取。实际代码同时处理多段、多个区域,读出后才调整维度给点积使用。

最后看行边界。即使四个 token 共用同一块 key,它们也可能跨过 8-token 边界。例如位置 79 和 80 的有效历史数分别为 9 和 10,只有后者能给 region 9 写有效分数。整块跳过只能用于组内所有行都用不到的区域;部分行用得到时,仍须按行屏蔽。这个例子也说明,只比较点积结果不足以验证分组,负无穷落在哪些列同样重要。

长 prefill:让不同 query 组也能共用一份 key

前面的分组解决的是一个线程块内重复查表的问题。假设一个请求有 1024 行 query,每 16 行一组,仍有 64 组会去读大量相同的历史 key。compact 路径多做一步:这一层先按请求把有效 key 从分页缓存取出来,写成连续的 [request, region, 256] 数组。随后各组按 region 顺序取点积的右操作数。同一次 forward 的临时缓冲可以复用空间,各层仍须填入自己的 key。

这块缓冲有成本。以 4 个请求、4096 列为例,FP8 要占 4 × 4096 × 256 = 4 MiB,BF16 则是 8 MiB。实现将上限设为 128 MiB,并检查设备能力、行数、请求跨度和列宽。合格的 890P prefill 至少要有 256 行、超过 512 列;FP8 每组 16 行,BF16 每组 8 行。另一个容易忽略的成本是编译:分块 prefill 的列宽随历史增长,若把 REGIONS 当编译期常量,每换一种宽度就可能在 forward 中重新编译。后续提交把宽度改为运行时参数,关闭按它的值及对齐情况做特化。按请求打包 key 的实现 · 避免按 chunk 列宽反复编译

下面的对照来自 ZW810E 的测试变体,1024 行、上下文 8192、group=8、热缓存,中位数:

打分方式 FP8 耗时
基线 340.60 µs
只调 tile 和 grid 141.60 µs
只打包 key 180.68 µs
打包并调 tile 85.16 µs

四组输出的分数与 top-512 均对齐。换成 BF16,同形状下只调 tile 反而从 863.16 增到 990.40 µs,配合打包才降到 200.32 µs。生产 compact 入口要求设备能力为 (8, 9);这张表说明了打包与分块如何配合,890P 生产 kernel 的耗时仍待实测。

哪些行值得先判断,哪些列还需要清空?

早期版本必须给按全宽读取的消费者留下负无穷。后来 PPU radix 选择器只访问有效历史,调用方在确认其 workspace 已分配后才关闭清理。对于不超过 512 个历史区域的行,它甚至不需要分数;混合组中,compact 只为长历史的行写有效分数。边界和例子见短历史选择。

另一项实验把有效范围的归约提前到读取 query 之前,给整个线程块提前退出的机会。单形状从 901 降到 411 µs,但只开这项改动时,102400-token prefill 的首 token 延迟反而增加 0.29%。长历史上几乎没有块能退出,query 的读取却要等归约结束。最终由主机先算 ceil((max(rows-1, 0)//8) / block_regions) < grid_tiles,有机会跳过整块才选提前判断的版本。线程块提前退出条件

对应提交

文中改动与代码入口 原始提交
打分循环先判断有效历史,FP8 点积后乘回 65536;同请求行共用 key,跨请求走逐行分支。看 _score_regions_ppu_opt。 15176336a9
Prefill 从每个请求的实际长度切出 span,让长度不齐的请求也能分组。看 query_group_spans 和 _launch_spans。 dfe015ae14
小批量保留分组,先铺负无穷,按连续 16 字节取 key,再加宽输出 tile。看 _group_plan 和 _load_keys_tile。文中 233.1 → 115.7 µs 对应这一步。 594b73bb53
后续改动进一步把判断提到加载 query 之前,使整个线程块可以提前返回。看 _early_exit_worthwhile。 6130a2cad6

Step-5 稀疏注意力打分:让相邻 query 共用一批 key
https://dingfen.github.io/2026/11/22/2026-11-22-Step5-ppu02/
作者
Bill Ding
发布于
2026年11月22日
更新于
2026年11月22日
许可协议