Step-5 稀疏注意力打分:让相邻 query 共用一批 key
Step-5 稀疏注意力是怎么给历史打分的?
Step-5 生成下一个 token 前,要先决定回看哪些历史。它把每 8 个 token 归为一个区域(region),每个区域存一条 256 字节的索引 key。打分时,当前 token 的 4 个 query head 各自和这条 key 做点积,负值截为零,再按 head 权重相加。这样得到一个分数。下游用这些分数选出最多 512 个历史区域。
在 PPU-ZW810E 上,这一步有两种慢法。处理长提示词时,同一批历史 key 被反复解码、反复读取。生成阶段每批只有几行,却可能要回看上万个区域,这时怎样读取 key、怎样写出一行分数,又成了主要开销。
优化分两步做。先把同请求的 query 合起来,让它们共享一次 FP8 key 读取和点积;再按 key 的物理布局连续读取,把同一行的分数连续写出。
Prefill 时,相邻的 query 可以共用一批 key
先看原来实际跑到哪段代码。测试机器报告的设备能力为 (8, 0),没有进入 SM100 的 CuTe 实现。调用方又要求把未来区域的分数显式写成负无穷,供下游按完整行宽读取。原有的两个分组 kernel 都只处理无需清理未来区域的情况。于是,即使调用方知道哪些行来自同一请求,最后仍是每个线程块只处理一个 query 行的一块区域。
旧实现先逐字节拆开 E4M3FN 的符号、指数和尾数,转成 BF16 后才做点积。一行只有 4 个 head,矩阵乘却留了 16 行,另外 12 行补零。小样本的性能报告里,显存吞吐只有峰值的 0.18%,约一半调度周期没有可发射的 warp。团队先试了能否去掉点积之前的这段转换。
设备上的编译实验给出了一条路。该后端接受 float8e4b15 操作数。对这里使用的有限 E4M3FN 数值,同一串比特按新格式解释,指数偏置从 7 变为 15,读出的值缩小到原来的 1/256。query 和 key 都缩小 256 倍,因此在点积之后统一乘回 65536 即可。这样每个输出只需补一次缩放,输入字节可以直接交给矩阵乘。这个推导解释了缩放因子;不同矩阵分块是否改变累加顺序,还得拿输出对拍。
接下来才是分组。比如同一请求里相邻的 4 个 token,每个有 4 个 head,放在一起刚好填满矩阵的 16 行。线程块查一次页表,取来一块历史 key,就能算出 4 行分数。每行仍按自己的位置屏蔽未来区域。属于不同请求的行,即使逻辑 region 编号相同,也可能指向完全不同的物理页,所以分组必须尊重请求边界。
这里有个容易漏测的情况。一个组横跨请求边界时,需要逐行查 key。早期版本为这条分支保留了整组的中间结果,连正常分组也跟着变慢。改成在分支里算完一行就写回,临时值只活到这一行结束。对于整块都落在未来的区域,实现还可以先把输出铺成负无穷,再跳过这块的查表和点积。这样既省去计算,也避免下游读到缓冲区上一轮留下的分数。
| Prefill 打分形状(query 行 × region 列) | 参考实现 | 优化后 |
|---|---|---|
| 186 × 24,抓取的小样本 | 33.68 µs | 12.12 µs |
| 4288 × 4352,实际 chunk 形状 | 83.28 ms | 5.56 ms |
同样一组改动,小样本快约 2.8 倍,实际 chunk 快约 15 倍。长请求给了更多行共享 key 的机会,也产生了更多可以整块跳过的未来区域。
Decode 时,先让读取连续,再把每次写出的分数加宽
在一次每请求 4 行的验证批次里,即使总共只有 4 行,也已经凑齐了一个可复用 key 的组。早期的分派规则却要求有多个满组才启用分组。去掉这个额外门槛后,4 行、16384 个有效区域的单次打分从 147 µs 降到 47 µs。这项优化依赖请求内确实有多行,普通单行 decode 不能借用别的请求凑组。
更长的历史还暴露出 key 的读取方式有问题。虽然一条 key 有 256 个通道,SW128 布局只保证每段 16 字节在物理内存里连续,段的位置随页内槽位变化。旧代码为每个字节分别算地址。改成先算段首,再连续取段内 16 字节,最后恢复点积需要的通道顺序,每个读取 sector 的有效数据从 4.51 字节增到 57.10 字节。可 profiler 里的耗时只从 235.8 µs 降到了 223.7 µs。
剩下的时间花在哪?看输出就明白了。一行分数可以很宽,原先线程块每行只写 8 个 FP32,也就是 32 字节。连续处理 4 行时,四小段数据落在相隔很远的四处。把每行处理的区域数从 8 提到 32,一次就能连续写 128 字节。在这组长上下文形状上,配合两个 warp,写操作实际需要的 wavefront 与理论值之比从 7.46 降到 1.97。顺序很重要:沿用旧的逐字节取址时,单独把块宽从 8 加到 16,反而从 215.8 µs 退到了 420.6 µs。
| Graph 重放,32 行 | 参考实现 | 第一轮优化后 | 调整读写后 |
|---|---|---|---|
| 每行 1024 个有效区域 | 291.8 µs | 46.4 µs | 39.1 µs |
| 每行 16384 个有效区域 | 2536.0 µs | 233.1 µs | 115.7 µs |
上表三列都用 graph 重放计时。单独采集 kernel 时,最后一个形状的 profiler 读数是 93.8 µs。原实验还在 72 组配置上比较了新旧分数、负无穷的位置和 top-32 ID,报告中的差异为零。换 warp 数或累加顺序时,这三项都值得重测。
对应代码可从 打分分派 和 Triton 实现中的 _load_keys_tile、_group_plan 读起。
跟一块数据走一遍:从页表到分数
先看 query。以一个请求的 4 行、每行 4 个 head 为例,row_base 指向这一组的第一行。Triton 用下面三行把它们排进同一个矩阵乘:
1 | |
令 HEAD_BLOCK=4,矩阵第 6 行就对应第 2 个 token 的第 3 个 head(下标分别为 1 和 2)。这 16 行各有 256 个通道。右边只需准备一块形状为 [256, BLOCK_R] 的 key,乘完就有 [16, BLOCK_R] 个点积。代码在每个点积上乘回 65536、截去负值、乘对应 head 的权重,最后整理成 [4, 4, BLOCK_R],沿中间那一维求和。这样每个 token 都得到自己的一行分数。
再看右边的 key 从哪来。假设要算请求 3 的第 9 个历史区域(编号 9),先查 req_to_token[3, 9 * 8]。假设表里给的是物理 token 位置 200:每页 64 个 token,所以它在第 3 页;页内偏移为 8,所以它占第 1 个槽(均从 0 编号)。页号和槽号必须从查表结果推出来,不同请求的 region 9 可以落到不同物理页。
下面按单个区域、单个通道段写出地址,省略 Triton 批量计算时的广播维度。一页有 8 个槽,每槽存 256 字节,整页 2048 字节。SW128 先分开存放前后两半通道,再在每个槽内调整 16 字节段的顺序:
1 | |
沿用刚才的例子,取第 0 段时,段首为 3×2048 + 1×128 + (0^1)×16 = 6288。通道 0 到 15 就落在字节 6288 到 6303。旧实现把“我的字节在哪”分给每个通道各算一遍;这里先找到 6288,就能把这 16 个字节一次表达成连续读取。实际代码同时处理多段、多个区域,读出后才调整维度给点积使用。
最后看行边界。即使四个 token 共用同一块 key,它们也可能跨过 8-token 边界。例如位置 79 和 80 的有效历史数分别为 9 和 10,只有后者能给 region 9 写有效分数。整块跳过只能用于组内所有行都用不到的区域;部分行用得到时,仍须按行屏蔽。这个例子也说明,只比较点积结果不足以验证分组,负无穷落在哪些列同样重要。
长 prefill:让不同 query 组也能共用一份 key
前面的分组解决的是一个线程块内重复查表的问题。假设一个请求有 1024 行 query,每 16 行一组,仍有 64 组会去读大量相同的历史 key。compact 路径多做一步:这一层先按请求把有效 key 从分页缓存取出来,写成连续的 [request, region, 256] 数组。随后各组按 region 顺序取点积的右操作数。同一次 forward 的临时缓冲可以复用空间,各层仍须填入自己的 key。
这块缓冲有成本。以 4 个请求、4096 列为例,FP8 要占 4 × 4096 × 256 = 4 MiB,BF16 则是 8 MiB。实现将上限设为 128 MiB,并检查设备能力、行数、请求跨度和列宽。合格的 890P prefill 至少要有 256 行、超过 512 列;FP8 每组 16 行,BF16 每组 8 行。另一个容易忽略的成本是编译:分块 prefill 的列宽随历史增长,若把 REGIONS 当编译期常量,每换一种宽度就可能在 forward 中重新编译。后续提交把宽度改为运行时参数,关闭按它的值及对齐情况做特化。按请求打包 key 的实现 · 避免按 chunk 列宽反复编译
下面的对照来自 ZW810E 的测试变体,1024 行、上下文 8192、group=8、热缓存,中位数:
| 打分方式 | FP8 耗时 |
|---|---|
| 基线 | 340.60 µs |
| 只调 tile 和 grid | 141.60 µs |
| 只打包 key | 180.68 µs |
| 打包并调 tile | 85.16 µs |
四组输出的分数与 top-512 均对齐。换成 BF16,同形状下只调 tile 反而从 863.16 增到 990.40 µs,配合打包才降到 200.32 µs。生产 compact 入口要求设备能力为 (8, 9);这张表说明了打包与分块如何配合,890P 生产 kernel 的耗时仍待实测。
哪些行值得先判断,哪些列还需要清空?
早期版本必须给按全宽读取的消费者留下负无穷。后来 PPU radix 选择器只访问有效历史,调用方在确认其 workspace 已分配后才关闭清理。对于不超过 512 个历史区域的行,它甚至不需要分数;混合组中,compact 只为长历史的行写有效分数。边界和例子见短历史选择。
另一项实验把有效范围的归约提前到读取 query 之前,给整个线程块提前退出的机会。单形状从 901 降到 411 µs,但只开这项改动时,102400-token prefill 的首 token 延迟反而增加 0.29%。长历史上几乎没有块能退出,query 的读取却要等归约结束。最终由主机先算 ceil((max(rows-1, 0)//8) / block_regions) < grid_tiles,有机会跳过整块才选提前判断的版本。线程块提前退出条件
对应提交
| 文中改动与代码入口 | 原始提交 |
|---|---|
打分循环先判断有效历史,FP8 点积后乘回 65536;同请求行共用 key,跨请求走逐行分支。看 _score_regions_ppu_opt。 |
15176336a9 |
Prefill 从每个请求的实际长度切出 span,让长度不齐的请求也能分组。看 query_group_spans 和 _launch_spans。 |
dfe015ae14 |
小批量保留分组,先铺负无穷,按连续 16 字节取 key,再加宽输出 tile。看 _group_plan 和 _load_keys_tile。文中 233.1 → 115.7 µs 对应这一步。 |
594b73bb53 |
后续改动进一步把判断提到加载 query 之前,使整个线程块可以提前返回。看 _early_exit_worthwhile。 |
6130a2cad6 |