Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache

Step-5 的 Q、K 做完归一化和 RoPE 后,怎样少启动两次 kernel?

在一段 Step-5 decode trace 里,每层注意力开头都有两次很短的调用。第一项处理 Q,平均 2.45 µs。第二项处理 K/V,平均 2.53 µs。到了稀疏注意力层(DSA),紧接着还有一次 2.45 µs 的 KV cache 写入。要把这三步合起来,需要先看清两件事:哪些行可以同时算,以及 K/V 最终该写到哪里。

改法是让同一个网格里的不同线程块分别处理 Q 和 K/V。负责 K/V 的线程块已经拿到结果,只要后端能提前给出缓存槽位,就能把值直接写过去。

Q 和 K 可以一起发出去

举一个实际形状。16 个 token,每个有 4 个 Q head,每个 head 宽 192。原先第一批线程块处理 16 × 4 个 Q 行,第二批处理 16 个 K/V 行。Q 和 K 各用自己的归一化权重,对各自的行做 RMSNorm 和旋转位置编码(RoPE)。同一 token 的 Q 无需等 K,K 也无需等 Q。

把调度网格改成 16 × 5 即可。每个 token 的前四个位置各处理一个 Q head,第五个位置处理 K,并读出 V。Q、K 仍从原来的地址读取,各用各的权重;V 直接取原值。这样原本单独发出的 16 个 K/V 线程块就可以和 Q 一起调度。固定 16 token、4 个 Q head 做微基准,两次调用合计 4.86 µs,合并后 2.54 µs。

写 cache 前要拿到正确的槽位

滑窗注意力层(SWA)当时已经能在算完 K/V 时直接写 cache。DSA 仍走另一条路:先写出 K/V,再让 set_kv_buffer 取回这两行,写入保存完整历史的缓存池。K 是刚算出的结果,V 也已经读入,第二次调用可以省掉。难点是千万别照搬滑窗层的目标地址。

SWA 用滑窗池的槽位,DSA 用 full 池的槽位。在适用配置下,这两个写入动作都是“把一行 192 个 BF16 值写进指定槽”。后端先按层找到缓存池,再把 K 缓冲、V 缓冲和槽位交给同一个计算 kernel。只有这组目标可用,调用方才跳过原来的写入。缓存需要量化缩放、槽位还需翻译,或者 K/V 的行宽、类型、布局不匹配时,都继续走原来的缓存接口。验证时既要比 K/V 的值,也要比它们最终写到的物理行,尤其是无效槽位不能被覆盖。归一化与写回实现 · 对照测试

共同的输出只计一次

同一组报告中,旧 Q 与 K/V 平均合计 4.98 µs,DSA 层还要加上 2.45 µs 的独立写入。合并后,报告将新 kernel 汇总为平均 3.26 µs,这个数已经包含在适用层写 cache 的成本。

按每轮调用计数,95 次 Q 和 95 次 K/V 合成 95 次调用,又省掉了 23 次 DSA cache 写入,总共少启动 118 次。用报告里的各项设备时长核算,合计每轮约省 0.22 ms。这种算法只算一次新 kernel,也避免把同一次缓存写入产生的收益重复记到两处。

跟一个 token 看 Q、K、V 分别读哪一段

以 4 个 Q head 为例。投影给每个 token 留一行数据:前 768 个元素是四段 Q,接下来的 192 个是 K,再后面的 192 个是 V,启用 gate 时行末还有 gate。线程块先用 token * ROW_WIDTH 找到行首,第二维的编号决定它负责哪一段:

网格第二维 相对行首的元素下标 这个线程块做什么
0 至 3 各自从 head * 192 开始 用 Q 的权重归一化,做 RoPE,写该 head 的 Q
4 K 在 768 至 959,V 在 960 至 1151 用 K 的权重处理 K,原样取 V,按需写 gate 和 cache

比如处理 head 2 的线程块从下标 384 读,处理 K/V 的线程块从 768 和 960 读。它们写入不同输出,所以无需彼此等待。网格合并以后,Q 和 K 各自的归一化、旋转次数都和原来一样,减少的是提交到设备的调用次数。

归一化和旋转之间的 BF16 舍入要保留

_norm_rope_row 为一行展开 256 个通道位置,真正的 head 宽度是 192,所以加载时用 channel < 192 屏蔽尾部并补零。计算均方时分母仍取 192。下面两行决定了融合后能否保持原有数值:

1
2
inverse_rms = tl.rsqrt(tl.sum(x * x, 0) / 192 + EPS)
norm = (x * inverse_rms * (w + 1.0)).to(tl.bfloat16).to(tl.float32)

权重是零中心表示,所以乘的是 w + 1。先转 BF16,再转回 FP32,是为了让 RoPE 读到与原来两步计算相同的输入。设旋转的半宽为 RD,通道 0 和 RD 配成一对:前者得到 a*cos - b*sin,后者得到 b*cos + a*sin。从 2*RD 到 191 的尾部只保留归一化值。V 跳过这两步,直接保留投影值。

cache 的行号可能和 token 的行号不同

假设本批第 2 个 token 的目标槽位是 37,普通 K 输出应写到第 2 个 token 对应的行,cache 却必须写到第 37 行。融合后的代码在 K/V 线程块里同时持有 k_out 和 v_raw,可以沿用同一份值做这次分散写入:

1
2
3
4
5
if STORE_CACHE:
loc = tl.load(LOC + token).to(tl.int64)
if loc >= 0:
tl.store(KCACHE + loc * 192 + channel, k_out, mask=mask)
tl.store(VCACHE + loc * 192 + channel, v_raw, mask=mask)

这里的乘数 192 有明确前提:后端交给 kernel 的缓存必须能按连续的 192 个 BF16 元素看成一行,每个槽位对应一个 K head 和一个 V head。SWA 和 DSA 各自提供池和槽位;需要额外缩放或位置尚未转换时,调用方沿用原来的缓存写入。对 loc < 0 的行仍可计算正常的 K/V 输出,但绝不能碰缓存。测试这条路径时,给不同 token 分配不连续的槽位,比只用 loc = token 更容易发现行号用错的问题。

长 prefill:一次启动之后,还有多少个线程块?

前面的 16 × 5 网格适合解释一次 decode。把它直接搬到 32768-token prefill,每卡 4 个 Q head,就会发出 32768 × (4 + 1) = 163840 个 Triton program,每个只处理一行。后来的实现仍把 Q 与 K/V 放在同一次启动里,但每个 program 处理 16 行。一维网格前半段负责 Q,后半段负责 K/V、gate 和 cache:

1
2
q_programs = triton.cdiv(tokens * heads, 16)
kv_programs = triton.cdiv(tokens, 16)

代入上面的形状,Q 用 8192 个 program,K/V 用 2048 个,合计 10240 个。每个 Q program 拿连续的 16 个行号,用 token = row // heads、head = row % heads 找回各行输入。每行又按旋转的两半和尾部拆成三段读取。例如半宽 64 时,通道 0-63 与 64-127 天然成对,128-191 只需归一化。两半直接计算 n1*cos - n2*sin 与 n2*cos + n1*sin,省去了原先为配对做的 tl.gather。行块版归一化与 RoPE

ZW810E,32768 token,4 个 Q head,开启 gate 和缓存写入 原网格 每块 16 行
同一次 acu 采集,两个实例 249.79 / 250.20 µs 84.77 / 85.05 µs
冷缓存 graph 重放,11 次取最小值 260.1 µs 108.1 µs

第一对实例的 DRAM 流量从 132.98 MiB 变到 130.88 MiB,传输量接近,耗时相差约 2.95 倍。数值上仍保留 RoPE 前的 BF16 舍入,但分段累加平方和改变了加法顺序:该样本中 Q 有 70 个元素不同,K 与 K cache 各有 24 个,相差 1-2 ULP;V、V cache 和 gate 逐位相同。缩到 512 token 后,冷缓存略快、热缓存略慢,原实验没有观察到稳定的加速。

对应提交

文中改动与代码入口 原始提交
先在 PPU 启用融合 QK-norm/RoPE 和 SWA 写缓存,为后续 full 池写入提供已有实现。 72dafedd9c
将 Q 和 K/V 合入同一 _qknorm_rope 网格,新增 full_kv_write_target,让符合条件的 DSA 层直接写 full 池。文中的 118 次来自这两处。 484bd782ce
后续调整每个线程块处理的 token 行数。文中的 16 × 5 网格取自上一行提交。 60af7b98c2

Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache
https://dingfen.github.io/2026/11/22/2026-11-22-Step5-ppu05/
作者
Bill Ding
发布于
2026年11月22日
更新于
2026年11月22日
许可协议