Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache
Step-5 的 Q、K 做完归一化和 RoPE 后,怎样少启动两次 kernel?
在一段 Step-5 decode trace 里,每层注意力开头都有两次很短的调用。第一项处理 Q,平均 2.45 µs。第二项处理 K/V,平均 2.53 µs。到了稀疏注意力层(DSA),紧接着还有一次 2.45 µs 的 KV cache 写入。要把这三步合起来,需要先看清两件事:哪些行可以同时算,以及 K/V 最终该写到哪里。
改法是让同一个网格里的不同线程块分别处理 Q 和 K/V。负责 K/V 的线程块已经拿到结果,只要后端能提前给出缓存槽位,就能把值直接写过去。
Q 和 K 可以一起发出去
举一个实际形状。16 个 token,每个有 4 个 Q head,每个 head 宽 192。原先第一批线程块处理 16 × 4 个 Q 行,第二批处理 16 个 K/V 行。Q 和 K 各用自己的归一化权重,对各自的行做 RMSNorm 和旋转位置编码(RoPE)。同一 token 的 Q 无需等 K,K 也无需等 Q。
把调度网格改成 16 × 5 即可。每个 token 的前四个位置各处理一个 Q head,第五个位置处理 K,并读出 V。Q、K 仍从原来的地址读取,各用各的权重;V 直接取原值。这样原本单独发出的 16 个 K/V 线程块就可以和 Q 一起调度。固定 16 token、4 个 Q head 做微基准,两次调用合计 4.86 µs,合并后 2.54 µs。
写 cache 前要拿到正确的槽位
滑窗注意力层(SWA)当时已经能在算完 K/V 时直接写 cache。DSA 仍走另一条路:先写出 K/V,再让 set_kv_buffer 取回这两行,写入保存完整历史的缓存池。K 是刚算出的结果,V 也已经读入,第二次调用可以省掉。难点是千万别照搬滑窗层的目标地址。
SWA 用滑窗池的槽位,DSA 用 full 池的槽位。在适用配置下,这两个写入动作都是“把一行 192 个 BF16 值写进指定槽”。后端先按层找到缓存池,再把 K 缓冲、V 缓冲和槽位交给同一个计算 kernel。只有这组目标可用,调用方才跳过原来的写入。缓存需要量化缩放、槽位还需翻译,或者 K/V 的行宽、类型、布局不匹配时,都继续走原来的缓存接口。验证时既要比 K/V 的值,也要比它们最终写到的物理行,尤其是无效槽位不能被覆盖。归一化与写回实现 · 对照测试
共同的输出只计一次
同一组报告中,旧 Q 与 K/V 平均合计 4.98 µs,DSA 层还要加上 2.45 µs 的独立写入。合并后,报告将新 kernel 汇总为平均 3.26 µs,这个数已经包含在适用层写 cache 的成本。
按每轮调用计数,95 次 Q 和 95 次 K/V 合成 95 次调用,又省掉了 23 次 DSA cache 写入,总共少启动 118 次。用报告里的各项设备时长核算,合计每轮约省 0.22 ms。这种算法只算一次新 kernel,也避免把同一次缓存写入产生的收益重复记到两处。
跟一个 token 看 Q、K、V 分别读哪一段
以 4 个 Q head 为例。投影给每个 token 留一行数据:前 768 个元素是四段 Q,接下来的 192 个是 K,再后面的 192 个是 V,启用 gate 时行末还有 gate。线程块先用 token * ROW_WIDTH 找到行首,第二维的编号决定它负责哪一段:
| 网格第二维 | 相对行首的元素下标 | 这个线程块做什么 |
|---|---|---|
| 0 至 3 | 各自从 head * 192 开始 |
用 Q 的权重归一化,做 RoPE,写该 head 的 Q |
| 4 | K 在 768 至 959,V 在 960 至 1151 | 用 K 的权重处理 K,原样取 V,按需写 gate 和 cache |
比如处理 head 2 的线程块从下标 384 读,处理 K/V 的线程块从 768 和 960 读。它们写入不同输出,所以无需彼此等待。网格合并以后,Q 和 K 各自的归一化、旋转次数都和原来一样,减少的是提交到设备的调用次数。
归一化和旋转之间的 BF16 舍入要保留
_norm_rope_row 为一行展开 256 个通道位置,真正的 head 宽度是 192,所以加载时用 channel < 192 屏蔽尾部并补零。计算均方时分母仍取 192。下面两行决定了融合后能否保持原有数值:
1 | |
权重是零中心表示,所以乘的是 w + 1。先转 BF16,再转回 FP32,是为了让 RoPE 读到与原来两步计算相同的输入。设旋转的半宽为 RD,通道 0 和 RD 配成一对:前者得到 a*cos - b*sin,后者得到 b*cos + a*sin。从 2*RD 到 191 的尾部只保留归一化值。V 跳过这两步,直接保留投影值。
cache 的行号可能和 token 的行号不同
假设本批第 2 个 token 的目标槽位是 37,普通 K 输出应写到第 2 个 token 对应的行,cache 却必须写到第 37 行。融合后的代码在 K/V 线程块里同时持有 k_out 和 v_raw,可以沿用同一份值做这次分散写入:
1 | |
这里的乘数 192 有明确前提:后端交给 kernel 的缓存必须能按连续的 192 个 BF16 元素看成一行,每个槽位对应一个 K head 和一个 V head。SWA 和 DSA 各自提供池和槽位;需要额外缩放或位置尚未转换时,调用方沿用原来的缓存写入。对 loc < 0 的行仍可计算正常的 K/V 输出,但绝不能碰缓存。测试这条路径时,给不同 token 分配不连续的槽位,比只用 loc = token 更容易发现行号用错的问题。
长 prefill:一次启动之后,还有多少个线程块?
前面的 16 × 5 网格适合解释一次 decode。把它直接搬到 32768-token prefill,每卡 4 个 Q head,就会发出 32768 × (4 + 1) = 163840 个 Triton program,每个只处理一行。后来的实现仍把 Q 与 K/V 放在同一次启动里,但每个 program 处理 16 行。一维网格前半段负责 Q,后半段负责 K/V、gate 和 cache:
1 | |
代入上面的形状,Q 用 8192 个 program,K/V 用 2048 个,合计 10240 个。每个 Q program 拿连续的 16 个行号,用 token = row // heads、head = row % heads 找回各行输入。每行又按旋转的两半和尾部拆成三段读取。例如半宽 64 时,通道 0-63 与 64-127 天然成对,128-191 只需归一化。两半直接计算 n1*cos - n2*sin 与 n2*cos + n1*sin,省去了原先为配对做的 tl.gather。行块版归一化与 RoPE
| ZW810E,32768 token,4 个 Q head,开启 gate 和缓存写入 | 原网格 | 每块 16 行 |
|---|---|---|
| 同一次 acu 采集,两个实例 | 249.79 / 250.20 µs | 84.77 / 85.05 µs |
| 冷缓存 graph 重放,11 次取最小值 | 260.1 µs | 108.1 µs |
第一对实例的 DRAM 流量从 132.98 MiB 变到 130.88 MiB,传输量接近,耗时相差约 2.95 倍。数值上仍保留 RoPE 前的 BF16 舍入,但分段累加平方和改变了加法顺序:该样本中 Q 有 70 个元素不同,K 与 K cache 各有 24 个,相差 1-2 ULP;V、V cache 和 gate 逐位相同。缩到 512 token 后,冷缓存略快、热缓存略慢,原实验没有观察到稳定的加速。
对应提交
| 文中改动与代码入口 | 原始提交 |
|---|---|
| 先在 PPU 启用融合 QK-norm/RoPE 和 SWA 写缓存,为后续 full 池写入提供已有实现。 | 72dafedd9c |
将 Q 和 K/V 合入同一 _qknorm_rope 网格,新增 full_kv_write_target,让符合条件的 DSA 层直接写 full 池。文中的 118 次来自这两处。 |
484bd782ce |
| 后续调整每个线程块处理的 token 行数。文中的 16 × 5 网格取自上一行提交。 | 60af7b98c2 |