Step-5 的 gate 与 indexer 投影:哪些矩阵乘可以拼在一起算

Step-5 的 gate 和 indexer,哪些矩阵乘可以一起算?

在 890P 的 8192-token prefill 记录里,attention 的 head gate 只有 16 个输出通道,却要单独启动一次矩阵乘,约 51 µs/层。稀疏 indexer 的 Q、K、Z 又对相同的 hidden states 各做一次投影,三项合计约 372 µs/层。这两处都可以沿输出维拼权重,让一次矩阵乘算出多段结果。

让 16 个 gate 值跟在 QKV 后面

一个 token 的 QKV 投影原来输出 3456 个值,gate 另取同一输入算 16 个值。因为两组权重的输入宽度相同,可以把 gate 的 16 行接在 QKV 的权重下面。这样同一个 token 一次得到 3472 个值,前 3456 个仍是 QKV,后 16 个是 gate。在这次配置里,这 16 行可以放进原 QKV 矩阵乘最后一个输出 tile。后面的 Q/K 归一化 kernel 已经能按行宽读取 QKV,并从尾部取出 gate。模型里的 gate 投影分派

把 indexer 的三个结果从同一行切出来

Q 投影需要 1024 个输出,K 和 Z 各要 256 个。Z 供压缩路径使用。实现分配一块形状为 [1536, hidden_size] 的权重,让原来三个参数各自引用其中连续的一段。这样加载权重时直接写入对应行,省去维护第二份打包权重的问题。前向的关键两行是:

1
2
projected = F.linear(hidden_states, self.qkz_weight)
index_q, index_key, compression_logits = projected.split((1024, 256, 256), dim=-1)

假设输入有两个 token,第二个 token 的 Q 从整块输出的第 1536 个元素开始,K 从第 2560 个开始。每段输出的行跨度都还是 1536;下游归一化和压缩支持这个跨度,切片后便能直接使用。indexer 权重布局与前向调用

原提交对 SAIL 上符合条件的 BF16 indexer 开启此路径,检查 4 个 head、每 head 宽 256 等条件。qkz_tokens=None 表示不同 token 数都可使用打包权重,不必把 prefill 限在少数几个固定形状。若投影模块挂有 forward hook,前向仍需逐个调用,让 hook 正常运行。

51 µs 和 372 µs 来自合并前的不同采集。可以确认的是 gate 省去一次独立调用,indexer 从三次投影变为一次;新增输出行也会消耗计算,因此这两个旧耗时不能直接当成服务省下的时间。两处投影合并的原始提交


Step-5 的 gate 与 indexer 投影:哪些矩阵乘可以拼在一起算
https://dingfen.github.io/2026/11/22/2026-11-22-Step5-ppu07/
作者
Bill Ding
发布于
2026年11月22日
更新于
2026年11月22日
许可协议