共计 7 篇文章
2026
Step-5 在 PPU 上的推理优化:总览篇
Step-5 稀疏注意力打分:让相邻 query 共用一批 key
Step-5 区域选择:只剩 511 项有效历史时,top-k 为什么反而最慢
Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache
Step-5 的 prefill 区域并集:16 行 query 选中同一区域时存几次
Step-5 的 gate 与 indexer 投影:哪些矩阵乘可以拼在一起算
Step5 Preview 在 SGLang 上的实现:稀疏注意力、新 kernel 与 SM90/Blackwell 分叉