峰子的乐园
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
Step-5 在 PPU 上的推理优化:总览篇

Step-5 在 PPU 上的推理优化:总览篇

从稀疏打分、区域选择、MoE 路由、Q/K 融合、区域并集到投影合并,逐项拆解 Step-5 在 PPU 上的推理优化: 服务实测输入吞吐 718 到 924 tok/s,一轮 decode 少启动 229 次 kernel,并给出每篇的阅读入口
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #moe #attention #sparse-attention
Step-5 稀疏注意力打分:让相邻 query 共用一批 key

Step-5 稀疏注意力打分:让相邻 query 共用一批 key

用 float8e4b15 解释 E4M3FN 的 key 如何直接参与点积,让同请求相邻 query 分组共享一次 key 读取, decode 改为连续 16 字节取地址加宽写出,prefill 大形状从 83.28 ms 降到 5.56 ms
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention #sparse-attention
Step-5 区域选择:只剩 511 项有效历史时,top-k 为什么反而最慢

Step-5 区域选择:只剩 511 项有效历史时,top-k 为什么反而最慢

把每行有效长度交给 top_k_ragged_transform,在写分时统一正负零、去掉打包阶段的重复排序, 并在最后一次写回里顺手算出物理位置,511 项形状整条 selection 从 562.3 µs 降到 11.7 µs
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention #sparse-attention
Step-5 的 MoE 路由:选出 8 个专家,再找到它们在哪张卡上

Step-5 的 MoE 路由:选出 8 个专家,再找到它们在哪张卡上

把分数与专家编号打包成 int64 比较键,一轮整数最大值归约同时拿到最高分与编号; 分发阶段直接用 int32 查本卡专家表并保留负索引回绕,完整 top-8 从 82.85 µs 降到 36.72 µs
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #moe
Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache

Step-5 的 Q/K 归一化与 RoPE:一次调度完成,顺手写入 KV cache

把 Q 与 K/V 放进同一个网格,DSA 层算完 K/V 直接写 full 池,并保留归一化与旋转之间的 BF16 舍入; 一轮 decode 少 118 次启动,32768 token prefill 从 249.79 µs 降到 84.77 µs
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention
Step-5 的 prefill 区域并集:16 行 query 选中同一区域时存几次

Step-5 的 prefill 区域并集:16 行 query 选中同一区域时存几次

位图原子 OR 两趟扫描的代价是 8192 token 回放 1042 µs,改成按逻辑区域建表、 按 query 槽位串行更新成员掩码,再用前缀和就地压缩;表放不下时回退旧路径
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention #sparse-attention
Step-5 的 gate 与 indexer 投影:哪些矩阵乘可以拼在一起算

Step-5 的 gate 与 indexer 投影:哪些矩阵乘可以拼在一起算

gate 的 16 行接在 QKV 权重尾部,省掉约 51 µs/层的独立矩阵乘; indexer 的 Q/K/Z 三次投影拼成一块 [1536, hidden_size] 权重一次算出,替代约 372 µs/层的三次投影
2026-11-22
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention #sparse-attention
Step5 Preview 在 SGLang 上的实现:稀疏注意力、新 kernel 与 SM90/Blackwell 分叉

Step5 Preview 在 SGLang 上的实现:稀疏注意力、新 kernel 与 SM90/Blackwell 分叉

从 92 层 3:1 混合注意力出发,拆解 Step5 Preview 的 indexer / R8 压缩 / top-512 选择 / union prefill / split-kv decode 全链路,并逐个对照 SM90、SM100 与 SM103 上真正执行的 kernel
2026-10-24
AI > Parallel Computing > cuda
#AI #cuda #sglang #attention #blackwell #sparse-attention

Blackwell 上的 DeepGEMM FusedMoE(sglang)

六阶段拆解 DeepSeek V4 的 MoE 权重流程、DeepGEMM 接口参数详解, 以及量化方案 / 并行方式 / runner backend 各自的平台与环境要求
2026-10-03
AI > Parallel Computing > cuda
#AI #cuda #sglang #deepgemm #moe

Blackwell 上的 DeepGEMM FusedMoE(vLLM)

从 routing 到 ep_gather,逐段拆解 vLLM v0.30.0 的 DeepGemm MoE 三段式栈, 以及 FP8 block / MXFP8 / W4A8 MXFP4 三条配方在 SM100 上的差异
2026-09-23
AI > Parallel Computing > cuda
#AI #cuda #deepgemm #moe #vllm
123…9

搜索

Hexo Fluid
总访问量 次 总访客数 人