Blackwell 上的 DeepGEMM FusedMoE(sglang) 六阶段拆解 DeepSeek V4 的 MoE 权重流程、DeepGEMM 接口参数详解, 以及量化方案 / 并行方式 / runner backend 各自的平台与环境要求 2026-10-03 AI > Parallel Computing > cuda #AI #cuda #sglang #deepgemm #moe
Blackwell 上的 DeepGEMM FusedMoE(vLLM) 从 routing 到 ep_gather,逐段拆解 vLLM v0.30.0 的 DeepGemm MoE 三段式栈, 以及 FP8 block / MXFP8 / W4A8 MXFP4 三条配方在 SM100 上的差异 2026-09-23 AI > Parallel Computing > cuda #AI #cuda #deepgemm #moe #vllm
从 Full Attention 到 Gated DeltaNet:Qwen3.5 线性注意力 注意力机制再进化 2026-09-19 AI > Parallel Computing > cuda #AI #cuda
# torchrec 相关实现介绍 https://docs.pytorch.org/tutorials/intermediate/torchrec_intro_tutorial.html https://blog.csdn.net/lovechris00/article/details/147542184 # TorchRec 简介 torchrec:为构建可扩展和高效的使用 embedding 2026-03-15
flash attention V2 代码走读 深入探索 flash attention 源码世界 2026-03-15 AI > Parallel Computing > cuda #AI #cuda
Ray 框架初步认知与理解 Ray 框架内部原理理解 本文参考 Ray 论文 Ray 框架解决的需求 最新的强化学习(RL)算法强调让 AI 通过与环境的不断交互来学习提升自己。其核心目标是要让 AI 学习一个策略,这个策略将根据环境的变化,让 AI 自主做出相关的应对动作,并在环境中不断提升应对策略,久而久之 AI 将学会一个有效的任务(例如赢得游戏或驾驶一架无人机)。在大规模的应用中,寻找有效的策略需要三大能力: 模 2025-10-04 RL #RL
ncompute 学习与使用 ncompute 使用示例 准备工作 机器设备:NVIDIA GeForce RTX 4060 laptop CUDA 环境:12.4 docker 环境:nvcr.io/nvidia/pytorch:24.05-py3 我简单地写了一个 elementwise 的 kernel 函数,并使用 ncu 对其做性能分析 1234567891011__global__ void elementwi 2025-02-03 cuda #cuda
DeepSeek 背后的 MLA 和 MoE 架构 最近,DeepSeek(深度求索)公司推出的 DeepSeek-V3 和 DeepSeek-R1 大火,吸引了太平洋两岸所有关心关注 AI 发展的人的目光。本文试图从 DeepSeek 这轮爆火现象的背后,探究其中的架构创新,进而挖掘它如此低廉却好用的原因。 MLA(Multi-head Latent Attention) 一句话说明什么是 MLA 为了进一步解决 KV cache 在模型推理中的 2025-01-27 AI #AI