3060 TI 玩转大模型

Layout（一）

Paged Attention 简介 Paged Attention 是 vllm 在 decode 阶段用来解决 KV cache 利用率不高的加速技术。它仿照了操作系统中经典的分页技术（paging）。Paged Attention 通过切分一个 sequence 序列中的 KV cache 为多个 KV blocks 的方法，允许在非连续的内存空间存储连续的 key 和 value。每一个

vllm custom allreduce 实现 动机 用过 vllm 执行大模型的读者应该很清楚， vllm 使用张量并行（tensor parallel）的方式执行多卡推理。在 Self-Attention 和 MLP 层会将张量分布到各个 GPU worker 上计算，因此各个 GPU 上计算的只是一部分矩阵乘的数据，故完成计算后所有的 GPU worker 需要将结果“汇总”起来，即执行

10 分钟为您的网站添加一个 AI 助手！

探究 dynamic splitfuse 的奥秘

来自阿里安全在大模型工程领域积累的实践经验

加速深度学习推理的高性能kernel

加速深度学习推理和训练的新引擎

Hexo 是个非常好用且好看的个人博客搭建工具!