教程

以下是使用 Triton 编写各种基本操作的教程集锦。建议您按顺序阅读这些教程，从最简单的开始。

安装教程所需的依赖项

cd triton
pip install -e './python[tutorials]'

向量加法

向量加法

融合Softmax

融合Softmax

矩阵乘法

矩阵乘法

低内存Dropout

低内存Dropout

层归一化

层归一化

融合Attention

融合Attention

Libdevice (tl.extra.libdevice) 函数

Libdevice (`tl.extra.libdevice`) 函数

组GEMM

组GEMM

持久化Matmul

持久化Matmul

块缩放矩阵乘法

块缩放矩阵乘法