教程

以下是使用 Triton 编写各种基本操作的教程集。建议您从最简单的教程开始，按顺序阅读。

安装教程所需的依赖项

cd triton
pip install -e '.[tutorials]'

向量加法

向量加法

融合Softmax

融合Softmax

矩阵乘法

矩阵乘法

低内存Dropout

低内存Dropout

层归一化

层归一化

融合注意力

融合注意力

Libdevice (tl.extra.libdevice) 函数

Libdevice (`tl.extra.libdevice`) 函数

分组GEMM

分组GEMM

持久化矩阵乘法

持久化矩阵乘法

块级缩放矩阵乘法

块级缩放矩阵乘法