教程

下面是使用 Triton 编写各种基本操作的教程库。建议您按顺序阅读教程，从最简单的开始。

安装教程依赖项

cd triton
pip install -e '.[tutorials]'

向量加法

向量加法

融合Softmax

融合Softmax

矩阵乘法

矩阵乘法

低内存Dropout

低内存Dropout

层归一化

层归一化

融合注意力

融合注意力

Libdevice (tl.extra.libdevice) 函数

Libdevice (`tl.extra.libdevice`) 函数

分组GEMM

分组GEMM

持久化矩阵乘法

持久化矩阵乘法

块级缩放矩阵乘法

块级缩放矩阵乘法