教程

以下是使用 Triton 编写各种基本操作的教程库。建议按照顺序阅读这些教程，从最简单的开始。

安装教程所需的依赖项

cd triton
pip install -r python/tutorials/requirements.txt

向量加法

向量加法

融合Softmax

融合Softmax

矩阵乘法

矩阵乘法

低内存Dropout

低内存Dropout

层归一化

层归一化

融合注意力

融合注意力

Libdevice (tl.extra.libdevice) 函数

Libdevice (`tl.extra.libdevice`) 函数

分组GEMM

分组GEMM

持久化矩阵乘法

持久化矩阵乘法

块级缩放矩阵乘法

块级缩放矩阵乘法