Triton
Vector Add in Triton
单线程版本 逐元素相加：
Triton 实现
在 Triton 中，向量加法内核通过将向量划分为多个块（blocks），并在每个 Grid 中的线程（threads）并行计算，实现高效的向量加法操作。每个线程负责加载两个向量中对应位置的元素，进行相加并存储结果。
核心步骤…
Softmax in OpenAI Triton
本文是对 @sotadeeplearningtutorials9598 的 Youtube 教程学习的总结，感谢老师深入浅出的指导让我这个从未接触过 GPU 编程的小白能够编写出第一个有实际效果的 Kernel。 Softmax 是一种常用的激活函数…