NVIDIA 提供的 GPU 通用并行计算平台与编程接口。
CUDA 像给显卡发了工牌：本来在网吧打游戏，现在进机房拧螺丝、搬大件、连夜赶工。
它让程序把计算丢给 GPU 并行处理，是训练和推理加速的底层通道。
GPUCUDA 把 GPU 从图形芯片变成可编程计算设备。
Pytorch很多深度学习框架通过 CUDA 调用显卡算力。
Inference engine推理引擎常依赖 CUDA 执行底层高性能计算。
Flash Attention这类高性能算子通常需要在 CUDA 上实现。