适合并行计算、支撑 AI 训练和推理的核心硬件。
它像后厨一排切菜阿姨:不负责想菜单,只负责同时剁一万根葱。
它常用于训练和推理,决定模型能跑多快、能跑多大。
Pretraining
Pretraining 规模越大,对 GPU 集群的依赖越强。
Inference
Inference 延迟和吞吐,往往由 GPU 能力决定。
Compute-race
GPU 供应越紧张,Compute-race 就越容易加剧。
Foundation-model
Foundation-model 的训练通常需要长期占用大量 GPU。