AI Rookies

GPU — GPU 算力

事实

适合并行计算、支撑 AI 训练和推理的核心硬件。

人话

它像后厨一排切菜阿姨:不负责想菜单,只负责同时剁一万根葱。

它常用于训练和推理,决定模型能跑多快、能跑多大。

相关概念

Pretraining
Pretraining 规模越大,对 GPU 集群的依赖越强。

Inference
Inference 延迟和吞吐,往往由 GPU 能力决定。

Compute-race
GPU 供应越紧张,Compute-race 就越容易加剧。

Foundation-model
Foundation-model 的训练通常需要长期占用大量 GPU。