Model parallelism — Model parallelism｜模型并行

事实

把一个模型拆到多块设备上协同计算的方法。

人话

模型并行像搬家请兄弟分扛大衣柜：一人扛不动，就拆开大家抬。

它让超大模型能在多 GPU 上训练和推理，但通信会拖后腿。

相关概念

• GPU 算力
• 显存
• 模型卸载
• 推理（运行）

GPU
Model parallelism 会把模型切分后放到多张 GPU 上一起算。

VRAM
当单卡 VRAM 放不下整个模型时，常用它来分摊容量压力。

Model-offloading
两者都在解决装不下的问题，只是一个拆多卡，一个往别处挪。

Inference
超大模型做 Inference 时，也常靠它才能顺利运行。