把同一模型复制到多设备上并行训练的方法。
数据并行像同卷分班考试：每个考场做同一套题，最后把分数统一登总表。
它让多卡并行处理不同样本提速，常见于大模型训练；但每轮同步参数会有通信开销。
Distributed Computing数据并行是分布式训练里最常见的做法之一。
Model parallelism它和模型并行常被放在一起比较：一个分数据，一个分模型。
GPU数据并行通常把同一模型副本复制到多张 GPU 上。
SGD各设备先分别算梯度，再汇总后做一次参数更新。