Parameter Server — 参数服务器

事实

分布式训练中集中管理模型参数的架构。

人话

参数服务器像乐队总谱：乐手各练各的，改动都回总谱汇总，再照最新版一起演。

用于大规模训练，集中同步权重更新。

相关概念

• 参数
• 数据并行
• 随机梯度下降
• 分布式计算（Distributed Computing）

Parameter
参数服务器集中保存并更新模型参数。

Data Parallelism
数据并行让多台机器同时算，再回传更新。

SGD
SGD 的梯度更新常由它统一协调。

Distributed Computing
它是分布式机器学习里的经典架构。