Elastic Inference — 弹性推理

事实

AWS 可按需挂载 GPU 的推理加速服务，已停止接纳新客户。

人话

云服务器像共享单车，推理高峰临时挂块 GPU；低峰一卸，不必买整辆。

适合偶发推理高峰的云端部署，按需补算力、控制成本。

相关概念

• GPU 算力
• 推理（运行）

GPU
它把 GPU 驱动的推理加速器按需挂到云实例上。

Inference
它面向深度学习模型的在线推理进行加速。