AI Rookies

OpenAI Jalapeño — OpenAI 首款定制大模型推理芯片

事实

OpenAI 与博通合作开发的首款大模型推理芯片。

人话

它像流水线上专拧一种螺丝的机械臂:别的活儿一概不会,这一颗却拧得又快又省电。

面向大模型在线推理,部署进数据中心,压低响应延迟和能耗。

相关概念

Custom AI Chip
它是为大模型推理定制的一类专用芯片。

Inference engine
推理引擎可调度它来运行大语言模型。

AI data center
它的板卡和机架将作为数据中心基础设施部署。