Groq — Groq（AI 推理芯片与云服务公司）

事实

一家提供高速 LLM 推理芯片与云服务的公司。

人话

Groq 像给 AI 装上高铁轮子：脑子没换，回答却嗖嗖出站。

用于高速聊天、语音和批量推理，主打低延迟高吞吐。

相关概念

• AI 芯片
• 大语言模型推理引擎
• Tokens per second（每秒生成 token 数）
• API 接口

AI chip
Groq 的核心是用专用芯片加速模型推理。

Inference engine
Groq 面向推理服务，重点不是训练模型。

TPS
TPS 常用来衡量 Groq 的输出速度优势。

API
Groq 主要通过 API 把高速推理交给开发者。