LLMOps — 大语言模型运维

事实

管理 LLM 开发、部署、监控与迭代的一套实践。

人话

大模型运维像管网红奶茶店：配方、排队、差评、翻车，都得有人盯着。

它让模型应用可上线、可监控、可回滚，常见于客服、搜索和内部工具。

相关概念

• 大语言模型
• 推理（运行）
• 微调
• 用大模型当评委

LLM
LLMOps 主要围绕 LLM 的上线、监控和迭代展开。

Inference
Inference 是 LLMOps 要保障稳定运行的核心环节。

Fine-tuning
Fine-tuning 产生的新版本，通常由 LLMOps 统一管理。

LLM-as-a-judge
LLMOps 常用 LLM-as-a-judge 做自动化评估。