适用对象:有后端 / 工程背景,准备把大模型应用从 Demo 推进到生产环境,并建立可迭代、可观测、可控成本、安全合规的工程体系。
本文所有图示均为 Mermaid 代码块,可在 GitHub、GitLab、飞书文档、语雀、Typora、VS Code 等任何兼容 Mermaid 的 Markdown 渲染器中直接显示。
LLMOps(Large Language Model Operations,大语言模型运维) 是 MLOps 在大模型场景下的工程延伸:一套覆盖数据治理、实验迭代、质量评估、发布部署、线上可观测、反馈闭环的流程规范与工具链,目标是让 LLM 应用从“能跑通 Demo”变成“稳定、可控、省钱、安全、可持续迭代”的生产系统。
LLM 应用的本质不确定性来自四点,也是 LLMOps 要治理的对象:
mindmap
root((LLMOps 治理对象))
质量治理
幻觉检测
输出一致性
评测集基线
LLM-as-Judge
成本治理
Token 计量
缓存命中
模型路由降级
上下文压缩
链路治理
Prompt 版本
RAG 切片与检索
工具调用编排
灰度发布
安全治理
提示注入防护
输入输出审核
数据脱敏
权限与审计
| 维度 | MLOps(传统机器学习) | LLMOps |
|---|---|---|
| 模型输出 | 结构化标签 / 数值,指标明确 | 自由文本,主观、易幻觉 |
| 主要调优对象 | 模型权重、特征工程 | Prompt、RAG 策略、检索切片、模型路由;微调只是可选项之一 |
| 评测方式 | 准确率、AUC、召回率等固定指标 | 自动打分(LLM-as-Judge)+ 人工评测 + 安全测试 + A/B 实验 |
| 成本指标 | 训练 / 推理算力 | Token 消耗、单次调用成本、上下文窗口占用 |
| 主要风险 | 数据漂移、标签漂移 | 幻觉、提示注入、越狱、隐私泄露、工具误调用 |
| 版本管理 | 模型版本、数据集版本 | 模型版本 + Prompt 版本 + 知识库版本 + 评测集版本 |
| 上线形态 | 离线训练 → 离线/在线推理 | 在线 API 调用为主,Prompt / 知识库可热更新 |
下图为生产级 LLMOps 参考架构,自下而上分为 6 个技术层,外加 3 条贯穿全程的横切能力。
flowchart TB
subgraph L5["L5 可观测与运维层 Observability & Ops"]
O1["调用链路 Trace"]
O2["日志采集与检索"]
O3["Token 与成本看板"]
O4["质量监控: 幻觉率/错误率/人工评分"]
O5["告警与容量扩缩"]
end
subgraph L4["L4 服务网关层 Gateway & Serving"]
G1["API 网关 / 鉴权限流"]
G2["模型路由与多供应商适配"]
G3["缓存: 语义缓存/精确缓存"]
G4["降级兜底与超时重试"]
G5["Prompt 灰度发布"]
end
subgraph L3["L3 应用编排层 Orchestration"]
A1["Prompt 编排与模板管理"]
A2["RAG 检索增强链路"]
A3["Agent 编排: 规划/工具/记忆"]
A4["多轮对话状态管理"]
A5["工作流: DAG/状态机"]
end
subgraph L2["L2 数据与知识层 Data & Knowledge"]
D1["原始语料清洗去重"]
D2["文档解析与切片"]
D3["Embedding 向量化"]
D4["向量库 / 关键词索引 / 元数据库"]
D5["评测数据集与标注库"]
D6["反馈样本与 Bad Case 库"]
end
subgraph L1["L1 模型层 Model Layer"]
M1["闭云 API: 通用大模型"]
M2["开源模型自托管: vLLM / TGI"]
M3["Embedding / Reranker 模型"]
M4["小模型: 分类/抽取/审核"]
M5["微调产物: SFT / DPO 权重"]
end
subgraph L0["L0 基础设施层 Infrastructure"]
I1["GPU 算力与调度"]
I2["容器与镜像仓库"]
I3["对象存储 / 数据库"]
I4["网络与密钥管理"]
end
subgraph CUT["横切能力 Cross-cutting"]
C1["安全护栏 Guardrail: 输入过滤/输出审核/防注入/脱敏"]
C2["评估体系 Evaluation: 离线评测/在线 A-B/回归测试"]
C3["CI/CD 与版本治理: 模型/Prompt/知识库/评测集版本"]
end
L0 --> L1 --> L2 --> L3 --> L4 --> L5
C1 -.贯穿.-> L1
C1 -.贯穿.-> L3
C1 -.贯穿.-> L4
C2 -.贯穿.-> L2
C2 -.贯穿.-> L3
C2 -.贯穿.-> L5
C3 -.贯穿.-> L1
C3 -.贯穿.-> L2
C3 -.贯穿.-> L4
| 层级 | 核心职责 | 典型产出 |
|---|---|---|
| L0 基础设施 | 算力、存储、网络、密钥 | GPU 集群、镜像仓库、对象存储、KMS |
| L1 模型层 | 提供可被调用的各类模型 | 主模型、Embedding、Reranker、审核模型、微调权重 |
| L2 数据与知识层 | 把原材料变成可检索、可训练的数据资产 | 切片库、向量索引、评测集、Bad Case 库 |
| L3 应用编排层 | 把模型 + 知识 + 工具组织成业务能力 | Prompt 模板、RAG 链路、Agent、工作流 |
| L4 服务网关层 | 统一对外暴露、控成本、保稳定 | 路由、缓存、限流、降级、灰度 |
| L5 可观测运维层 | 看清线上发生了什么并持续优化 | Trace、成本看板、质量指标、告警 |
| 横切能力 | 安全、质量、发布三类底线 | Guardrail、评测体系、版本流水线 |
| 模型角色 | 作用 | 常见选择 |
|---|---|---|
| 主对话 / 推理模型 | 生成回答、Agent 推理 | 云端闭源 API 或自托管 Qwen / DeepSeek 等开源模型 |
| Embedding 模型 | 文本向量化,供 RAG 检索 | bge-m3、bge-large、gte 系列 |
| Reranker 重排模型 | 对初筛召回结果精排 | bge-reranker、cohere-rerank |
| 小模型 / 专用模型 | 意图分类、信息抽取、敏感词审核、结构化输出 | 1.8B–7B 级别小模型或规则 + 分类器 |
| 微调产物 | 领域 SFT、偏好对齐 DPO 权重 | 基于基座模型训练后的 LoRA / 全量权重 |
flowchart LR
S["原始文档: 网页/PDF/表格/工单/代码"] --> P1["清洗: 去重/去广告/格式归一"]
P1 --> P2["解析: 版面识别/表格抽取/目录还原"]
P2 --> P3["切片: 按语义/标题/固定长度"]
P3 --> P4["元数据标注: 来源/时间/权限/业务标签"]
P4 --> P5["Embedding 向量化"]
P5 --> V[("向量库")]
P4 --> K[("关键词/全文索引")]
P4 --> M[("元数据库")]
sequenceDiagram
participant U as 用户/客户端
participant GW as 网关(鉴权/限流/缓存)
participant ORCH as 编排服务(Prompt/Agent)
participant RAG as 检索服务
participant VDB as 向量库/索引
participant LLM as 模型服务(主/备)
participant GR as 安全护栏
participant OBS as 可观测平台
U->>GW: 业务请求(含会话ID)
GW->>GW: 鉴权、配额校验、缓存查询
alt 缓存命中
GW-->>U: 直接返回缓存结果
else 未命中
GW->>ORCH: 转发请求
ORCH->>GR: 输入安全检测(防注入/敏感词)
GR-->>ORCH: 检测通过/拦截
ORCH->>RAG: 查询改写 + 检索请求
RAG->>VDB: 向量召回 + 关键词召回
VDB-->>RAG: 候选切片
RAG->>RAG: Reranker 重排 + 上下文组装
RAG-->>ORCH: 检索上下文 + 引用来源
ORCH->>LLM: 拼装 Prompt 调用模型
LLM-->>ORCH: 生成结果
ORCH->>GR: 输出审核(合规/脱敏)
GR-->>ORCH: 审核通过/转人工
ORCH-->>GW: 响应(含 Trace ID/用量)
GW->>OBS: 上报日志、指标、Token 成本
GW-->>U: 返回结果 + 引用来源
end
U->>ORCH: 反馈(点赞/点踩/纠错)
ORCH->>OBS: 反馈回流至 Bad Case 库
flowchart TB
subgraph OFF["离线索引链路"]
N1["文档接入"] --> N2["清洗解析"]
N2 --> N3["语义切片"]
N3 --> N4["元数据标注"]
N4 --> N5["Embedding"]
N5 --> N6[("向量库")]
N4 --> N7[("全文索引")]
end
subgraph ON["在线检索链路"]
Q1["用户问题"] --> Q2["查询改写/意图识别"]
Q2 --> Q3["多路召回: 向量 + 关键词 + 元数据过滤"]
Q3 --> Q4["Reranker 精排"]
Q4 --> Q5["上下文裁剪与去重"]
Q5 --> Q6["Prompt 组装(含引用位)"]
Q6 --> Q7["LLM 生成"]
Q7 --> Q8["答案与引用溯源绑定"]
end
N6 -.检索.-> Q3
N7 -.检索.-> Q3
| 环节 | 风险 | 控制手段 |
|---|---|---|
| 切片 | 语义被切断、上下文丢失 | 按标题层级 / 语义边界切片,保留父子块与摘要块 |
| 召回 | 相关内容没召回 | 多路召回、Hybrid 检索、元数据过滤、查询改写 |
| 精排 | 召回多但排序乱 | Reranker 重排、Top-K 截断 |
| 组装 | 上下文超长、无关信息挤占 | 上下文预算管理、去重、摘要压缩 |
| 生成 | 脱离引用编造 | 强制引用编号、无依据时拒答、答案溯源校验 |
flowchart LR
REQ["用户目标"] --> PL["规划 Planner: 拆解任务步骤"]
PL --> MEM["记忆模块: 短期会话/长期知识库"]
MEM --> LOOP{"执行循环"}
LOOP --> THO["思考: 当前状态与下一步"]
THO --> TOOL["工具调用: 检索/API/代码/数据库"]
TOOL --> RES["工具结果回填"]
RES --> CHK{"完成? 步数/预算上限?"}
CHK -- 否 --> LOOP
CHK -- 是 --> ANS["汇总输出"]
ANS --> GUA["安全与权限校验"]
GUA --> OUT["返回用户"]
flowchart TB
APP["业务应用"] --> GW["LLM 网关 / 模型代理"]
GW --> R{"路由策略"}
R -- 高复杂度/高质量 --> CLOUD["云端旗舰模型 API"]
R -- 常规任务 --> OPEN["自托管开源模型 vLLM/TGI"]
R -- 轻量分类/抽取 --> SMALL["本地小模型"]
R -- 缓存命中 --> CACHE["语义/精确缓存"]
CLOUD --> FB{"异常?"}
OPEN --> FB
FB -- 超时/报错 --> FALLBACK["备用模型 / 静态兜底话术"]
FB -- 正常 --> RESP["统一响应格式 + 用量统计"]
FALLBACK --> RESP
SMALL --> RESP
CACHE --> RESP
RESP --> OBS["可观测: 日志/成本/指标"]
| 维度 | 说明 |
|---|---|
| 任务类型 | 分类抽取走小模型,复杂推理走大模型 |
| 质量要求 | 核心业务链路优先高可靠模型 |
| 成本预算 | 高频简单问题走自托管或小模型 |
| 延迟要求 | 流式输出场景优先低延迟实例 |
| 合规要求 | 敏感数据不出域,强制走本地部署 |
| 可用性 | 主供应商故障时自动切换备用供应商 |
flowchart LR
E1["离线评测集<br/>黄金集 + 增量集"] --> E2["版本候选<br/>Prompt/模型/RAG 变更"]
E2 --> E3["自动评测<br/>规则指标 + LLM-as-Judge"]
E3 --> E4{"达标?"}
E4 -- 否 --> E2
E4 -- 是 --> E5["灰度上线 A/B 实验"]
E5 --> E6["线上监控<br/>质量/成本/延迟/安全"]
E6 --> E7["用户反馈 + 人工抽检"]
E7 --> E8["Bad Case 入库"]
E8 --> E1
| 类别 | 指标示例 |
|---|---|
| 效果质量 | 回答正确率、引用忠实度、相关性、完整性、格式合规率 |
| 稳定性 | 同题多次回答一致率、拒答合理性、边界输入表现 |
| 成本性能 | 单次调用 Token、首 Token 延迟、端到端延迟、缓存命中率 |
| 安全合规 | 注入拦截率、违规输出率、隐私泄露事件数、越权调用拦截数 |
| 业务价值 | 采纳率、解决率、人工转接率、用户满意度 |
flowchart LR
A["代码/Prompt/知识库变更"] --> B["版本提交与评审"]
B --> C["自动构建: 镜像/索引/打包"]
C --> D["离线评测回归"]
D --> E{"回归通过?"}
E -- 否 --> A
E -- 是 --> F["灰度发布"]
F --> G["线上 A/B 与监控"]
G --> H{"达标且无事故?"}
H -- 否 --> I["自动回滚"]
H -- 是 --> J["全量发布"]
I --> A
| 模块 | 开源自托管 | 商业 / 托管 |
|---|---|---|
| 编排框架 | LangChain、LlamaIndex、LangGraph、Dify、Coze 开源版 | Dify 云版、Coze、FastGPT 商业版 |
| Prompt 管理 | 自建 Git + 模板仓库、PromptFoo | LangSmith、PromptLayer |
| 可观测追踪 | Langfuse、OpenLLMetry、Phoenix | LangSmith、Datadog LLM Observability |
| 评测框架 | PromptFoo、Ragas、DeepEval、MLflow LLM Evaluate | 各家模型平台内置评测 |
| 向量数据库 | Milvus、Qdrant、Chroma、PGVector、Weaviate | 云厂商向量检索服务 |
| Embedding / Reranker | bge 系列、gte 系列、Jina 系列 | OpenAI / Cohere 嵌入接口 |
| 推理服务 | vLLM、Text Generation Inference、Ollama、OPEA | 云厂商模型推理服务 |
| 模型网关 | LiteLLM、One-API、FastGPT 网关 | OpenRouter、云厂商模型网关 |
| 安全护栏 | 自建规则 + 小模型审核、NeMo Guardrails | 云内容安全审核、专业护栏服务 |
| 微调流水线 | LLaMA-Factory、Axolotl、TRL | 云厂商托管微调 |
flowchart TB
subgraph MIN["最小可行 LLMOps 栈"]
direction TB
M1["编排: LangChain / LangGraph 或 Dify"]
M2["知识库: PGVector / Qdrant + bge-m3"]
M3["模型: Ollama / vLLM 本地 + 云端 API 兜底"]
M4["网关: LiteLLM 统一代理"]
M5["可观测: Langfuse 自托管"]
M6["评测: PromptFoo + Ragas"]
M7["代码与版本: Git"]
end
flowchart LR
P0["阶段0<br/>基础认知"] --> P1["阶段1<br/>工程与模型基础"]
P1 --> P2["阶段2<br/>RAG 与应用编排"]
P2 --> P3["阶段3<br/>评估与可观测"]
P3 --> P4["阶段4<br/>生产化: 网关/成本/安全"]
P4 --> P5["阶段5<br/>Agent 与微调进阶"]
P5 --> P6["方向分流<br/>平台工程 / 算法工程 / 应用架构"]
| 阶段 | 目标 | 周期参考(业余投入) | 验收产出 |
|---|---|---|---|
| 0 基础认知 | 理解 LLM 能力边界、Token、上下文窗口、典型应用形态 | 1–2 周 | 能说清 RAG / Agent / 微调分别解决什么问题 |
| 1 工程与模型基础 | 调通 API 与本地推理,理解 Prompt 工程 | 2–3 周 | 一个可多轮对话的命令行 / Web Demo |
| 2 RAG 与编排 | 搭通知识库检索增强链路 | 3–4 周 | 带引用溯源的私有知识库问答应用 |
| 3 评估与可观测 | 建立评测集、Trace 与成本看板 | 2–3 周 | 一套离线评测脚本 + 线上 Trace 面板 |
| 4 生产化 | 网关、缓存、限流、降级、安全护栏、灰度 | 3–4 周 | 可对外提供服务的生产原型 |
| 5 Agent 与微调进阶 | 工具调用编排、记忆管理、必要时微调对齐 | 4–6 周 | 多步 Agent 应用 + 一份领域微调 / 对齐实验记录 |
学习目标:建立大模型与传统软件的差异认知,不急于写代码。
学习目标:具备调用云端模型与本地模型的工程能力。
学习目标:搭出可溯源、可检索的知识库应用。
学习目标:从“感觉还行”升级到“有数据证明质量”。
学习目标:把 Demo 加固成可对外服务的系统。
学习目标:掌握复杂任务编排,并判断是否需要微调。
| 方向 | 重点深化 |
|---|---|
| LLMOps 平台工程 | 网关、调度、可观测、成本治理、多租户、CI/CD 流水线 |
| LLM 应用架构 | 业务建模、RAG 架构演进、Agent 设计模式、系统集成 |
| 模型 / 算法工程 | 数据清洗标注、微调对齐、模型评测、量化蒸馏推理优化 |
评级:L0 未接触 / L1 了解概念 / L2 能跟随实操 / L3 能独立落地 / L4 能设计方案并带队。
| 能力域 | 关键技能 | 自评等级 | 提升路径 |
|---|---|---|---|
| 模型基础 | Token、上下文、采样参数、Function Calling | 阶段 1 | |
| Prompt 工程 | 模板化、Few-shot、输出约束、版本管理 | 阶段 1、4 | |
| RAG 工程 | 解析切片、混合检索、重排、溯源 | 阶段 2 | |
| 应用编排 | LangChain / LangGraph / Dify 工作流 | 阶段 2、5 | |
| 评测体系 | 评测集建设、自动打分、LLM-as-Judge | 阶段 3 | |
| 可观测 | Trace、日志、指标、成本看板 | 阶段 3 | |
| 服务化 | 网关、缓存、限流、降级、灰度发布 | 阶段 4 | |
| 安全合规 | 防注入、审核、脱敏、权限审计 | 阶段 4 | |
| 成本治理 | 路由分级、上下文压缩、用量预算 | 阶段 4 | |
| Agent 工程 | 规划、工具、记忆、多步编排、人审 | 阶段 5 | |
| 微调对齐 | 数据构造、SFT、LoRA、DPO、回归评测 | 阶段 5 | |
| 基础设施 | GPU 调度、容器化、推理性能优化 | 按需深化 |
| 主题 | 资源 |
|---|---|
| 编排框架 | LangChain 文档、LangGraph 文档、LlamaIndex 文档 |
| 推理服务 | vLLM GitHub 官方仓库、Text Generation Inference 文档、Ollama 文档 |
| 评测可观测 | Langfuse 文档、PromptFoo 官方站点、Ragas 文档、DeepEval 文档 |
| 网关 | LiteLLM 文档、One-API 仓库 |
| 微调 | LLaMA-Factory 仓库、TRL 文档 |
| 向量库 | Milvus / Qdrant / PGVector 官方文档 |
提示:遇到框架概念不明确时,优先读官方文档与仓库示例;模型参数、接口行为以官方最新版本为准。
| 坑位 | 典型表现 | 规避建议 |
|---|---|---|
| 只堆 Prompt 不建评测集 | 改一句 Prompt 效果变好变坏全凭感觉 | 先建黄金评测集,再做任何 Prompt / 模型变更 |
| 切片粗暴 | 按固定长度硬切,表格与段落语义破碎 | 优先按文档结构与语义切片,保留父子块 |
| 检索不重排 | 召回一堆不相关内容挤占上下文 | 召回后接 Reranker,控制 Top-K 与上下文预算 |
| 成本失控 | 长上下文反复全量拼接,Token 费用暴涨 | 历史压缩、缓存、分级路由、按场景限长 |
| 幻觉无约束 | 模型脱离引用编造答案 | 强制引用、无依据拒答、答案忠实度校验 |
| 安全裸奔 | 直接拼接用户输入进 Prompt,被注入越权 | 输入过滤、指令与数据隔离、输出审核、工具权限最小化 |
| Agent 死循环 | 工具反复调用不收敛 | 步数上限、Token 预算、失败回退、人审卡点 |
| 微调误用 | 用微调解决本可由 RAG 解决的知识更新 | 知识更新走 RAG;风格 / 格式 / 术语对齐才考虑微调 |
| 版本不可追溯 | 线上出问题查不到用了哪版 Prompt / 索引 | 四类版本(模型 / Prompt / 知识库 / 评测集)全部纳入治理 |
| 监控只看成功率 | 调用成功但答案质量差、用户不采纳 | 同时监控质量指标、反馈率与人工抽检结果 |
一句话总结:LLMOps 的核心不是某一个工具,而是把「数据 → 实验 → 评测 → 发布 → 监控 → 反馈」闭环跑起来,让大模型应用的每一次变更都可度量、可追溯、可回滚。
(注:部分内容由豆包 AI 生成)
本文作者:Jarvis
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!