编辑
2026-11-22
基础技术图谱
00

目录

目录
一、LLMOps 是什么
二、LLMOps 与 MLOps 的核心区别
三、完整落地架构总图
分层职责速查
四、分层架构详解
4.1 L0 基础设施层
4.2 L1 模型层
4.3 L2 数据与知识层
4.4 L3 应用编排层
4.5 L4 服务网关层
4.6 L5 可观测与运维层
五、端到端请求链路时序图
六、RAG 子链路架构
RAG 关键质量控制点
七、Agent 编排子架构
Agent 生产化要点
八、模型网关与多模型路由拓扑
路由决策维度
九、评估与反馈闭环流程
评测指标分类
十、CI/CD 与发布流水线
四类版本必须纳入版本治理
十一、核心模块清单与选型表
11.1 工具栈选型参考
11.2 最小落地技术栈(个人 / 小团队起步)
十二、学习路线总览图
十三、分阶段学习路线(可直接执行)
阶段 0:基础认知(1–2 周)
阶段 1:工程与模型基础(2–3 周)
阶段 2:RAG 与应用编排(3–4 周)
阶段 3:评估与可观测(2–3 周)
阶段 4:生产化(3–4 周)
阶段 5:Agent 与微调进阶(4–6 周)
阶段 6:方向分流
十四、技能矩阵与能力自评
十五、推荐学习资源
15.1 官方文档与框架
15.2 建议阅读顺序
十六、生产落地 Checklist
16.1 上线前必须完成
16.2 上线后持续运营
十七、高频坑位与避坑指南

适用对象:有后端 / 工程背景,准备把大模型应用从 Demo 推进到生产环境,并建立可迭代、可观测、可控成本、安全合规的工程体系。

本文所有图示均为 Mermaid 代码块,可在 GitHub、GitLab、飞书文档、语雀、Typora、VS Code 等任何兼容 Mermaid 的 Markdown 渲染器中直接显示。

目录

  1. 一、LLMOps 是什么
  2. 二、LLMOps 与 MLOps 的核心区别
  3. 三、完整落地架构总图
  4. 四、分层架构详解
  5. 五、端到端请求链路时序图
  6. 六、RAG 子链路架构
  7. 七、Agent 编排子架构
  8. 八、模型网关与多模型路由拓扑
  9. 九、评估与反馈闭环流程
  10. 十、CI/CD 与发布流水线
  11. 十一、核心模块清单与选型表
  12. 十二、学习路线总览图
  13. 十三、分阶段学习路线(可直接执行)
  14. 十四、技能矩阵与能力自评
  15. 十五、推荐学习资源
  16. 十六、生产落地 Checklist
  17. 十七、高频坑位与避坑指南

一、LLMOps 是什么

LLMOps(Large Language Model Operations,大语言模型运维) 是 MLOps 在大模型场景下的工程延伸:一套覆盖数据治理、实验迭代、质量评估、发布部署、线上可观测、反馈闭环的流程规范与工具链,目标是让 LLM 应用从“能跑通 Demo”变成“稳定、可控、省钱、安全、可持续迭代”的生产系统。

LLM 应用的本质不确定性来自四点,也是 LLMOps 要治理的对象:

  • 输出不确定:自由文本,主观且可能产生幻觉;
  • 成本不确定:Token 按用量计费,调用量放大后成本失控;
  • 链路不确定:Prompt、RAG 检索、工具调用任意一环变化都会影响结果;
  • 风险不确定:提示注入、越狱、隐私泄露、越权调用工具。
mindmap
  root((LLMOps 治理对象))
    质量治理
      幻觉检测
      输出一致性
      评测集基线
      LLM-as-Judge
    成本治理
      Token 计量
      缓存命中
      模型路由降级
      上下文压缩
    链路治理
      Prompt 版本
      RAG 切片与检索
      工具调用编排
      灰度发布
    安全治理
      提示注入防护
      输入输出审核
      数据脱敏
      权限与审计

二、LLMOps 与 MLOps 的核心区别

维度MLOps(传统机器学习)LLMOps
模型输出结构化标签 / 数值,指标明确自由文本,主观、易幻觉
主要调优对象模型权重、特征工程Prompt、RAG 策略、检索切片、模型路由;微调只是可选项之一
评测方式准确率、AUC、召回率等固定指标自动打分(LLM-as-Judge)+ 人工评测 + 安全测试 + A/B 实验
成本指标训练 / 推理算力Token 消耗、单次调用成本、上下文窗口占用
主要风险数据漂移、标签漂移幻觉、提示注入、越狱、隐私泄露、工具误调用
版本管理模型版本、数据集版本模型版本 + Prompt 版本 + 知识库版本 + 评测集版本
上线形态离线训练 → 离线/在线推理在线 API 调用为主,Prompt / 知识库可热更新

三、完整落地架构总图

下图为生产级 LLMOps 参考架构,自下而上分为 6 个技术层,外加 3 条贯穿全程的横切能力。

flowchart TB
    subgraph L5["L5 可观测与运维层 Observability & Ops"]
        O1["调用链路 Trace"]
        O2["日志采集与检索"]
        O3["Token 与成本看板"]
        O4["质量监控: 幻觉率/错误率/人工评分"]
        O5["告警与容量扩缩"]
    end

    subgraph L4["L4 服务网关层 Gateway & Serving"]
        G1["API 网关 / 鉴权限流"]
        G2["模型路由与多供应商适配"]
        G3["缓存: 语义缓存/精确缓存"]
        G4["降级兜底与超时重试"]
        G5["Prompt 灰度发布"]
    end

    subgraph L3["L3 应用编排层 Orchestration"]
        A1["Prompt 编排与模板管理"]
        A2["RAG 检索增强链路"]
        A3["Agent 编排: 规划/工具/记忆"]
        A4["多轮对话状态管理"]
        A5["工作流: DAG/状态机"]
    end

    subgraph L2["L2 数据与知识层 Data & Knowledge"]
        D1["原始语料清洗去重"]
        D2["文档解析与切片"]
        D3["Embedding 向量化"]
        D4["向量库 / 关键词索引 / 元数据库"]
        D5["评测数据集与标注库"]
        D6["反馈样本与 Bad Case 库"]
    end

    subgraph L1["L1 模型层 Model Layer"]
        M1["闭云 API: 通用大模型"]
        M2["开源模型自托管: vLLM / TGI"]
        M3["Embedding / Reranker 模型"]
        M4["小模型: 分类/抽取/审核"]
        M5["微调产物: SFT / DPO 权重"]
    end

    subgraph L0["L0 基础设施层 Infrastructure"]
        I1["GPU 算力与调度"]
        I2["容器与镜像仓库"]
        I3["对象存储 / 数据库"]
        I4["网络与密钥管理"]
    end

    subgraph CUT["横切能力 Cross-cutting"]
        C1["安全护栏 Guardrail: 输入过滤/输出审核/防注入/脱敏"]
        C2["评估体系 Evaluation: 离线评测/在线 A-B/回归测试"]
        C3["CI/CD 与版本治理: 模型/Prompt/知识库/评测集版本"]
    end

    L0 --> L1 --> L2 --> L3 --> L4 --> L5
    C1 -.贯穿.-> L1
    C1 -.贯穿.-> L3
    C1 -.贯穿.-> L4
    C2 -.贯穿.-> L2
    C2 -.贯穿.-> L3
    C2 -.贯穿.-> L5
    C3 -.贯穿.-> L1
    C3 -.贯穿.-> L2
    C3 -.贯穿.-> L4

分层职责速查

层级核心职责典型产出
L0 基础设施算力、存储、网络、密钥GPU 集群、镜像仓库、对象存储、KMS
L1 模型层提供可被调用的各类模型主模型、Embedding、Reranker、审核模型、微调权重
L2 数据与知识层把原材料变成可检索、可训练的数据资产切片库、向量索引、评测集、Bad Case 库
L3 应用编排层把模型 + 知识 + 工具组织成业务能力Prompt 模板、RAG 链路、Agent、工作流
L4 服务网关层统一对外暴露、控成本、保稳定路由、缓存、限流、降级、灰度
L5 可观测运维层看清线上发生了什么并持续优化Trace、成本看板、质量指标、告警
横切能力安全、质量、发布三类底线Guardrail、评测体系、版本流水线

四、分层架构详解

4.1 L0 基础设施层

  • 算力:云 GPU 实例 / 本地显卡工作站;推理服务按并发与上下文长度规划显存;预留 Embedding、Reranker 模型资源。
  • 容器化:模型服务、应用编排、网关均容器化;镜像分层(基础镜像 + 模型权重挂载)。
  • 存储:对象存储放原始文档与模型权重;关系库存业务数据与元数据;向量库存索引;日志库独立。
  • 密钥与配置:API Key、数据库凭据、模型权重访问凭证统一进入密钥管理服务,禁止硬编码。

4.2 L1 模型层

模型角色作用常见选择
主对话 / 推理模型生成回答、Agent 推理云端闭源 API 或自托管 Qwen / DeepSeek 等开源模型
Embedding 模型文本向量化,供 RAG 检索bge-m3、bge-large、gte 系列
Reranker 重排模型对初筛召回结果精排bge-reranker、cohere-rerank
小模型 / 专用模型意图分类、信息抽取、敏感词审核、结构化输出1.8B–7B 级别小模型或规则 + 分类器
微调产物领域 SFT、偏好对齐 DPO 权重基于基座模型训练后的 LoRA / 全量权重

4.3 L2 数据与知识层

flowchart LR
    S["原始文档: 网页/PDF/表格/工单/代码"] --> P1["清洗: 去重/去广告/格式归一"]
    P1 --> P2["解析: 版面识别/表格抽取/目录还原"]
    P2 --> P3["切片: 按语义/标题/固定长度"]
    P3 --> P4["元数据标注: 来源/时间/权限/业务标签"]
    P4 --> P5["Embedding 向量化"]
    P5 --> V[("向量库")]
    P4 --> K[("关键词/全文索引")]
    P4 --> M[("元数据库")]
  • 评测数据集:独立于线上语料,分黄金集(固定回归基线)与增量集(新 Bad Case 回流)。
  • 反馈样本库:用户点赞点踩、人工标注、线上 Bad Case 统一归集,作为 Prompt 优化、RAG 调优、微调的数据来源。

4.4 L3 应用编排层

  • Prompt 管理:Prompt 模板参数化、版本化;System / Few-shot / 输出格式约束分离维护。
  • RAG 编排:查询改写 → 多路召回 → 重排 → 上下文组装 → 引用溯源。
  • Agent 编排:任务规划、工具调用、记忆读写、多步反思;用状态机 / DAG 管控步数与回滚。
  • 对话状态:多轮历史压缩、会话持久化、上下文窗口预算管理。

4.5 L4 服务网关层

  • 统一鉴权、租户隔离、配额限流;
  • 模型路由:按任务复杂度、成本、延迟要求选择模型;
  • 缓存:精确缓存(同问同答)+ 语义缓存(相似问题命中);
  • 降级:主模型超时 / 报错时切换备用模型或静态兜底话术;
  • 灰度:Prompt 版本、模型版本、RAG 策略按流量比例灰度。

4.6 L5 可观测与运维层

  • Trace:一次业务请求串联「网关 → 编排 → 检索 → 模型 → 工具调用」全链路。
  • 指标:延迟(首 Token / 全量)、成功率、Token 用量、缓存命中率、检索命中率、幻觉率、人工评分。
  • 成本看板:按业务线 / 租户 / 模型 / 场景拆分 Token 成本。
  • 告警:错误率、延迟、成本异常、安全事件触发告警并留痕。

五、端到端请求链路时序图

sequenceDiagram
    participant U as 用户/客户端
    participant GW as 网关(鉴权/限流/缓存)
    participant ORCH as 编排服务(Prompt/Agent)
    participant RAG as 检索服务
    participant VDB as 向量库/索引
    participant LLM as 模型服务(主/备)
    participant GR as 安全护栏
    participant OBS as 可观测平台

    U->>GW: 业务请求(含会话ID)
    GW->>GW: 鉴权、配额校验、缓存查询
    alt 缓存命中
        GW-->>U: 直接返回缓存结果
    else 未命中
        GW->>ORCH: 转发请求
        ORCH->>GR: 输入安全检测(防注入/敏感词)
        GR-->>ORCH: 检测通过/拦截
        ORCH->>RAG: 查询改写 + 检索请求
        RAG->>VDB: 向量召回 + 关键词召回
        VDB-->>RAG: 候选切片
        RAG->>RAG: Reranker 重排 + 上下文组装
        RAG-->>ORCH: 检索上下文 + 引用来源
        ORCH->>LLM: 拼装 Prompt 调用模型
        LLM-->>ORCH: 生成结果
        ORCH->>GR: 输出审核(合规/脱敏)
        GR-->>ORCH: 审核通过/转人工
        ORCH-->>GW: 响应(含 Trace ID/用量)
        GW->>OBS: 上报日志、指标、Token 成本
        GW-->>U: 返回结果 + 引用来源
    end
    U->>ORCH: 反馈(点赞/点踩/纠错)
    ORCH->>OBS: 反馈回流至 Bad Case 库

六、RAG 子链路架构

flowchart TB
    subgraph OFF["离线索引链路"]
        N1["文档接入"] --> N2["清洗解析"]
        N2 --> N3["语义切片"]
        N3 --> N4["元数据标注"]
        N4 --> N5["Embedding"]
        N5 --> N6[("向量库")]
        N4 --> N7[("全文索引")]
    end

    subgraph ON["在线检索链路"]
        Q1["用户问题"] --> Q2["查询改写/意图识别"]
        Q2 --> Q3["多路召回: 向量 + 关键词 + 元数据过滤"]
        Q3 --> Q4["Reranker 精排"]
        Q4 --> Q5["上下文裁剪与去重"]
        Q5 --> Q6["Prompt 组装(含引用位)"]
        Q6 --> Q7["LLM 生成"]
        Q7 --> Q8["答案与引用溯源绑定"]
    end

    N6 -.检索.-> Q3
    N7 -.检索.-> Q3

RAG 关键质量控制点

环节风险控制手段
切片语义被切断、上下文丢失按标题层级 / 语义边界切片,保留父子块与摘要块
召回相关内容没召回多路召回、Hybrid 检索、元数据过滤、查询改写
精排召回多但排序乱Reranker 重排、Top-K 截断
组装上下文超长、无关信息挤占上下文预算管理、去重、摘要压缩
生成脱离引用编造强制引用编号、无依据时拒答、答案溯源校验

七、Agent 编排子架构

flowchart LR
    REQ["用户目标"] --> PL["规划 Planner: 拆解任务步骤"]
    PL --> MEM["记忆模块: 短期会话/长期知识库"]
    MEM --> LOOP{"执行循环"}
    LOOP --> THO["思考: 当前状态与下一步"]
    THO --> TOOL["工具调用: 检索/API/代码/数据库"]
    TOOL --> RES["工具结果回填"]
    RES --> CHK{"完成? 步数/预算上限?"}
    CHK -- 否 --> LOOP
    CHK -- 是 --> ANS["汇总输出"]
    ANS --> GUA["安全与权限校验"]
    GUA --> OUT["返回用户"]

Agent 生产化要点

  • 步数与预算上限:限制最大工具调用轮次、最大 Token 消耗,防止死循环;
  • 工具权限最小化:每个工具声明参数、权限范围、超时与重试策略;
  • 可中断可回滚:关键步骤记录状态,失败可重放;
  • 记忆分层:会话短期记忆压缩归档,长期事实写入结构化记忆库;
  • 人审介入:高风险动作(写库、发消息、付款)走人工确认节点。

八、模型网关与多模型路由拓扑

flowchart TB
    APP["业务应用"] --> GW["LLM 网关 / 模型代理"]
    GW --> R{"路由策略"}
    R -- 高复杂度/高质量 --> CLOUD["云端旗舰模型 API"]
    R -- 常规任务 --> OPEN["自托管开源模型 vLLM/TGI"]
    R -- 轻量分类/抽取 --> SMALL["本地小模型"]
    R -- 缓存命中 --> CACHE["语义/精确缓存"]
    CLOUD --> FB{"异常?"}
    OPEN --> FB
    FB -- 超时/报错 --> FALLBACK["备用模型 / 静态兜底话术"]
    FB -- 正常 --> RESP["统一响应格式 + 用量统计"]
    FALLBACK --> RESP
    SMALL --> RESP
    CACHE --> RESP
    RESP --> OBS["可观测: 日志/成本/指标"]

路由决策维度

维度说明
任务类型分类抽取走小模型,复杂推理走大模型
质量要求核心业务链路优先高可靠模型
成本预算高频简单问题走自托管或小模型
延迟要求流式输出场景优先低延迟实例
合规要求敏感数据不出域,强制走本地部署
可用性主供应商故障时自动切换备用供应商

九、评估与反馈闭环流程

flowchart LR
    E1["离线评测集<br/>黄金集 + 增量集"] --> E2["版本候选<br/>Prompt/模型/RAG 变更"]
    E2 --> E3["自动评测<br/>规则指标 + LLM-as-Judge"]
    E3 --> E4{"达标?"}
    E4 -- 否 --> E2
    E4 -- 是 --> E5["灰度上线 A/B 实验"]
    E5 --> E6["线上监控<br/>质量/成本/延迟/安全"]
    E6 --> E7["用户反馈 + 人工抽检"]
    E7 --> E8["Bad Case 入库"]
    E8 --> E1

评测指标分类

类别指标示例
效果质量回答正确率、引用忠实度、相关性、完整性、格式合规率
稳定性同题多次回答一致率、拒答合理性、边界输入表现
成本性能单次调用 Token、首 Token 延迟、端到端延迟、缓存命中率
安全合规注入拦截率、违规输出率、隐私泄露事件数、越权调用拦截数
业务价值采纳率、解决率、人工转接率、用户满意度

十、CI/CD 与发布流水线

flowchart LR
    A["代码/Prompt/知识库变更"] --> B["版本提交与评审"]
    B --> C["自动构建: 镜像/索引/打包"]
    C --> D["离线评测回归"]
    D --> E{"回归通过?"}
    E -- 否 --> A
    E -- 是 --> F["灰度发布"]
    F --> G["线上 A/B 与监控"]
    G --> H{"达标且无事故?"}
    H -- 否 --> I["自动回滚"]
    H -- 是 --> J["全量发布"]
    I --> A

四类版本必须纳入版本治理

  1. 模型版本:基座型号、微调权重、模型参数;
  2. Prompt 版本:模板、变量、Few-shot 示例;
  3. 知识库版本:切片规则、Embedding 模型、索引快照;
  4. 评测集版本:黄金集与评分标准变更记录。

十一、核心模块清单与选型表

11.1 工具栈选型参考

模块开源自托管商业 / 托管
编排框架LangChain、LlamaIndex、LangGraph、Dify、Coze 开源版Dify 云版、Coze、FastGPT 商业版
Prompt 管理自建 Git + 模板仓库、PromptFooLangSmith、PromptLayer
可观测追踪Langfuse、OpenLLMetry、PhoenixLangSmith、Datadog LLM Observability
评测框架PromptFoo、Ragas、DeepEval、MLflow LLM Evaluate各家模型平台内置评测
向量数据库Milvus、Qdrant、Chroma、PGVector、Weaviate云厂商向量检索服务
Embedding / Rerankerbge 系列、gte 系列、Jina 系列OpenAI / Cohere 嵌入接口
推理服务vLLM、Text Generation Inference、Ollama、OPEA云厂商模型推理服务
模型网关LiteLLM、One-API、FastGPT 网关OpenRouter、云厂商模型网关
安全护栏自建规则 + 小模型审核、NeMo Guardrails云内容安全审核、专业护栏服务
微调流水线LLaMA-Factory、Axolotl、TRL云厂商托管微调

11.2 最小落地技术栈(个人 / 小团队起步)

flowchart TB
    subgraph MIN["最小可行 LLMOps 栈"]
        direction TB
        M1["编排: LangChain / LangGraph 或 Dify"]
        M2["知识库: PGVector / Qdrant + bge-m3"]
        M3["模型: Ollama / vLLM 本地 + 云端 API 兜底"]
        M4["网关: LiteLLM 统一代理"]
        M5["可观测: Langfuse 自托管"]
        M6["评测: PromptFoo + Ragas"]
        M7["代码与版本: Git"]
    end

十二、学习路线总览图

flowchart LR
    P0["阶段0<br/>基础认知"] --> P1["阶段1<br/>工程与模型基础"]
    P1 --> P2["阶段2<br/>RAG 与应用编排"]
    P2 --> P3["阶段3<br/>评估与可观测"]
    P3 --> P4["阶段4<br/>生产化: 网关/成本/安全"]
    P4 --> P5["阶段5<br/>Agent 与微调进阶"]
    P5 --> P6["方向分流<br/>平台工程 / 算法工程 / 应用架构"]
阶段目标周期参考(业余投入)验收产出
0 基础认知理解 LLM 能力边界、Token、上下文窗口、典型应用形态1–2 周能说清 RAG / Agent / 微调分别解决什么问题
1 工程与模型基础调通 API 与本地推理,理解 Prompt 工程2–3 周一个可多轮对话的命令行 / Web Demo
2 RAG 与编排搭通知识库检索增强链路3–4 周带引用溯源的私有知识库问答应用
3 评估与可观测建立评测集、Trace 与成本看板2–3 周一套离线评测脚本 + 线上 Trace 面板
4 生产化网关、缓存、限流、降级、安全护栏、灰度3–4 周可对外提供服务的生产原型
5 Agent 与微调进阶工具调用编排、记忆管理、必要时微调对齐4–6 周多步 Agent 应用 + 一份领域微调 / 对齐实验记录

十三、分阶段学习路线(可直接执行)

阶段 0:基础认知(1–2 周)

学习目标:建立大模型与传统软件的差异认知,不急于写代码。

  • 必学概念
    • Token、上下文窗口、温度 / Top-P、流式输出、结构化输出(JSON Mode / Function Calling);
    • 幻觉、知识截止、Prompt 敏感、模型温度与确定性;
    • RAG、微调(SFT / DPO)、Agent 三种增强路线的适用边界;
    • embedding、相似度检索、重排的基本含义。
  • 动手任务
    1. 用任意云端 API 完成 10 组不同 Prompt 对比实验,记录输出差异;
    2. 整理一张表:什么场景用 RAG,什么场景用微调,什么场景只靠 Prompt。
  • 验收标准:能向同事讲清“为什么不能只靠把资料塞进 Prompt”。

阶段 1:工程与模型基础(2–3 周)

学习目标:具备调用云端模型与本地模型的工程能力。

  • 知识要点
    • OpenAI 兼容接口规范:chat completions、streaming、function calling;
    • 本地推理:Ollama 快速验证,vLLM/TGI 理解生产部署形态;
    • Prompt 工程:角色设定、任务拆解、Few-shot、输出约束、失败重试话术;
    • 基础工程:Python 环境管理、日志、配置与密钥分离。
  • 动手任务
    1. 封装一个统一模型调用客户端:支持多供应商、超时重试、流式输出、Token 统计;
    2. 基于该客户端做一个多轮对话 Demo,支持历史上下文管理与窗口裁剪。
  • 工具:Ollama、vLLM、requests / httpx、LiteLLM 初体验。
  • 验收产出:可运行的对话服务 + 调用日志。

阶段 2:RAG 与应用编排(3–4 周)

学习目标:搭出可溯源、可检索的知识库应用。

  • 知识要点
    • 文档解析:PDF / 表格 / 网页 / Markdown 的解析难点;
    • 切片策略:固定长度、按标题、父子块、摘要块;
    • 检索:向量检索、BM25 关键词、Hybrid 混合检索、元数据过滤;
    • 重排:Reranker 模型原理与接入;
    • 编排框架:LangChain / LlamaIndex / LangGraph 的抽象与适用场景;
    • 引用溯源:答案与切片来源绑定。
  • 动手任务
    1. 选 50–100 份自有文档,完成清洗、切片、入库;
    2. 实现查询改写 → 多路召回 → 重排 → 组装 → 生成 → 引用回链完整链路;
    3. 对比不同切片大小、Top-K、是否重排的效果差异并记录。
  • 工具:Qdrant / Milvus / PGVector、bge-m3、bge-reranker、Ragas 初测。
  • 验收产出:私有知识库问答应用,回答可点击查看来源切片。

阶段 3:评估与可观测(2–3 周)

学习目标:从“感觉还行”升级到“有数据证明质量”。

  • 知识要点
    • 评测集建设:黄金集、增量集、标注规范、正负样本;
    • 评测方法:规则校验、关键字段核对、Ragas 检索指标、LLM-as-Judge 评分与偏差控制;
    • Trace 全链路:一次请求各环节输入输出、耗时、Token;
    • 线上指标:成功率、延迟、缓存命中、反馈率、Bad Case 分布。
  • 动手任务
    1. 沉淀 30–50 条黄金评测用例,覆盖常规 / 边界 / 拒答场景;
    2. 接入 Langfuse(或同类),为每次调用记录 Trace、Prompt 版本、模型版本;
    3. 跑通离线评测脚本:每次 Prompt / 知识库变更自动回归打分。
  • 验收产出:评测报告模板 + 线上 Trace 与成本看板。

阶段 4:生产化(3–4 周)

学习目标:把 Demo 加固成可对外服务的系统。

  • 知识要点
    • 网关:鉴权、租户隔离、配额限流、模型路由、供应商适配;
    • 缓存:精确缓存、语义缓存、缓存失效策略;
    • 稳定性:超时、重试、熔断、降级兜底、多供应商切换;
    • 成本:Token 预算、上下文压缩、模型分级路由、用量告警;
    • 安全:提示注入防护、输入输出审核、PII 脱敏、工具权限最小化、操作审计;
    • 发布:Prompt / 知识库灰度、A/B 实验、版本回滚。
  • 动手任务
    1. 用 LiteLLM(或自建网关)统一代理云端 + 本地模型;
    2. 接入缓存、限流、降级策略,压测典型并发;
    3. 为输入输出各加一层护栏规则,记录拦截日志;
    4. 完成一次 Prompt 灰度发布与回滚演练。
  • 验收产出:生产原型 + 压测 / 故障演练记录 + 安全审查清单。

阶段 5:Agent 与微调进阶(4–6 周)

学习目标:掌握复杂任务编排,并判断是否需要微调。

  • Agent 方向
    • 规划、工具调用、记忆、反思循环的设计模式;
    • 状态机 / DAG 编排,步数与预算约束,人审节点;
    • 多 Agent 协作的适用场景与开销权衡。
  • 微调方向
    • 什么时候该微调:领域术语、固定格式、风格对齐;什么时候不该微调;
    • SFT 数据构造、LoRA 微调、DPO 偏好对齐的基本流程;
    • 微调后评测与回归,防止“训完变差”。
  • 动手任务
    1. 用 LangGraph 实现一个带工具调用与记忆的多步 Agent;
    2. 整理一批领域样本,完成一次 LoRA 微调实验并对比基线;
    3. 输出一份“RAG / Prompt / 微调”取舍决策记录。
  • 验收产出:Agent 应用 + 微调实验报告(含评测对比)。

阶段 6:方向分流

方向重点深化
LLMOps 平台工程网关、调度、可观测、成本治理、多租户、CI/CD 流水线
LLM 应用架构业务建模、RAG 架构演进、Agent 设计模式、系统集成
模型 / 算法工程数据清洗标注、微调对齐、模型评测、量化蒸馏推理优化

十四、技能矩阵与能力自评

评级:L0 未接触 / L1 了解概念 / L2 能跟随实操 / L3 能独立落地 / L4 能设计方案并带队。

能力域关键技能自评等级提升路径
模型基础Token、上下文、采样参数、Function Calling阶段 1
Prompt 工程模板化、Few-shot、输出约束、版本管理阶段 1、4
RAG 工程解析切片、混合检索、重排、溯源阶段 2
应用编排LangChain / LangGraph / Dify 工作流阶段 2、5
评测体系评测集建设、自动打分、LLM-as-Judge阶段 3
可观测Trace、日志、指标、成本看板阶段 3
服务化网关、缓存、限流、降级、灰度发布阶段 4
安全合规防注入、审核、脱敏、权限审计阶段 4
成本治理路由分级、上下文压缩、用量预算阶段 4
Agent 工程规划、工具、记忆、多步编排、人审阶段 5
微调对齐数据构造、SFT、LoRA、DPO、回归评测阶段 5
基础设施GPU 调度、容器化、推理性能优化按需深化

十五、推荐学习资源

15.1 官方文档与框架

主题资源
编排框架LangChain 文档、LangGraph 文档、LlamaIndex 文档
推理服务vLLM GitHub 官方仓库、Text Generation Inference 文档、Ollama 文档
评测可观测Langfuse 文档、PromptFoo 官方站点、Ragas 文档、DeepEval 文档
网关LiteLLM 文档、One-API 仓库
微调LLaMA-Factory 仓库、TRL 文档
向量库Milvus / Qdrant / PGVector 官方文档

15.2 建议阅读顺序

  1. 先跑通一个端到端 Demo,建立全局直觉;
  2. 再回头补 RAG 与评测,解决“质量怎么衡量”;
  3. 然后做生产化加固,解决“上线稳不稳、贵不贵、安不安全”;
  4. 最后按岗位方向深入 Agent 或微调。

提示:遇到框架概念不明确时,优先读官方文档与仓库示例;模型参数、接口行为以官方最新版本为准。


十六、生产落地 Checklist

16.1 上线前必须完成

  • 评测集已建立,核心场景有黄金用例与回归基线;
  • 每次请求可追溯:模型版本、Prompt 版本、知识库版本、输入输出、Trace ID;
  • 输入输出均经过安全检测,敏感信息有脱敏;
  • 模型调用有超时、重试、降级与备用链路;
  • 有 Token 成本统计与用量告警阈值;
  • 检索结果带来源引用,无依据问题有拒答策略;
  • 关键工具调用有权限约束与审计日志;
  • 具备 Prompt / 知识库 / 模型版本的灰度与回滚手段;
  • 线上有用户反馈入口,Bad Case 有回流入库流程。

16.2 上线后持续运营

  • 每周复盘 Bad Case 与反馈分布;
  • 定期回归评测集,防止变更导致质量回退;
  • 周期性复盘成本结构,调整模型路由与缓存策略;
  • 跟踪安全事件,更新护栏规则;
  • 知识库定期更新与失效内容下线。

十七、高频坑位与避坑指南

坑位典型表现规避建议
只堆 Prompt 不建评测集改一句 Prompt 效果变好变坏全凭感觉先建黄金评测集,再做任何 Prompt / 模型变更
切片粗暴按固定长度硬切,表格与段落语义破碎优先按文档结构与语义切片,保留父子块
检索不重排召回一堆不相关内容挤占上下文召回后接 Reranker,控制 Top-K 与上下文预算
成本失控长上下文反复全量拼接,Token 费用暴涨历史压缩、缓存、分级路由、按场景限长
幻觉无约束模型脱离引用编造答案强制引用、无依据拒答、答案忠实度校验
安全裸奔直接拼接用户输入进 Prompt,被注入越权输入过滤、指令与数据隔离、输出审核、工具权限最小化
Agent 死循环工具反复调用不收敛步数上限、Token 预算、失败回退、人审卡点
微调误用用微调解决本可由 RAG 解决的知识更新知识更新走 RAG;风格 / 格式 / 术语对齐才考虑微调
版本不可追溯线上出问题查不到用了哪版 Prompt / 索引四类版本(模型 / Prompt / 知识库 / 评测集)全部纳入治理
监控只看成功率调用成功但答案质量差、用户不采纳同时监控质量指标、反馈率与人工抽检结果

一句话总结:LLMOps 的核心不是某一个工具,而是把「数据 → 实验 → 评测 → 发布 → 监控 → 反馈」闭环跑起来,让大模型应用的每一次变更都可度量、可追溯、可回滚。

(注:部分内容由豆包 AI 生成)

本文作者:Jarvis

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!