同一个模型,Agent 调用复杂Skill 使用 Ollama 加载的模型乖乖跑完 Skill 中串行的 10 个步骤,vLLM 却跳步摆烂——到底差在哪?
你可能也遇到过这个诡异的场景:同一个 Qwen3.8-27B 模型,用 Ollama 跑 Agent 多步骤任务(比如自动生成报表),10 个步骤老老实实依次执行;换成 vLLM 部署,同样的 prompt、同样的 Skill 定义,模型却跳步骤、提前输出、思考浮于表面——像是"变笨了"。
模型权重完全一样,为什么表现天差地别?本文把这件事彻底讲清楚,并给出混合负载场景下的落地方案。
不是 Ollama 更聪明,也不是 vLLM 阉割了模型能力。
模型权重完全一致(同一份 FP8 Qwen3.8-27B),知识储备和推理上限没有任何区别。差异全部来自推理封装层——采样参数、对话模板、KV 缓存策略、输出处理逻辑。
打个比方:模型是一个能力相同的大脑,Ollama 给它配了一套"秘书团队"(格式化指令、保守采样、工具校验、输出缓冲),让它表现得井井有条;vLLM 则让大脑直接裸奔接活,没人帮它整理输入、校验输出,自然容易丢三落四。
flowchart LR
subgraph ollama["Ollama — 配了秘书团队"]
direction TB
A1["自动套对话模板"] --> A2["保守采样默认值"]
A2 --> A3["串行推理,不抢上下文"]
A3 --> A4["工具调用自动校验"]
A4 --> A5["输出流缓冲合并"]
end
subgraph vllm["vLLM — 大脑直接裸奔"]
direction TB
B1["模板?自己指定"] --> B2["默认高温,自由发散"]
B2 --> B3["连续批调度,并发抢 KV"]
B3 --> B4["原始 token 流,来什么发什么"]
B4 --> B5["没有工具解析层"]
end
style ollama fill:#e8f5e9
style vllm fill:#fff3e0
很多人以为 Ollama "更听话"是因为模型更强,其实 Ollama 在背后默默加了一整层面向 Agent 工作流的保护机制。下面逐一拆解:
Ollama 加载模型时,会读取模型附带的对话模板(Chat Template),自动把 system prompt、用户指令、Skill 步骤清单按模型训练时的格式封装好。
Qwen 系列在 Ollama 里的默认模板经过对齐,会强制区分:
模型收到格式清晰的输入,自然更容易遵守流程。
vLLM 呢? 如果你不手动指定 --chat-template,它会把所有文本无脑拼接成一大段——模型分不清哪部分是硬性规则、哪部分是步骤清单,直接把 10 条步骤当成"参考信息",跳过去直接给最终答案。
这是 vLLM 跳步骤的头号元凶,占了问题成因的 60% 以上。
| 参数 | Ollama 默认 | vLLM 默认 |
|---|---|---|
| temperature | 0.3 ~ 0.7(保守) | 1.0(发散) |
| top_p | 0.8 | 0.95 |
| repeat_penalty | 默认开启,动态调节 | 1.0(关闭) |
低温度 = 少脑洞、少自由发挥,优先忠实执行指令。对"严格按 10 步走"的 Agent 任务,这正是需要的。
vLLM 的默认参数面向创意写作和自由对话——温度拉满,模型喜欢"优化流程、省略步骤、直接给最终答案"。
Ollama 默认单请求串行处理。Agent 一轮一轮发请求时,上下文状态传递稳定,不会被并发请求打乱中间状态。
vLLM 的核心优势是 PagedAttention + 连续批处理——多个请求共享 KV 缓存池。当显存紧张时,早期步骤的 KV 页可能被回收,模型"忘了前面算过的东西",表现为思考变浅、丢失中间结果。
澄清一个常见误解:KV 缓存是按请求严格隔离的,不会跨会话"污染"。真正的风险是全局页式池在显存压力下激进回收早期页,而不是 A 会话的内容混进 B 会话。
Ollama 自带 tool call 解析——模型输出工具调用 JSON 时,Ollama 会校验格式、拦截提前自由文本输出,引导模型走工具分支。如果 JSON 格式错了,还会内置重试引导。
vLLM 没有这一层。模型输出的工具调用就是纯文本,JSON 格式错了直接抛给上层,Agent 框架收到畸形数据只能判定步骤失败。
Ollama 的流式返回(SSE)内部会做缓冲:
vLLM 吐出原始 token 流,来什么发什么。Agent 框架拿到半截标记可能误判"步骤已完成",直接切到下一步,流程错位。
| 保护层 | Ollama 做了什么 | vLLM 缺失的影响 |
|---|---|---|
| 消息历史校验 | 校验角色顺序,轻微瑕疵自动修复 | 上层拼接有小抖动就直接进模型,放大问题 |
| 截断策略 | 临近上限优先保 system/步骤规则 | 硬截断,可能在一句话中间切断 |
| 会话状态保留 | 超时/断连后可续跑 | HTTP 无状态,断连本轮上下文直接丢失 |
| 加载自检 | 自检 tokenizer/模板合法性 | 配置错误静默不告警,排查困难 |
| 序号 | 对比维度 | Ollama | vLLM(默认) | vLLM(调优后) |
|---|---|---|---|---|
| 1 | Chat Template | 内置 Qwen 对齐模板 | 需手动 --chat-template | 手动指定后对齐 |
| 2 | 默认 temperature | 0.3~0.7,保守 | 1.0,发散 | 手动设为 0.4 |
| 3 | 请求调度 | 串行单请求,无批抢占 | 连续批 + PagedAttention | 同左(高吞吐优势) |
| 4 | Stop Tokens | 自动带入 eos + 工具标记 | 需手动传入 | 手动传入后对齐 |
| 5 | 工具调用解析 | 自带 tool call 解析 + 重试 | 无校验、无重试 | 需上层代码补齐 |
| 6 | 消息历史校验 | 校验角色顺序,自动修复 | 原样接收,不校验 | 需上层代码补齐 |
| 7 | 流式 token 处理 | 缓冲合并碎片,抑制半截标记 | 裸流原样输出 | 需上层代码补齐 |
| 8 | 截断策略 | 优先保 system/步骤规则 | 硬截断,无优先级 | 需上层代码补齐 |
| 9 | KV 缓存回收 | 会话绑定,回收保守 | 全局页式池,激进回收 | 调低 gpu_memory_utilization 缓解 |
| 10 | 超时断连会话 | 历史持久保留,可续跑 | HTTP 无状态,断连丢失 | 需上层代码补齐 |
| 11 | 重复惩罚 | 默认开启,动态调节 | 默认关闭(1.0) | 手动设 repeat_penalty |
| 12 | 加载自检 | 自检 tokenizer/模板/特殊 token | 加载完直接上线 | 无,需人工验证 |
| 13 | 隐性任务引导 | Modelfile 附带"不要提前总结" | 纯原生模型偏好 | 通过 system prompt 补偿 |
| 14 | 吞吐量 | 较低(串行) | 高(连续批 + PagedAttention) | 同左 |
| 15 | 模型权重 | 与 vLLM 完全一致 | 与 Ollama 完全一致 | 同左 |
关键结论:
单套 vLLM 服务,通过请求级参数路由分流两类任务:
vLLM 的采样参数是请求级生效,不是服务全局锁定。两类任务共用同一个模型实例、同一份 chat-template,差异只在请求参数和附加 system prompt。
flowchart TB
A["框架收到 Skill 请求"] --> B{"判断 Skill 类型"}
B -->|"报表/多步骤 Agent"| C["链路 A:Agent 保守模式"]
B -->|"RAG/翻译/改写/检索"| D["链路 B:高吞吐模式"]
subgraph agent["链路 A — Agent 保守模式"]
direction TB
C --> C1["temperature: 0.4 / top_p: 0.75"]
C1 --> C2["repeat_penalty: 1.05"]
C2 --> C3["追加步骤强约束 system prompt"]
C3 --> C4["max_tokens: 4096"]
end
subgraph rag["链路 B — 高吞吐模式"]
direction TB
D --> D1["temperature: 0.7 / top_p: 0.9"]
D1 --> D2["repeat_penalty: 1.0(关闭)"]
D2 --> D3["无步骤约束"]
D3 --> D4["max_tokens: 2048"]
end
C4 --> E["统一发往同一 vLLM 实例"]
D4 --> E
style agent fill:#e8f5e9
style rag fill:#fff3e0
链路 A:报表 Skill 多步骤 Agent(对齐 Ollama)
json{
"temperature": 0.4,
"top_p": 0.75,
"repeat_penalty": 1.05,
"max_tokens": 4096,
"stop": ["
**链路 B:知识库导入/检索/翻译/查询改写(高吞吐)**
```json
{
"temperature": 0.7,
"top_p": 0.9,
"repeat_penalty": 1.0,
"max_tokens": 2048,
"stop": ["<|endoftext|>"]
}
翻译场景 temperature 取 0.2(忠实度优先),不走 0.7 档。
| 维度 | 方案 1:单 vLLM + 路由(推荐) | 方案 2:双 vLLM 隔离 |
|---|---|---|
| 架构 | 一个 vLLM 实例,按 Skill 类型路由参数 | 两个 vLLM 实例,Agent 专用 + RAG 专用 |
| 显存占用 | 一份模型权重 | 两份模型权重,显存翻倍 |
| 运维复杂度 | 低,单进程 | 高,双进程 + 端口管理 |
| KV 隔离 | 共享池,存在抢占风险 | 完全隔离,互不干扰 |
| 96G 可行性 | 可行 | 两份 27B 不可行;大小模型混合可以 |
| 稳定性 | 需限流 + 错峰缓解 | 最接近 Ollama 体验 |
flowchart TB
subgraph openclaw["上层路由层"]
direction TB
R1["报表 Skill"] -->|"Agent 保守参数"| Router["请求路由器"]
R2["RAG/翻译/改写"] -->|"高吞吐参数"| Router
end
Router --> VLLM
subgraph vllm_instance["vLLM 单实例(统一模型 + 统一模板)"]
direction TB
VLLM["Qwen3.8-27B FP8"]
VLLM --> KV["全局 KV 缓存池"]
end
KV -.->|"显存紧张时早期页可能被回收"| Warning["报表 Agent 步骤记忆丢失风险"]
subgraph mitigation["缓解措施"]
direction TB
M1["gpu_memory_utilization <= 0.80"]
M2["报表 Agent 并发限制 = 1"]
M3["大批量 RAG 导入错峰执行"]
M4["max-model-len 预留足够 KV 空间"]
end
style openclaw fill:#e3f2fd
style vllm_instance fill:#fff3e0
style mitigation fill:#fce4ec
最大隐患:两类请求混在同一个 vLLM 批调度队列,RAG 大量短请求会抢占批槽,挤压报表 Agent 长会话的 KV 页。
缓解措施(按优先级):
--gpu-memory-utilization 不超过 0.80,预留 KV 缓冲空间--max-model-len 给报表会话预留足够 KV 空间以下能力 vLLM 引擎无法原生提供,必须在上层框架代码中实现:
| 序号 | 保护层 | 实现要点 |
|---|---|---|
| 1 | 消息历史校验 | 校验 messages 角色顺序,过滤畸形历史,自动修复轻微结构问题 |
| 2 | 流式 token 缓冲 | 识别半截"步骤完成"标记,等完整标记再触发步骤跳转 |
| 3 | 工具调用容错 | Tool Call JSON 格式校验,解析失败时自动补发重试提示词 |
| 4 | 输出截断兜底 | 接近 max_tokens 时引导输出步骤结束标记 |
| 5 | 会话上下文持久化 | 超时/断连后保留会话历史,支持续跑 |
参数只是基础对齐;报表链路的稳定性保护层,是上层框架要新增的一层中间处理逻辑。 不补这一层,即使参数全部和 Ollama 一致,遇到流碎片、畸形工具输出依然会跳步骤。
flowchart TB
Start["选择推理引擎"] --> Q1{"任务类型?"}
Q1 -->|"纯 Agent 多步骤<br/>报表/规划/工具调用"| A["优先 Ollama"]
Q1 -->|"纯 RAG 高吞吐<br/>导入/检索/翻译/改写"| B["优先 vLLM"]
Q1 -->|"混合负载<br/>Agent + RAG 共存"| C["vLLM + 请求级路由"]
A --> A1["开箱即用,调试成本最低"]
B --> B1["裸参数即可,吞吐拉满"]
C --> C1["统一模板 + 分流采样参数"]
C1 --> C2["上层框架补齐保护层逻辑"]
C2 --> C3["限流隔离 + 错峰调度"]
style A fill:#e8f5e9
style B fill:#fff3e0
style C fill:#e3f2fd
| 场景 | 推荐引擎 | 理由 |
|---|---|---|
| 调试 Skill、编排复杂多步骤报表 | Ollama | 开箱即听话,调试成本最低 |
| 稳定上线、多并发报表 | vLLM(调优后) | 吞吐远高于 Ollama,调优后能力对齐 |
| 知识库批量导入、检索、翻译 | vLLM(裸参数) | 充分发挥 PagedAttention 优势 |
| 混合负载(报表 + RAG) | vLLM + 路由 | 单实例省显存,需限流隔离 |
| 裸默认 vLLM 对接 Agent 工作流 | 不推荐 | 就是跳步骤、思考弱的根源 |
误区:vLLM 推理更快 = 理解更强;Ollama 慢一点 = 推理更强。
事实:速度是调度层的特性,和模型推理能力、指令遵循是两套东西。vLLM 只是 token 吐得快,但采样发散、格式错乱时,越快越容易提前输出错误结果,看上去就是"思考很浅"。
回到开头的问题:同一个模型,为什么 Ollama 和 vLLM 表现差这么多?
答案很简单——Ollama 不是一个"裸引擎",它是一整套面向 Agent 工作流的运行时保护层。vLLM 是一个极致性能导向的推理引擎,它把所有"让模型表现得稳定可靠"的工作都交给了上层。
所以:
记住:模型没变,变的是它周围的"秘书团队"。
本文作者:Jarvis
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!