LLM API 对请求的 前缀（prefix） 做自动缓存。两次请求的 prompt 开头部分完全相同时，相同部分的 token 不再重新计算，只付缓存价（通常低 100 倍以上）。

2 详细回答

2.1 命中条件

1. 必须是前缀：缓存只认从 prompt 第 1 个 token 开始的连续相同段
2. 完全匹配：字符级一模一样才命中，多一个空格就失效
3. 至少 N 个 token：大部分模型要求缓存段 ≥ 1024 token
4. TTL 内：缓存有效期通常 5-10 分钟，超时重新计算

2.2 什么最容易命中

• System prompt / 系统指令：每轮对话都一样 → 必中
• 多轮对话（重点）：同一对话框里持续聊天，每轮请求都会把"全部历史"重发给 API。历史部分和上一轮请求完全相同 → 前缀越来越大，缓存命中越来越多
• 反复引用的长文档/代码：同一个文件的 content 放前面
• AGENTS.md：每次都是 system prompt 开头 → 必中

2.2.1 多轮对话为什么自动命中

关键认知：每次发消息，API 收到的是"全部聊天记录 + 你的新消息"，不是只发新的一句。

所以同一个框连聊 20 轮，从第 2 轮起前面绝大部分都是缓存价，真正按输入价算的只有最新一句。

2.3 为什么便宜百倍

Transformer 推理最贵的步骤是 self-attention 的 KV 矩阵计算。如果 prefix 相同，上一轮算好的 KV cache 直接复用，跳过计算，只剩后面新增 token 的增量计算。服务商 GPU 成本大头被消除，所以定价极低。

2.4 实际影响

• 第一次请求：按输入价全额计费
• 后续请求（前缀相同）：前缀部分按缓存价，新增部分按输入价
• AGENTS.md / 项目 context 只有第一次会话贵，之后近乎免费

3 知识扩展

不同模型的缓存定价差异很大：

• DeepSeek V4 Pro：缓存 ¥0.02 → 是输入价的 1/147
• Qwen3.7 Plus：缓存 ¥0.27 → 是输入价的 1/10
• 缓存折扣越大，说明该模型在长对话/大 context 场景越划算

文本模型只认识 token（词元）。多模态模型在语言模型外面加了一个视觉编码器（Vision Encoder），把图像切块（patch）变成"视觉 token"，再投影到和文字 token 相同的向量空间，喂进同一个 Transformer。所以图像对它来说也是一串"符号"，只是这个符号来自像素而不是文字。

2 详细回答

2.1 文本模型怎么读文字（基线）

1

"你好" → 分词器 → [token1, token2] → 嵌入表查表 → 向量 → Transformer

文字本来就有天然的分词方法（中文按字/词，英文按子词），每个 token 对应嵌入表里的一行向量。

2.2 多模态模型怎么读图像

1
2

1024x1024 图片 → 视觉编码器(ViT/CLIP) → 切成 16x16 的 patch → 每个 patch 一个"视觉 token"
→ 线性投影层（Projection Layer）→ 和文字 token 同一向量空间 → 同一个 Transformer

关键点：

1. 图像不是"直接看懂"，而是被转换成视觉 token 序列。一张 1024x1024 的图 ≈ 256~576 个视觉 token
2. 视觉编码器和 LLM 是两个网络，中间靠一层投影矩阵对齐
3. Transformer 对 token 一视同仁——不管是文字 token 还是视觉 token，都走 attention

2.3 和训练方式的区别（多模态要分阶段训）

所以多模态不是"文本模型加了读图功能"，而是从一开始就用图文数据训练，训练数据和计算量都大得多。

2.4 视频怎么读

视频 = 连续帧。处理方式：

1. 抽帧（通常 1~2 fps，即每秒抽 1-2 帧）
2. 每帧走视觉编码器变成视觉 token
3. 按时间顺序拼成超长 token 序列喂给模型
4. 部分模型（如 Gemini、Qwen2.5-VL）还有音频编码器，把声音轨也变成 token 一起处理

这就是为什么视频贵：1 分钟视频 = 60 帧 × 每帧 2561100 token ≈ 1.5万6.6万 token。

2.5 PDF 怎么读

PDF 本身不算独立模态：

• 有文字层的 PDF → 直接抽文字（像文本一样）
• 扫描件/图文混排 → 每页渲染成图像，走视觉编码器读
• 大多数模型实际是"按页转图再读"

3 知识扩展

• 判断一个模型是否多模态，看它有没有视觉编码器，而不是看名字
• 同一模型的多模态版本（如 GPT-4o vs 纯文本 GPT-4）架构差别主要在编码器部分，LLM 主干基本共享
• DeepSeek V4 Flash 是文本模型，所以视频/图片对它 = 不可读；要用多模态功能得换支持视觉的模型