Prompt Caching

缓存原理

稳定、重复的上下文，在受支持的上游模型和路径上可能被缓存，从而降低重复输入成本。

影响命中的因素

• 模型
• Provider
• 账号类型
• 请求路径
• 上下文稳定性

设计稳定前缀

在协议允许时，将可复用指令和大段共享上下文保持稳定，把频繁变化的用户内容放在后面。

不保证命中