缓存 token 也按 1.3 倍算吗?提示缓存值不值得用的盈亏平衡点
本文解释在本聚合站上提示缓存的计费逻辑:缓存 token 的单价按官方价乘以 1.3 后计入账单,贡献 key 的返利同样基于官方价乘以 1.1 或 1.2。文章给出缓存盈亏平衡点的概念性判断方法,并说明如何通过提高缓存命中率来最大化节省。
计费基础:加价规则与缓存无关
在本聚合站,所有 token 消耗——包括普通输入、输出和缓存相关的输入——都按以下规则计费:
- 使用 API 的用户:按模型官方价的 ×1.3 扣费。
- 贡献 key 的用户:按官方价的 ×1.1(优质 key 为 ×1.2)获得 USDC 返利。
加价倍率是一个固定的乘数,不会因为是缓存 token 而改变。换言之,如果官方对缓存输入定价为普通输入的某个折扣比例,那么在本站你实际支付的缓存输入价格就是“官方缓存价 × 1.3”。
缓存输入价如何叠加
提示缓存的本质是:将重复的前缀内容(如系统提示、长文档)存放在模型侧,后续请求命中缓存时,这部分输入按更低的单价计费。
在本站,你需要关注两层价格:
- 官方定价:模型厂商为缓存输入设定的单价,通常低于普通输入。
- 聚合站加价:在官方定价上统一乘以 1.3。
因此,缓存的实际单 token 成本 = 官方缓存单价 × 1.3。这个成本仍然低于“普通输入单价 × 1.3”,因为官方缓存单价本身就更低。
盈亏平衡点的概念
缓存是否划算,取决于你在一个缓存生命周期内重复使用同一前缀的次数。
假设:
- 普通输入单价为
P - 缓存输入单价为
cP(c是官方折扣系数,0 < c < 1) - 缓存写入可能产生额外费用(官方可能对缓存写入按普通输入价收费)
在不考虑写入成本时,只要发生一次缓存命中,你就能节省 (1 - c) × P 的输入费用。但缓存通常有最小存活时间,且写入可能收费。粗略地看:
- 如果缓存写入免费或已包含在普通输入中,第一次命中就开始省钱。
- 如果缓存写入按普通输入价收费,那么需要 至少两次命中 才能覆盖写入的额外成本(因为第一次命中只是把写入多付的钱省回来)。
实际盈亏平衡点取决于官方对缓存写入和读取的具体定价,以及你的请求模式。
在本站上如何判断“重复多少次才划算”
由于本站加价是线性的,判断逻辑与直接使用官方 API 一致,只是所有金额都乘以 1.3。你可以这样做:
- 查看官方文档:找到目标模型的缓存输入价和缓存写入价(如果有)。
- 计算单次请求的输入成本:
- 不用缓存:
普通输入 token 数 × 官方普通输入价 × 1.3 - 用缓存:
缓存命中 token 数 × 官方缓存输入价 × 1.3 + 缓存未命中 token 数 × 官方普通输入价 × 1.3 + 可能的写入成本
- 比较总成本:对同一前缀重复 N 次,累加两种方案的成本,找到 N 使得缓存方案更低。
一般来说:
- 前缀越长、重复次数越多,缓存收益越明显。
- 如果前缀很短或只调用一两次,缓存可能不划算,甚至因写入成本而更贵。
提高缓存命中率的实用建议
- 保持前缀稳定:系统提示、少样本示例、长文档放在请求最前面,且不要频繁修改。
- 避免在缓存前缀中插入变量:动态内容放到缓存前缀之后。
- 批量调用:在缓存有效期内集中发送使用同一前缀的请求。
- 监控用量:通过聚合站的用量面板观察缓存命中 token 占比,验证是否达到盈亏平衡。
贡献 key 时的返利计算
如果你贡献 key,返利按官方价 × 1.1(优质 × 1.2)以 USDC 结算。缓存 token 的返利同样基于官方价计算,因此你贡献的 key 被用于缓存请求时,返利逻辑不变。
小结
- 缓存 token 在本站按 官方缓存价 × 1.3 计费,加价规则统一适用。
- 盈亏平衡点取决于官方缓存写入/读取定价和你的重复次数;通常重复次数越多越划算。
- 优化前缀稳定性、批量调用是提高缓存收益的关键。
- 贡献 key 的返利基于官方价 × 1.1/×1.2,与缓存无关。