在一把 key 上搭跨后端降级链：什么时候该把同一提示词换个模型重试

为什么需要降级链

调用单个模型时，失败通常只有重试一个选项。但当你通过一个 API key 可以访问多个模型后端时，就多了一条路径：如果某个模型响应异常，可以换一个模型再试同一段提示词。这能提升请求的最终成功率，但并非所有失败都适合切换模型——有些情况下切换反而更糟。

先分清失败的类型

设计降级规则的第一步是识别错误来源。可以粗略分为以下几类：

• 网络或网关层错误：连接超时、DNS 失败、TLS 握手失败。这些错误与模型本身无关，切换模型通常没有帮助，应该先重试同一后端。
• 服务端错误（5xx）：聚合站或上游模型返回 500、502、503 等。可能是瞬时故障，也可能是某个模型后端宕机。短时间重试同一模型无效后，可以考虑切换到其他模型。
• 限流错误（429）：触发了速率限制。此时切换到同一 key 下的其他模型可能绕过该模型的限流，但需要先确认聚合站的限流是按模型还是按账号计算。
• 客户端错误（4xx）：如 400 参数错误、401 鉴权失败、403 权限不足。这类错误与模型无关，切换模型无法解决，应该直接修正请求。
• 内容过滤或安全拦截：上游模型拒绝生成内容。切换模型可能得到不同结果，但也可能触发同样的过滤。需要谨慎处理。
• 超时或过慢：请求在可接受时间内没有返回。切换模型可能更快，但也可能只是偶发延迟。

什么时候该切换模型

以下场景适合将同一提示词发往另一个模型：

1. 5xx 错误且重试同一模型无效：例如连续两次 503，说明该模型后端可能不可用，切换到备用模型是合理选择。
2. 持续 429 限流：如果确认限流是按模型维度，切换到其他模型可以分摊负载。但要注意，如果限流是按账号维度，切换模型并不能解决问题。
3. 超时且业务对延迟敏感：例如交互式应用，用户等待超过一定时间就切换。但阈值应该基于实测，不能随意设定。
4. 模型能力不匹配：例如需要长上下文而当前模型上下文窗口不足，或需要特定能力（如图像理解）而当前模型不支持。这种属于主动选择，而非失败降级。

什么时候切换反而更糟

以下情况不适合切换模型：

• 参数错误或鉴权失败：4xx 错误大多与模型无关，切换模型只会浪费一次调用。
• 内容过滤拦截：如果提示词本身触发安全策略，换模型大概率仍然被拦截，且可能把敏感内容发送给更多后端，增加风险。
• 流式输出已开始后中断：如果用户已经收到部分内容，切换模型会导致重复或矛盾输出。此时应该终止并提示重试，而不是静默切换。
• 成本敏感场景下的无差别降级：切换到价格更低的模型可能降低输出质量，如果业务对质量敏感，应谨慎。聚合站的计费规则是用户按官方价 ×1.3 扣费，切换模型不会改变计费倍率，但不同模型本身的官方价差异仍然存在。
• 状态依赖的对话：如果对话依赖之前的上下文，切换模型可能丢失状态或行为不一致，需要谨慎。

实现降级链的实践要点

定义优先级列表

为每个任务维护一个模型优先级列表，而不是在失败时随机切换。例如：主模型 → 同系列低成本模型 → 其他可用模型。列表不宜过长，两到三个备选即可。

设置切换条件与重试上限

为每个错误类型定义动作：

• 网络错误或 5xx：同一模型重试 1 次，仍失败则切换到下一个模型。
• 429：直接切换到下一个模型，或在等待后重试。
• 4xx：不重试，不切换，返回错误。
• 超时：根据业务容忍度决定是否切换。

总重试次数应设上限，避免无限循环。

记录降级原因

在日志中记录每次切换的模型和错误类型，便于分析哪些模型更稳定，以及降级是否带来收益。

注意计费与贡献者规则

聚合站用户按官方价 ×1.3 扣费，贡献 key 按官方价 ×1.1（优质 ×1.2）返 USDC。切换模型不会改变这个倍率，但不同模型的官方价不同，最终费用仍会变化。设计降级链时，如果成本敏感，可以将低成本模型放在备选列表前列，但不要为了省钱牺牲必要质量。

一个简单的规则示例

以下伪代码展示核心逻辑：

models = ["model-a", "model-b", "model-c"]
for model in models:
    try:
        response = call(model, prompt, timeout=30)
        if response.is_content_filtered:
            break  # 内容过滤不切换
        return response
    except RateLimitError:
        continue  # 切换下一个模型
    except ServerError:
        if retried_same_model(model):
            continue
        else:
            retry(model)
    except ClientError:
        break  # 不重试不切换

实际实现中需要根据聚合站返回的错误码细化判断，并确保流式输出中断后的处理。

总结

在一把 key 上构建降级链，核心是区分错误类型，而不是对所有失败都切换模型。5xx 和 429 是切换的合理信号，4xx 和内容过滤则不适合。切换时保持备选列表有序、重试有上限，并记录降级原因，才能让降级真正提升可用性，而不是增加成本和不确定性。