同一个 key 配备用模型：某个模型宕机或限流时自动降级

为什么需要降级

在生产环境中，调用 LLM API 可能因为各种原因失败：

• 限流：返回 HTTP 429，表示请求频率或并发数超出限制。
• 服务端错误：返回 HTTP 5xx，表示模型服务临时不可用。
• 网络超时：连接超时或响应超时。

如果只依赖单一模型，这些故障会直接影响用户体验。通过配置备用模型并实现自动降级，可以在主模型不可用时快速切换到其他可用模型，提高整体可用性。

多模型聚合的优势

聚合 API 服务允许你使用同一个 API key 调用多个模型，例如 Claude、GPT、DeepSeek、Qwen、GLM、Kimi 等。这意味着你不需要为每个模型单独申请和管理密钥，也不需要分别处理不同的认证和计费。

当主模型出现限流或故障时，你可以用同一个 key 立即调用备用模型，而无需切换客户端配置或重新认证。

降级策略设计

一个简单的降级策略可以按以下逻辑执行：

1. 定义模型优先级列表，例如：["claude-3-sonnet", "qwen-max", "glm-4"]。
2. 按顺序尝试调用第一个模型。
3. 如果捕获到可重试的错误（如 429 或 5xx），则切换到下一个模型重新发送相同的请求。
4. 如果所有模型都失败，则返回错误或使用默认回复。

你可以根据业务需求调整优先级，例如将成本较低的模型放在前面，或者将响应速度更快的模型作为首选。

封装 OpenAI 兼容接口的代码示例

以下 Python 示例使用 openai 库，假设聚合服务的 Base URL 兼容 OpenAI 接口。代码实现了带降级的请求封装。

import openai

# 配置聚合服务的 API key 和 Base URL
client = openai.OpenAI(
    api_key="your-api-key",
    base_url="https://api.example.com/v1"  # 替换为实际的聚合服务地址
)

# 定义模型优先级列表
MODEL_FALLBACKS = ["claude-3-sonnet", "qwen-max", "glm-4"]

def chat_with_fallback(messages, max_retries_per_model=1):
    """
    尝试按顺序调用模型，遇到 429 或 5xx 错误时降级到下一个模型。
    """
    last_error = None
    for model in MODEL_FALLBACKS:
        for attempt in range(max_retries_per_model + 1):
            try:
                response = client.chat.completions.create(
                    model=model,
                    messages=messages,
                    timeout=30  # 设置超时，避免长时间等待
                )
                return response.choices[0].message.content
            except openai.APIStatusError as e:
                # 429 限流或 5xx 服务端错误时重试或降级
                if e.status_code == 429 or e.status_code >= 500:
                    last_error = e
                    if attempt < max_retries_per_model:
                        continue  # 同一模型重试
                    else:
                        break  # 切换到下一个模型
                else:
                    raise  # 其他错误直接抛出
            except openai.APITimeoutError as e:
                last_error = e
                if attempt < max_retries_per_model:
                    continue
                else:
                    break
    # 所有模型都失败
    raise RuntimeError(f"所有模型均调用失败，最后错误: {last_error}")

# 使用示例
if __name__ == "__main__":
    messages = [{"role": "user", "content": "你好，请介绍一下你自己。"}]
    try:
        reply = chat_with_fallback(messages)
        print(reply)
    except Exception as e:
        print(f"请求失败: {e}")

代码说明

• 模型列表：按优先级排列，主模型在前，备用模型在后。
• 重试逻辑：每个模型可配置重试次数（这里为 1 次），避免因瞬时抖动直接降级。
• 错误处理：仅对 429 和 5xx 错误进行降级，其他错误（如 401 认证失败）直接抛出，便于排查。
• 超时设置：为每次请求设置超时，防止长时间阻塞。

注意事项

• 提示词兼容性：不同模型对提示词的格式和内容可能有不同偏好，降级后效果可能略有差异。建议在业务层面做适当适配。
• 计费：聚合服务按官方价乘以系数扣费，使用前请了解具体计费规则。
• 模型可用性：备用模型也可能出现限流，因此建议配置多个备用模型，并考虑使用指数退避重试。
• 监控与日志：记录降级事件和最终使用的模型，便于分析稳定性和成本。

通过这种简单的降级机制，你可以用同一个 API key 在多个模型之间灵活切换，提升服务的鲁棒性。