用聚合站的视觉模型批量给商品图打标签

为什么需要批量打标签

电商场景中，商品图往往有成千上万张。人工打标签效率低、一致性差。借助视觉语言模型（VLM）可以自动提取颜色、品类、风格、材质等结构化信息。但直接逐张调用 API 会遇到两个瓶颈：并发限制和成本累积。

聚合站提供了统一的 API key 调用多个模型（如 Claude、GPT 等），这简化了接入，但吞吐设计仍需自己把控。

流水线的核心组件

一条健壮的批量打标签流水线通常包含以下环节：

• 图片队列：存储待处理的图片 URL 或本地路径，支持断点续传。
• 任务调度器：控制同时发出的请求数量，避免触发速率限制。
• API 客户端：封装对聚合站视觉模型的调用，处理鉴权、超时和重试。
• 结果解析与存储：将模型返回的 JSON 或文本解析为结构化标签，写入数据库或文件。
• 监控与日志：记录成功/失败数量、耗时、错误类型，便于估算成本和排查问题。

并发控制策略

聚合站通常对每个账号或每个模型有速率限制。盲目并发会导致 429 错误，反而降低吞吐。

• 固定窗口限流：设置一个最大并发数（如 5～10），根据实际响应调整。
• 自适应并发：初始并发设低，若连续成功则逐步增加；遇到 429 则减半并等待。
• 指数退避重试：对可重试错误（超时、5xx、429）采用 1s、2s、4s 的退避策略。
• 队列缓冲：使用消息队列（如 Redis、RabbitMQ）解耦生产与消费，避免内存暴涨。

示例伪代码：

import asyncio
import aiohttp

sem = asyncio.Semaphore(5)  # 最大并发 5

async def tag_image(session, image_url):
    async with sem:
        for attempt in range(3):
            try:
                async with session.post(
                    "https://api.example.com/v1/chat/completions",
                    json={
                        "model": "vision-model",
                        "messages": [{"role": "user", "content": [
                            {"type": "text", "text": "提取商品图的颜色、品类、风格，用JSON返回"},
                            {"type": "image_url", "image_url": {"url": image_url}}
                        ]}]
                    },
                    headers={"Authorization": "Bearer YOUR_KEY"}
                ) as resp:
                    if resp.status == 200:
                        return await resp.json()
                    elif resp.status == 429:
                        await asyncio.sleep(2 ** attempt)
                    else:
                        resp.raise_for_status()
            except Exception as e:
                if attempt == 2:
                    raise
                await asyncio.sleep(2 ** attempt)

单图成本估算

聚合站按官方价 ×1.3 扣费（用户侧）。要估算总成本，需要知道：

• 每张图的 token 消耗：包括图片编码后的 token 和提示词 token。不同模型对图片的 token 计算方式不同，通常与分辨率相关。
• 模型单价：聚合站会展示各模型的官方价格，乘以 1.3 即为实际扣费。
• 输出 token 数：要求模型返回 JSON 时，输出长度可控。

估算公式：

单图成本 = (输入token × 输入单价 + 输出token × 输出单价) × 1.3

批量处理前，建议先用 10～20 张图做小规模测试，记录平均 token 消耗，再乘以总图片数得到预算。

结果解析与容错

视觉模型返回的文本可能包含多余说明，需要稳健的解析：

• 要求模型“仅返回 JSON”，并给出 schema 示例。
• 使用 JSON 解析器提取，失败时重试或降级为人工审核。
• 对空结果、格式错误、超时分别记录，便于后续补跑。

贡献 key 的视角

如果你将自己的 API key 贡献给聚合站，可按官方价 ×1.1（优质 key ×1.2）获得 USDC 返利。这意味着批量任务也可以选择使用贡献的 key 池，但需注意：

• 贡献 key 的可用性和速率取决于贡献者，稳定性可能波动。
• 返利以 USDC 结算，适合有长期批量需求的团队。

实践建议

• 先小后大：用小批量验证提示词和解析逻辑，再全量运行。
• 幂等设计：每张图有唯一 ID，处理成功后标记，避免重复扣费。
• 监控成本：实时累计 token 消耗，设置预算告警。
• 利用多模型：对简单图片用便宜模型，复杂图片用强模型，在聚合站内切换只需改 model 参数。

通过以上设计，你可以用聚合站稳定、低成本地完成海量商品图的自动打标签。