带图提示词在一把 key 上分流：截图、照片、图表各该派给哪个视觉后端

为什么要按图片子类型分流

多模态模型对图像内容的"保留程度"差异很大：同一张图，有的后端能准确复述界面上的按钮文字和小字说明，有的后端只能给出整体语义；有的后端读得出图表里的数值与趋势，有的后端会把轴标签读错。把所有图片一股脑丢给同一个模型，通常意味着两类浪费——简单图花了贵模型的钱，复杂图又没拿到该有的细节。

聚合站的一个实际好处是：你手上是一把 API key，背后可以切多个视觉后端。这让"按图分流"变成配置问题，而不是再申请一套账号。

先定义三类图片的判断标准

分流的前提是能自动判断图片属于哪一类。实践上不必用模型，用轻量规则加一个兜底分类即可：

• UI 截图：宽高比接近屏幕（横屏或竖屏长图）、大面积纯色或灰白背景、存在大量水平/垂直边缘和短文本块。常见来源是 App 界面、后台管理页、报错弹窗。
• 照片：色彩分布连续、噪声与渐变多、边缘不规则、几乎无规整文本区域。包含实拍、商品图、人像、风景。
• 图表：背景干净、存在坐标轴、网格线、图例、成组的几何元素（柱、折线、散点、饼块），文本量中等且集中在标签位置。

实际落地时，先按上述特征做粗判，判不出来的交给一个便宜的文本/视觉模型做一次类别标注，把结果缓存下来，避免每次请求都重复分类。

UI 截图：优先看小字与结构还原

UI 截图的难点不是"看懂这是什么页面"，而是逐字还原：按钮文案、表单标签、错误码、表格表头、菜单层级。这类任务对模型的要求是：

• 能输出结构化的界面描述（区域 → 元素 → 文案），而不是一段概括。
• 对小字号、低对比度文本不漏读。
• 不臆造不存在的按钮。

分流建议：把截图类请求固定路由到在 OCR 与版面结构上更稳的后端，并在提示词里明确要求"只描述可见内容，逐字引用文案，不要补全"。如果同一张截图要做成可点击元素清单，先让它输出区域坐标或相对位置描述，再在应用侧映射。

照片：优先看语义理解与细节取舍

照片类请求通常是"这张图里有什么、在发生什么、适不适合用作封面"。这里对小字还原的要求低，对语义层次与常识推理的要求高：

• 主体识别、场景判断、物体关系。
• 风格、光线、构图的描述能力。
• 对模糊区域的"不确定"表达，而不是硬编一个答案。

分流建议：照片走通用视觉能力更均衡的后端，提示词里给出输出 schema（主体、场景、风格、可复用标签），并要求对不确定项标注低置信度。不要用为截图调优的提示词去跑照片，那类提示词往往强制逐字读文本，反而让模型在无文本区域产生幻觉。

图表：优先看数值与坐标读取

图表是最容易出错的一类。模型常见的失败模式是：把柱高读成整数、把图例顺序搞反、把对数轴当线性轴、把两条相近折线混为一条。

分流建议：

• 图表请求单独走一条路由，提示词要求模型先描述坐标轴与单位，再描述图例，最后才读数据。
• 明确要求"读不出的数值写不确定，不要估算"。
• 若图表本身是截图形式（常见于报表导出），它同时具备截图特性，应选兼顾版面结构与数值读取的后端。
• 对精度要求高的场景，让模型输出可复核的中间结果（轴范围、刻度间隔、每根柱的相对高度），再由应用侧做校验。

在聚合站上落地分流

同一把 key 调多个模型，分流逻辑放在你自己的网关或业务代码里最灵活：

1. 请求进入后先取图片元信息（尺寸、格式、来源），跑一次轻量分类。
2. 依据类别映射到模型名，模型名作为参数传给聚合 API。
3. 提示词模板按类别区分：截图用结构化逐字模板，照片用 schema 模板，图表用"轴 → 图例 → 数据"模板。
4. 记录每次调用的类别、模型、耗时与人工抽检结果，用于后续调整映射表。

计费上按官方价 ×1.3 扣费，所以分流的收益直接体现在"该用便宜后端的图不要走贵后端"。分类本身很便宜，但不要在每次请求里都做一遍多轮分类，缓存分类结果和提示词模板即可。

验证分流是否真的有效

分流不是配完就结束，需要一个小型回归集：

• 每类各准备若干张代表性图片，标注期望输出（截图给关键文案列表，照片给主体与场景，图表给关键数值）。
• 对每个后端跑同一批样本，比较"内容保留率"：截图看文案召回，照片看关键实体命中，图表看数值误差。
• 把结果固化成映射表：哪类图在哪个后端上表现更稳，就固定走那条路由。模型更新后重跑一次。

常见坑

• 用同一套提示词打所有图：截图提示词会让照片模型强行读字，图表提示词会让照片模型输出不存在的坐标轴。
• 把长截图直接缩放：缩放后小字丢失，先按区域切分再分别送入，往往比整图更准。
• 忽略图片方向：手机截图带 EXIF 旋转时会显著拉低读取质量，入库前统一纠正方向。
• 只测一张图就定路由：单张样本偶然性大，至少覆盖多分辨率与多来源。

分流的价值不在"找到最强的视觉模型"，而在于让每类图片遇到适合它的后端，同时把成本花在真正需要细节的地方。