把中文提示词工作负载迁到聚合站的 Qwen 上：从别的后端切过来会变什么

迁移前需要了解的关键差异

将中文提示词工作负载从其他后端迁移到聚合站的 Qwen 模型时，虽然 API 调用方式大体兼容，但在 token 计数、system 提示词位置和 stop 序列处理上存在一些差异。提前了解这些差异，可以减少迁移过程中的调试成本。

Token 计数方式

Qwen 使用自己的 tokenizer，其中文 token 的切分方式与 GPT 系列、Claude 等模型不同。这意味着同样的中文文本，在 Qwen 上消耗的 token 数可能与其他模型有差异。

迁移建议：

• 不要直接沿用其他模型的 token 估算结果。建议使用 Qwen 官方的 tokenizer 或聚合站提供的 token 计数接口重新评估提示词和预期输出的 token 消耗。
• 关注长文本场景：中文长文档在 Qwen 上的 token 数可能偏高或偏低，需根据实际计数调整上下文长度限制和截断策略。
• 如果代码中硬编码了基于其他模型的 token 上限，迁移后应改为动态计算或使用 Qwen 的实际计数。

System 提示词的位置

不同模型对 system 提示词的支持方式不同。Qwen 模型通常支持 system 角色，但在某些后端中，system 提示词可能被合并到用户消息中，或者使用单独的字段传递。

迁移建议：

• 检查聚合站 Qwen 模型的 API 文档，确认 system 提示词应放在 messages 数组的 system 角色中，还是通过其他参数传递。
• 如果原后端将 system 提示词作为用户消息的一部分，迁移时应拆分为独立的 system 消息，以充分利用 Qwen 对 system 角色的支持。
• 注意多轮对话中 system 提示词的位置：通常应放在 messages 的开头，且只出现一次。

Stop 序列的差异

Stop 序列用于在生成特定字符串时提前终止输出。Qwen 对 stop 序列的支持与其他模型类似，但在具体行为上可能有细微差别：

• 最大数量限制：不同模型对 stop 序列的数量限制不同，迁移前需确认 Qwen 允许的最大 stop 序列个数。
• 编码方式：stop 序列是字符串，但 Qwen 的 tokenizer 可能对某些特殊字符或空格的处理方式不同，导致匹配行为有差异。建议在迁移后测试关键 stop 序列是否按预期生效。
• 空字符串处理：某些后端允许空字符串作为 stop 序列，但 Qwen 可能不支持或行为不同，应避免使用空 stop 序列。

迁移建议：

• 逐一测试现有的 stop 序列在 Qwen 上的表现，特别是包含中文标点或特殊符号的序列。
• 如果依赖 stop 序列来分割输出，考虑增加后处理逻辑作为兜底。

其他注意事项

• 模型名称：聚合站使用统一的 API key 调用多个模型，迁移时需将模型参数改为 Qwen 对应的模型标识符。
• 计费方式：聚合站按官方价 ×1.3 扣费，贡献 key 按官方价 ×1.1（优质 ×1.2）返 USDC。迁移后成本结构变化，建议根据实际 token 消耗重新评估预算。
• 无 KYC 与 USDC 充值：聚合站支持 Base 链上的 USDC 充值且无 KYC，适合需要快速上手的团队。

迁移检查清单

1. 使用 Qwen tokenizer 重新计算提示词和预期输出的 token 数。
2. 调整 system 提示词的位置，确保其作为独立的 system 消息传递。
3. 测试所有 stop 序列在 Qwen 上的有效性，必要时增加后处理。
4. 更新模型参数为 Qwen 的模型标识符。
5. 监控迁移后的 token 消耗和成本变化，及时调整。

通过以上步骤，团队可以更平滑地将中文提示词工作负载迁移到聚合站的 Qwen 模型，并充分利用聚合站的多模型统一接入优势。