SuperAPI AI 工具集

openrouter-provider-ranking

通用与其它

查看项目

更新于 10-15 19:50

技能介绍

用途:针对单个 OpenRouter 模型 slug,在特定工作负载下对端点提供商排序、比较、基准测试、优先级排序或生成路由(provider.order、provider.only 等)。排序结果只对给定约束、权重、token 画像和可用遥测成立,不能称为全局最优。

主要能力:先应用硬约束再打分,不允许高 TPS 或低价掩盖不兼容;按真实 token 画像计算价格(含缓存读写、按请求费用、条件定价覆盖与缓存命中率);融合 OpenRouter 端点指标与自有遥测;输出合格排序表、请求 JSON 片段、被排除提供商及原因、覆盖与警告、缺失信号,以及最小验证方案。

使用方式:默认工具调用用 native-exacto(模型后缀 :exacto,不用 provider.sort 与 provider.order);仅在需要确定性顺序、自有遥测优于 Exacto 或需固定故障转移链时用 manual。取指标可用:python3 scripts/rank_providers.py --model <slug> --config assets/config.example.json --format markdown --output recommendation.md;离线分析用 --endpoints-file、--config、--observations、--previous-ranking。验证候选用:python3 scripts/probe_endpoints.py --model <slug> --providers <tags> --prompt-file real-prompt.txt --max-tokens 600 --runs 3 --min-tps 50 --max-ttft 6 --require-cache --require-max-tokens。API 密钥只从 OPENROUTER_API_KEY 或用户指定环境变量读取,不得写入技能、配置、日志或输出 JSON。

适用场景:智能体与 B2B SaaS(agentic-balanced)、质量优先(agentic-quality)、交互延迟、成本、批处理等画像;多轮工作负载需传稳定 session_id。

限制:不得编造 Exacto、基准、缓存或工具成功率指标,缺失时用保守先验与不确定性惩罚并明确说明;目录字段是假设而非事实,排序在验证前只能称为假设;手动 provider.order 会禁用粘性路由且 session_id 无法恢复;比较行是端点×推理强度,改变强度对价格、延迟、质量的影响大于更换提供商;延迟单位为毫秒,p90 吞吐是快尾、p90 延迟是慢尾,应按 p50 排序;小样本用 Wilson 下界;退出码 4 表示无端点通过,不得静默放宽约束。验证脚本不测量精确吞吐,也不认证适用性。