SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场gap-analysis

gap-analysis

测试与质量

查看项目

更新于 10-16 05:29

技能介绍

用途

Gap Analysis 是 TanStack AI 的维护者审计工具，用于对照各提供商的上游文档，审计 TanStack AI 的提供商适配器，找出功能对等性缺口和过时的模型列表。它只输出一份 Markdown 报告，存放在 .agent/gap-analysis/ 目录下，不编辑任何源文件，由维护者根据报告自行应用更改。

主要能力

该工具围绕多个审计维度展开：

  • 新模型：检查各提供商是否有新增模型未被收录。
  • 跨适配器功能对等性：比较不同提供商适配器之间的功能覆盖差异。
  • 未跟踪功能：发现尚未被矩阵跟踪的功能。
  • 能力标志漂移：检查 model-meta.ts 中声明的能力是否与模型当前实际能力一致。
  • 遥测/可观测性对等性：包括用量 token、缓存/推理计数、请求 id、日志不对称等。
  • 活动覆盖：检查 7 种核心活动类型中，每个提供商实际提供了哪些适配器，与上游支持情况进行对比。

报告会将缺口分为三类：真实缺口（上游支持但 TanStack AI 未支持，且无排除注释）、已测试缺口（TanStack AI 未列出但 feature-support.ts 中有排除注释，例如 aimock 格式限制，归入“超出范围”部分）、过时能力标志（model-meta.ts 声明了模型已不具备的能力，或遗漏了现在具备的能力）。

使用方式

通过 /gap-analysis 命令触发，参数决定审计范围：

  • <provider>（如 openai）：审计单个提供商的所有维度。
  • feature <feature>（如 tts）：审计某一功能在所有提供商中的情况。
  • models：对所有提供商进行新模型差异检查。
  • activities：活动覆盖差异，仅维度 6，覆盖所有提供商。
  • --all：全量扫描，为每个提供商分派子代理（最多 3 个并行）。
  • 无参数：通过 AskUserQuestion 询问用户选择范围。

工作流程包括：解析范围；加载真值文件（如 testing/e2e/src/lib/feature-support.ts、testing/e2e/src/lib/types.ts、各适配器索引与 model-meta.ts、packages/ai/src/types.ts）；使用 WebFetch 访问 references/provider-doc-urls.md 中的上游文档 URL 进行研究，文档迁移时回退到 WebSearch，SDK API 细节使用 context7 MCP 服务器；按 references/audit-checklist.md 逐项审计；将报告写入 .agent/gap-analysis/YYYY-MM-DD-<scope>.md；最后打印报告路径和 5 行摘要。

适用场景

适用于 TanStack AI 的维护者，在需要定期检查各提供商适配器与上游文档之间是否存在功能缺口、模型列表是否过时、能力标志是否漂移时使用。也适用于针对单个提供商或单个功能进行定向审计。

限制

  • 这是维护者工具，不面向普通终端用户。
  • 绝不编辑 feature-support.ts 或任何 model-meta.ts，报告为只读。
  • 引用排除项时必须标注行号（如 feature-support.ts:57）。
  • 每条“上游支持 X”的结论必须链接所阅读的上游文档页面，不得基于训练数据。
  • 使用系统上下文中的当天日期，不得虚构。
  • 完成前需验证报告文件存在且非空，并运行 git status 确认只有 .agent/gap-analysis/ 下的新文件，packages/ 或 testing/ 下无修改。
  • 已知提供商包括 openai、anthropic、gemini、ollama、grok、groq、openrouter、bedrock（含 bedrock-converse、bedrock、bedrock-responses 三种 API 表面）、byteplus（含 ModelArk ARK_API_KEY 与 Seed Speech BYTEPLUS_VOICE_API_KEY 两个产品/密钥）、fal（仅媒体）、elevenlabs（仅 TTS）；功能矩阵跟踪 openai、anthropic、gemini、ollama、grok、groq、openrouter、bedrock、bedrock-converse、bedrock-responses 和 byteplus，fal 与 elevenlabs 仅出现在模型/媒体审计中。
  • 已知功能 19 项（以 ALL_FEATURES 为准）：chat、one-shot-text、reasoning、multi-turn、tool-calling、parallel-tool-calls、tool-approval、text-tool-text、structured-output、structured-output-stream、agentic-structured、multimodal-image、multimodal-structured、summarize、summarize-stream、image-gen、tts、transcription、video-gen。
  • 已知活动 7 项（以 AdapterKind 联合类型为准）：text、summarize、image、audio、video、tts、transcription。

关于收费、价格、平台支持等具体信息，资料中暂未提供。