SuperAPI AI 工具集

SDKProof

SDKProof 是一个用 TypeScript 编译器(tsc)而非 LLM 评判来检验 AI 编码模型能否正确写出 SDK 当前 API 的工具。它通过让模型完成真实编码任务,再把答案放进装有真实 npm 包的项目中编译,只有编译通过才算得分。此外,它还能读取 npm 上两个已发布版本的类型声明并做差异对比,无需安装包或调用模型。

访问官网

工具介绍

SDKProof 关注一个具体问题:AI 编码代理在写某个 SDK 的当前 API 时,到底写得对不对。它的判断标准不是让另一个大模型来打分,而是交给 TypeScript 编译器(tsc)决定——答案能编译通过才算通过。

用途 它用来衡量模型对某个库当前版本 API 的记忆是否过时。分数低并不代表库本身不好,而是说明模型对该库最新版本的记忆可能已经落后。例如 TanStack Query v5 在 2023 年发布,模型见过多年,得分 100;而 Table v9 较新,得分 0。这个差距通常在大版本发布后最大,随着模型重新训练而缩小,下一次大版本发布时又会重新拉开。

主要能力

  1. 类型声明差异对比:读取 npm 上两个已发布版本的类型声明并做 diff,不安装任何包,也不调用模型。
  2. 编译评分:通过 npx sdkproof <package> 给模型真实的编码任务,把每个答案放进装有真实包的项目中,再经过 tsc --noEmit 编译。通过意味着编译成功,失败则给出编译器自身的错误,例如导出已不存在、参数错误、选项被移除等。
  3. 任务设计:每个任务只给出要写的函数名,不提供选项名、不提供文档,一次尝试、不重试。
  4. 结果展示:可以按库查看模型收到的任务、哪些答案编译通过、未通过的编译器错误。

使用方式 运行 npx sdkproof <package> 即可对 npm 上任何带类型的包执行整套流程。源码开放,编译器始终是最终裁判。

适用场景 适合库作者或维护者了解 AI 编码代理对自己 SDK 当前 API 的掌握程度,也适合观察不同模型在特定库上的表现变化。

限制 资料明确说明数字样本较小、设置范围较窄,这是有意为之。分数衡量的是模型,而不是库的质量。资料未提供更多关于平台、收费、价格或具体使用步骤的细节。