SuperAPI AI 工具集

adapt

通用与其它

查看项目

更新于 10-16 05:00

技能介绍

用途:为尚不支持的平台新增内容提取支持,产出一个可接入现有提取流水线的适配器。

主要能力与流程:

  1. 侦察:判断平台识别方式(URL 模式、HTTP 头、HTML 标记、DNS),加入 src/lib/extraction/detect-platform.ts;发现页面(sitemap、导航爬取、平台 API、结构化数据);提取内容(API 优先,其次 HTML 解析,JS 渲染用 launchBrowser())。复杂平台可用 liberate_map_apis 通过 CDP 端口 9222 逆向 API,或用 liberate_probe 检查页面全局变量。
  2. 构建适配器:目录 src/adapters/<platform>/,index.ts 为薄装配层,逻辑放同级文件(types.ts、discover.ts、extract.ts、content.ts、media.ts、products.ts,可选 capture.ts、blocks.ts)。实现 PlatformAdapter 的 id、detect、discover、extract,可选 probe、capture、blocks。extractPage 负责抓取并返回 ExtractedPage,可复用 shared.ts 的 extractMeta、extractTitle、extractHeading、extractNavLinks 等。电商平台可提供自定义 extractProduct,返回 WooProduct,支持变体与 CSV 流式输出。
  3. 注册:在 src/mcp-server.ts 与 src/ui/discover.tsx 中按字母序加入适配器,可选 src/ui/inspect.tsx。
  4. 测试:在 test/fixtures/ 建样本,在 test/adapters/<platform>.test.ts 测试检测、提取、媒体、质量评分与商品;用 npx tsx src/cli.ts <site-url> --dry-run --verbose 手动验证。
  5. 文档:更新 README.md、DISCOVERIES.md,必要时更新 AGENTS.md。

适用场景:需要从新平台迁移或提取站点内容时。限制:需用户提供真实站点 URL;平台 API 可能变化,需记录版本与日期;具体收费、价格与效果资料暂未提供。