SuperAPI AI 工具集

scrape-and-load

数据与分析

查看项目

更新于 10-16 08:45

技能介绍

用途:在 cap/ 目录下按顺序运行完整数据管道,将 Wookieepedia 的星球大战数据抓取、转换、载入 SQLite 并验证。

主要能力与步骤:

  1. 抓取数据:cd cap && npm run scrape。默认使用已提交的缓存(较快);若用户要求 --bypass-cache,必须先取得明确确认,再改用 npm run scrape:bypass-cache。
  2. 构建 CDS 产物:cd cap && npm run build。
  3. 将 fixture 数据载入 SQLite:cd cap && npm run load_sqlite。
  4. 运行迁移测试:cd cap && npm run test:migration,验证数据转换逻辑与报告生成。
  5. 运行完整测试套件:cd cap && npm test。

规则:任一步骤失败即停止,报告错误且不再继续;默认优先使用缓存,未经用户确认不得绕过缓存,因为实时抓取会访问 Wookieepedia 且明显更慢;最后汇总每步结果,包括抓取统计、构建状态、载入数量以及测试的通过/失败/跳过情况。

限制:资料未提供运行环境、依赖版本、具体数据量或耗时等信息。