SuperAPI AI 工具集

structured-extraction

前端与建站

查看项目

更新于 10-15 21:42

技能介绍

用途:当需要抓取的数据必须严格匹配某个 JSON schema 时使用此技能。

主要能力:可处理简单单字段查询、单一实体多字段研究、schema 中的数组列表以及整站条目抓取;支持复杂嵌套 schema、数组、分页和结果校验,并通过 formatOutput 统一输出结构化数据。

使用方式:按任务类型选择策略。简单查询先搜索相关结果,再用针对性 query 抓取并构建结果后立即调用 formatOutput。单一目标研究先搜索 URL,再抓取数据,来源较少时留在 orchestrator 内处理,约 5 个以上独立来源可用并行 worker。列表抓取先获取条目列表,若详情不全且条目较多(约 5 个以上)用 spawnAgents 分配,否则顺序抓取,汇总后调用 formatOutput。整站抓取先检查 sitemap.xml、robots.txt,抓取入口页并判断分页、分类、子分类;分页用 interact 逐页点击,分类逐个抓取,大量独立分类才用 spawnAgents 并行,最后汇总调用 formatOutput。

抓取建议:优先用带针对性 query 的 scrape,而非原始页面转储,以控制上下文。抓列表时必须在 query 中询问分页情况(如总结果数、是否有下一页)。对大量独立 URL(约 5 个以上)可用 spawnAgents。遇到 404 或机器人校验不要重试,转向其他来源。

输出与校验:必须严格匹配 schema,必填字段齐全;缺失字段用 null,不能省略键;数组即使单项也须为数组;数字须为实际数字(如 10.99 而非 "$10.99")。可用 bashExec 配合 jq 合并多来源数据:jq -s '.[0] * .[1]' /data/part1.json /data/part2.json > /data/merged.json。输出前检查必填字段、类型、数组去重以及 schema 含引用字段时是否包含来源 URL。

限制:收集完所有数据后必须调用 formatOutput,格式为 "json",不要以内联 markdown 表格或 JSON 代码块输出,也不要跳过 formatOutput,因为下游系统依赖该结构化输出。资料未提供具体收费、平台或价格信息。