SuperAPI AI 工具集

firecrawl-alexandria

数据与分析

查看项目

更新于 10-15 12:29

技能介绍

Alexandria 是 Firecrawl 中用于更直接获取结构化数据的能力,它把现成的网站工作流、API 提供商和专用索引整合进 Firecrawl 的搜索与抓取流程。

用途 Alexandria 的目标是减少用户自行浏览、解析和重复请求来拼装数据的工作。它通过语义发现,根据用户需要的数据来定位相应能力;通过域名匹配,把网页搜索结果与可能检索到更丰富结构化数据的工具关联起来。当普通网页结果足以回答问题时,使用普通网页结果;当某个提供商工具的覆盖范围和输入符合需求时,则使用该工具。

主要能力

  • 语义发现:按所需数据查找能力。
  • 域名匹配:将网页结果连接到可能提供更丰富结构化数据的工具。
  • 搜索:找到网页结果和相关工具。
  • 检查:只查看任务所需的接口契约。
  • 抓取:执行选定的工具或读取 URL。对于较大的保留结果,可使用其远程 Bash 指引来选择所需数据。

使用方式 先搜索以找到网页结果和相关工具,然后只检查任务所需的契约。接着抓取以执行选定的工具或读取 URL。对于大型保留结果,使用其远程 Bash 指引选择所需数据。

反馈机制 Alexandria 的覆盖范围会随智能体的反馈而增长。针对每个需要数据的网站,在最后一次 Alexandria 调用后发送一次 firecrawl alexandria feedback,无需 job ID。每次反馈退还 1 个积分,每个网站每天最多 10 积分,每个团队每个 UTC 日最多 100 积分。

反馈可描述以下结果:

  • 某个工具完全或部分满足了需求。
  • 某个工具运行了但返回错误或不完整数据,或失败。
  • 没有提供商覆盖该网站,或存在提供商但缺少所需能力,于是回退到网页搜索、抓取或 Agent。

退出机制:如果设置了 FIRECRAWL_NO_ENDPOINT_FEEDBACK=1(或 FIRECRAWL_DISABLE_ENDPOINT_FEEDBACK=1),CLI 会静默跳过调用,不发送任何内容。团队管理员也可在服务端禁用;此时 API 返回 feedbackErrorCode: "TEAM_OPTED_OUT",CLI 静默退出码 0。

调用前需知的规则

  • 时间窗口:必须在团队最近一次 Alexandria 搜索、发现或执行后的 20 分钟内发送。每次 Alexandria 调用都会重置窗口。迟到的反馈会被拒绝(feedbackErrorCode: "FEEDBACK_WINDOW_EXPIRED")。
  • --url 是用户需要数据的网站,不是提供商,也不是 Firecrawl 页面。--requested-functionality 是用一句话说明用户需要从该网站获得什么。这两个字段最重要,它们跨团队汇总,用于决定接下来添加哪些网站和工作流。
  • --objective 是本次会话背后的最终目标,用一句话说明你或用户最终想完成什么(例如 "Shortlist federal IT contracts to bid on this quarter")。它比 --requested-functionality 更宽泛,后者只覆盖这个网站。
  • --rationale 根据观察到的结果解释评分:哪个提供商或能力满足或未能满足需求,以及如何满足或失败。两到三句话,不要粘贴原始结果。
  • --provider-feedback 是一个 JSON 数组,元素为 {name, issue, why},用于缺失、薄弱或不可用的提供商。issue 取值:missing_provider(没有提供商覆盖该网站)、insufficient_coverage(存在,但数据对该市场或细分领域薄弱、过时或不完整)、provider_unavailable(无法调用)、other。
  • --capability-feedback 是一个 JSON 数组,元素为 {name, provider, issue, why, requestedFunctionality?},用于缺失、错误或失败的能力。issue 取值:new_capability_request(请求提供商新增,需提供 requestedFunctionality)、missing_capability(提供商存在但缺少该能力)、insufficient_functionality(存在但无法接受所需输入或筛选)、incorrect_result、execution_error、other。name 和 provider 需与发现返回的完全一致;对于尚不存在的能力,写出它应该叫什么。

评分应诚实:工具满足需求时评 good,部分满足或有缺口时评 partial,没有可用工具满足或运行结果错误/失败时评 bad。每种评分获得相同退款。

退款上限

  • 网站退款上限(每个网站每个 UTC 日,默认 10 积分):超过后,该网站的反馈仍会记录但不退款,响应中 websiteCapReached: true。其他网站的反馈仍会退款。
  • 每日退款上限(每个团队每个 UTC 日,默认 100 积分):超过后,反馈仍会记录但不退款。响应包含 creditsRefundedToday、dailyRefundCap 和 dailyCapReached。当 dailyCapReached: true 时,当天剩余时间停止发送 Alexandria 反馈。

--silent & 是推荐模式:即使失败也退出码 0,因此被拒绝的调用不会导致流水线崩溃。

示例:每个网站发送一次,在最后一次 Alexandria 调用后 20 分钟内。用实际发生的情况替换占位符;当没有该层级要报告的内容时,去掉 --provider-feedback 或 --capability-feedback。

firecrawl alexandria feedback
--rating "<good|partial|bad>"
--url "https://sam.gov"
--requested-functionality "Active contracts by agency with their attachments"
--objective "Shortlist federal IT contracts to bid on this quarter"
--rationale "sam-gov/contracts returned the contract list, but no capability exposes attachment links, so those were scraped from the web instead."
--capability-feedback '[{"name":"attachments","provider":"sam-gov","issue":"new_capability_request","why":"Attachments were the point of the task","requestedFunctionality":"Given a contract ID, return attachment URLs and document text"}]'
--silent &

如果报告某个网站没有提供商覆盖,使用 --provider-feedback '[{"name":"<site or provider>","issue":"missing_provider","why":"<what was needed>"}]' 并评 bad;这是用于引入新提供商的信号。

--silent 抑制输出,& 在后台运行,因此反馈不会阻塞你。运行 firecrawl alexandria feedback --help 查看所有选项。

适用场景 适用于需要通过现成工作流、数据 API 和索引直接获取结构化数据的任务,尤其是当普通网页搜索或抓取不足以获得所需结构化数据时。

限制 反馈必须在最近一次 Alexandria 调用后 20 分钟内发送;存在网站和团队每日退款上限;可通过环境变量或服务端设置选择退出反馈。