SuperAPI AI 工具集

firecrawl-developer-index

编程与开发

查看项目

更新于 11-02 09:13

技能介绍

Firecrawl Developer Index 是一个面向编程问题的开发者资料索引检索工具。它的目标是尽量从一手来源回答问题,例如 bug 被报告的 issue、修复该问题的已合并 pull request、规定接口行为的 README 或文档页面,而不是依赖二手博客描述。索引中的仓库部分只覆盖公开仓库,私有或内部仓库不在其中;涉及私有代码的问题需要直接阅读代码。

主要能力 通过三种界面调用检索:HTTP(GET|POST https://api.firecrawl.dev/v2/search/developer)、MCP(firecrawl_developer_search(query, k?, skills?))和 CLI(firecrawl developer <query> [--limit <n>])。它会在整个索引上返回排序结果,每条结果包含 id(如 issue:owner/repo#123)、url 以及 markdown 格式的匹配段落,表格和代码块会保留。id 前缀表示结果类型:doc:、issue:、pull_request: 或 readme:。k 或 --limit 取值 1–100,默认 10;skills="only" 仅适用于 HTTP/MCP,用于把搜索限制在 agent skill 文件。该接口可无密钥使用,发送 Authorization: Bearer $FIRECRAWL_API_KEY 可获得更高速率限制。

另有 firecrawl_search(query, categories: ["developer"])(MCP)或 firecrawl search <query> --categories developer(CLI),在普通网页搜索的同一调用中附带开发者结果组,每条带 url、title、description(匹配段落)、position 和 category:"developer"。它不提供筛选条件和段落控制。普通抓取与搜索(firecrawl_scrape(url) / firecrawl_search(query),CLI 为 firecrawl scrape <url> / firecrawl search <query>)用于一手来源未覆盖的内容,例如库之间的比较、故障事件、迁移说明,或没有公开仓库和已收录文档的项目;也可在命中正确页面后抓取完整内容。

筛选条件 筛选仅由 HTTP 界面支持。GET 时用 types=issue,pull_request 或重复参数;POST 时传数组。所有筛选均为可选。 types 指定搜索 doc、issue、pull_request、readme 中的哪些,默认全部四种,收窄范围是锐化查询成本最低的方式。repos(owner/name)限定仓库部分,即 issue、pull_request、readme;sources(文档来源 id,最多 20 个)限定文档部分,即 doc;同时传入两者时取并集而非交集。响应会回显两者并带 indexed: true|false,用于区分“不在索引中”和“没有找到结果”。若筛选条件无法匹配任何请求类型(例如 types 不含仓库类型却传 repos,或不含 doc 却传 sources),会返回 400 而不是空列表。passages(1–5,默认 1)是每条结果返回的最大段落数,不是保证值;当某个页面明显正确但第一段不是所需部分时可以提高。language、topic、license、min_stars、max_stars、archived、fork 用于描述仓库;索引中的多数文档页面没有对应仓库,因此任何仓库事实都无法纳入或排除它们。若发送这些条件而不带 sources 范围,响应只包含仓库证据(issue、pull_request、readme),这是设计行为,不应重试或报告索引故障;要保留文档,可去掉仓库筛选,或用 sources 限定文档部分并读取 sources 回显确认 id 已收录。

按问题类型选择做法 字面报错或堆栈字符串:直接搜索该字符串加库名,types 设为 ["issue","pull_request"];若无匹配,去掉路径、行号、id、地址等易变部分后重试,索引中的是不变的中段内容。概念性“如何做 X”:用完整自然语言问题,四种类型全开;答案通常是 doc 或 readme,优先提高 passages 而不是 k。已知 bug:issue 报告问题,已合并 PR 修复问题;先搜 types=["issue","pull_request"],再用该 issue 自身术语限定其仓库、types=["pull_request"] 重新查询,合并 PR 的段落会说明改了什么以及方向。API 约定(“X 返回什么”“Y 是否必需”“默认值是什么”):readme 和 doc 具有权威性,博客不是;用 types=["readme","doc"],若约定疑似变动,再用 pull_request 追查变动。版本相关行为:issue 的初始报告描述的是出问题的版本,其解决结果取代它;提高 passages 查看更深的讨论,阅读解决结果和关联 PR 后再回答,绝不要只凭初始报告作答。限定单个库:知道 slug 时用 repos=["owner/name"],并可同时用 sources 纳入其文档;若限定搜索为空,先看回显的 indexed 标志,false 表示该仓库或来源中不可能有任何命中,改写无济于事,应去掉限定搜索整个索引或转向网页。生态范围问题(“哪些库做了 X”“还有谁遇到这个”):不加范围,用 language / topic / min_stars 保持仓库活跃度,但要接受因此失去所有 doc 结果。agent skill 与工具约定:skills="only"(仅 HTTP/MCP)。比较、观点、新闻或未收录项目:使用开放网页,先 firecrawl_search,再对值得完整阅读的内容 firecrawl_scrape;经常可以组合使用:从索引获取约定,从网页获取权衡。

使用原则 引用段落并附上 url;段落是证据,应原样交给读者而不是转述为无法核实的说法。doc 结果的 title 常缺失,可回退到 url。合并结果取代报告:当 issue 与 pull request 冲突时,已合并 PR 代表当前行为,并说明读的是哪一个。范围限定放在最后而非最先:先搜索整个索引,了解命中情况后再用 types、repos 或 sources 收窄,先限定可能隐藏告诉你该去哪找的结果。当索引没有可用信息时转向网页;权衡、生态观点以及未收录项目都属于网页问题,不要强行通过索引,也不要把普通网页包装成一手来源。

适用场景与限制 适合排查具体报错、核对 API 约定、追踪已修复缺陷、确认版本差异,以及在一定范围内调研公共仓库生态。限制包括:不覆盖私有或内部仓库;仓库描述类筛选会排除文档结果;sources 最多 20 个;部分筛选组合返回 400;MCP/CLI 的 developer 分类搜索没有筛选和段落控制;比较、新闻、观点和未收录项目仍需普通网页搜索。

另见 firecrawl-build-search,用于把开发者索引构建进应用而不是在此查询。