SuperAPI AI 工具集

url-fetcher

通用与其它

查看项目

更新于 10-16 03:42

技能介绍

用途:这是一个用于抓取网页并提取干净文本内容的工具,适合阅读文章、文档、招聘信息等网页内容。

主要能力:提供 fetch_url_content(url, include_html=False, max_length=50000) 方法。url 参数必填,须以 http:// 或 https:// 开头;include_html 默认 False,设为 True 时在响应中包含原始 HTML;max_length 默认 50000,控制提取文本的最大字符长度。工具会自动剥离导航、脚本和样板 HTML,并提取页面标题与正文文本。

使用方式:需要阅读网页内容时调用该函数并传入目标 URL。仅在需要分析页面结构时才使用 include_html=True;若只需快速摘要或页面开头部分,可调低 max_length。

错误处理:当 URL 不可达、超时(30 秒)或返回非 200 状态码时,会返回错误 JSON;使用内容前应始终检查响应中的 success 字段。

引用格式:展示抓取页面信息时,需将每条具体论断包裹在 <cite> 标签中,格式为 <cite source="SOURCE_TITLE" url="URL">claim text</cite>。其中 source 属性填写页面标题或站点名称,url 属性填写被抓取的 URL。事实性论断、统计数据、引文和具体信息需加引用;不要引用自身推理或通用知识;引用数量以支撑论断所需的最小数量为准。

限制:单次抓取有 30 秒超时限制,文本提取长度受 max_length 约束;具体支持的网页类型、并发能力和代理配置等资料暂未提供。