SuperAPI AI 工具集

coze-web-fetch

编程与开发

查看项目

更新于 10-16 05:47

技能介绍

用途:通过 coze-coding-dev-sdk 从 URL 抓取并提取结构化内容,支持单条或多条 URL。

主要能力:提取三类内容——text(页面文本)、image(图片 URL 及展示信息)、link(超链接);支持网页(html/htm 或任意 URL)、PDF、Office 文档(doc/docx/ppt/pptx/xls/xlsx/csv)、文本文件(txt/text)、电子书(epub/mobi)、XML 及图片(jpg/png/gif/webp 等)。PDF 与 Office 文档会自动解析,图片会重新签名以便安全访问。

使用方式(命令保持原样): 基本抓取:npx ts-node {baseDir}/scripts/fetch.ts -u "https://example.com/article" 多条 URL:npx ts-node {baseDir}/scripts/fetch.ts -u "https://example.com/page1" -u "https://example.com/page2" Markdown 输出:npx ts-node {baseDir}/scripts/fetch.ts -u "https://docs.python.org/3/tutorial/" --format markdown JSON 输出:npx ts-node {baseDir}/scripts/fetch.ts -u "https://example.com/document.pdf" --format json 仅文本:npx ts-node {baseDir}/scripts/fetch.ts -u "https://example.com/article" --text-only

脚本选项:-u/--url 为必填且可重复;--format 可选 json、text、markdown,默认 text;--text-only 仅提取文本;--help 显示帮助。

适用场景:需要通过命令行批量抓取网页或文档内容并转为结构化文本时使用。

限制:资料未提供具体收费、价格、平台兼容范围、性能或抓取效果等信息;仅文本需求时建议使用 --text-only 获得更简洁输出。