SuperAPI AI 工具集

link-scraper

通用与其它

查看项目

更新于 10-16 04:30

技能介绍

Link Scraper 是一个网页抓取与内容总结技能,用于让智能体从 URL 获取信息。适用场景包括:用户分享链接并希望了解内容、需要从网页收集资料、提取文档或技术内容、总结博客/新闻/论文,以及提取代码片段或示例。

主要能力:抓取网页并提取正文,自动生成简洁摘要;可返回标题、描述、正文、字数、链接、图片、站点名称等字段;摘要模式下返回 summary、keyPoints、wordCount、readTime。支持一次抓取多个 URL,也支持仅取标题、取完整内容(不总结)以及用 CSS 选择器提取特定元素。

使用方式:无需额外安装,使用内置 Node.js 模块和 cheerio 解析 HTML;若 cheerio 不可用,则回退到基于正则的提取。常用命令: node /job/.pi/skills/link-scraper/scrape.js "https://example.com/article" 多 URL:node /job/.pi/skills/link-scraper/scrape.js "https://example.com/page1" "https://example.com/page2" 仅标题:node /job/.pi/skills/link-scraper/scrape.js --title "https://example.com" 完整内容:node /job/.pi/skills/link-scraper/scrape.js --full "https://example.com" 选择器:node /job/.pi/skills/link-scraper/scrape.js --selector "article" "https://example.com/blog"

限制:无法抓取需要密码保护的页面;部分站点会阻止抓取,可能需要 browser-tools 作为回退;大页面可能因 token 限制被截断;JavaScript 渲染的内容可能无法获取,需使用 browser-tools。其他集成与具体配置暂未提供。