用途:该技能用于网页抓取与数据提取,基于 nu-shell 和浏览器工具实现。
主要能力:使用 http get 获取网页 HTML;通过 query web 插件以 CSS 选择器提取文本、属性和表格数据;对 JSON API 使用 http get 配合 from json 解析;对需要 JavaScript 执行或复杂 DOM 交互的页面,使用浏览器自动化工具抓取动态内容。
使用方式:需先安装 nu-shell(nu),并安装 query web 插件:nu -c "plugin add query web";动态内容需在智能体配置中启用浏览器扩展。常见命令包括:nu -c 'http get https://example.com';nu -c 'http get https://example.com | query web -q "h1, h2" | str trim';nu -c 'http get https://example.com | query web -a href "a"';nu -c 'http get https://example.com/table-page | query web --as-table ["Column1" "Column2"]'。API 调用示例:nu -c 'http get https://api.example.com/data | from json';nu -c 'http post https://api.example.com/submit -t application/json {key: value}'。认证支持基本认证 -u username:password、Bearer 令牌及自定义请求头。可通过 sleep 1sec 添加请求间隔,或用 par-each 并行抓取。动态内容使用 start-browser、navigate-browser、evaluate-javascript、take-screenshot、query-html-elements 等工具。
适用场景:从静态网站提取标题、链接、价格等数据;查询 JSON API;抓取需要 JavaScript 渲染的动态页面。
限制:静态站点建议直接用 http get,浏览器工具保留给动态内容;需遵守目标站点的抓取规则与速率限制。其他细节暂未提供。