SuperAPI AI 工具集

vs-crawler

通用与其它

查看项目

更新于 10-16 06:44

技能介绍

用途:当用户希望抓取网站内容并导入 Viking AI Search 构建可搜索知识库时使用,覆盖新闻站、博客、学术论文、GitHub 仓库、产品文档、RSS 等来源。若用户已有本地文件或需从数据库导入,应直接用 vs-item-onboarding,不使用本技能。

主要能力:由智能体针对目标站点编写爬虫代码,输出固定 schema 的 JSONL(每行一条扁平 JSON 记录),字段含必填 id、title、summary、content、category、source,以及可选 author、published_at、tags、language、source_url、metadata。category 只能取 news、blog、paper、github、docs、other。metadata 仅允许标准键(read_time、word_count、views、likes、comments、shares、stars、forks、citations、venue、doi),值须为扁平标量,不得自定义键。content 须去除 HTML 转为纯文本;PDF/DOC 需下载并抽取正文写入 content。

使用方式:先确认一次性抓取还是定时抓取(请求含糊时必须询问,不得默认一次性)。爬虫输出到 /tmp/viking/crawler/<job-name>/items.jsonl;定时模式用 state.json 记录游标做增量抓取并按 id 去重。随后调用 vs-item-onboarding 完成数据集创建、schema 推断、导入与应用创建,并要求自动确认 schema、创建应用并挂载数据集。定时模式再配置 cron 或 launchd 包装脚本,JSONL 连接器会自动导入新增行。前置条件:vs CLI >= 0.2.0 已安装并认证,目标可达,建议 Python 3.8+ 与 requests、beautifulsoup4。

限制:不得写入原始 HTML;不得硬编码凭据;id 必须确定性;时间须 ISO 8601;须遵守 robots.txt 并加 1-3 秒延迟;数据集创建与导入必须经 vs-item-onboarding,不得直接调用 vs dataset create 等;执行具体 vs 命令前先咨询 vs-product-qa;不要轮询等待 Ready,由用户自行查看控制台链接。具体收费、价格与效果资料暂未提供。