SuperAPI AI 工具集

news-extractor

通用与其它

查看项目

更新于 10-16 01:34

技能介绍

用途:从主流新闻平台提取文章正文,生成结构化 JSON 与 Markdown,便于后续处理、归档或阅读。支持微信公众号(wechat)、今日头条(toutiao)、网易新闻(netease)、搜狐新闻(sohu)、腾讯新闻(tencent)。

主要能力:根据 URL 自动检测平台,调用对应爬虫解析内容,输出标题、链接、ID、作者与发布时间等元信息,以及分段正文、图片和视频等媒体资源。可仅输出 JSON 或仅输出 Markdown,也能列出支持的平台。默认输出 {news_id}.json 与 {news_id}.md 到指定目录(默认 ./output)。

使用方式:依赖用 uv 管理,首次使用先执行 cd ~/.claude/skills/news-extractor 与 uv sync。所有脚本必须通过 uv run 执行,不要直接用 python。基本命令:uv run .claude/skills/news-extractor/scripts/extract_news.py "URL";可用 --output 指定输出目录,用 --format json 或 --format markdown 限定输出格式,用 --list-platforms 查看支持平台。

依赖:pydantic、requests、curl_cffi、tenacity、parsel、demjson3。

限制:仅支持列出的新闻站点,URL 不匹配会提示无法识别平台;提取失败可能因网络错误或页面结构变化,可重试或检查 URL;微信公众号可能需要有效 Cookie,当前默认配置通常可用。设计上仅用于教育和研究目的,不应进行大规模爬取,并需尊重目标网站的 robots.txt 与服务条款。未提供收费、价格或平台运行环境等其他信息。