SuperAPI AI 工具集

china-news-crawler

通用与其它

查看项目

更新于 10-16 01:34

技能介绍

用途:从中国主流新闻平台提取文章内容,自动识别平台并输出 JSON 与 Markdown 两种格式,便于内容存档、分析或二次处理。支持微信公众号(wechat)、今日头条(toutiao)、网易新闻(netease)、搜狐新闻(sohu)、腾讯新闻(tencent)。

主要能力:工作流程为接收 URL、平台检测、内容提取、格式转换、输出文件。JSON 结构包含标题、原始链接、文章 ID、作者信息、发布时间、正文内容块(文本/图片/视频)、文本段落列表、图片与视频 URL 列表。Markdown 包含标题、文章信息、正文内容与媒体资源。该 Skill 为独立可迁移设计,包含所需代码,无外部依赖,可直接复制到其他项目使用。

使用方式:命令行运行脚本,基本用法为 uv run .claude/skills/china-news-crawler/scripts/extract_news.py "URL";可用 --output 指定输出目录,--format json 或 --format markdown 选择输出格式,--list-platforms 列出支持平台。默认输出到 ./output,生成 {news_id}.json 与 {news_id}.md。依赖 Python 包:parsel、pydantic、requests、curl-cffi、tenacity、demjson3。

限制:仅支持上述中国新闻站点,非中国站点不适用;URL 不匹配时无法识别平台;网络错误或页面结构变化可能导致提取失败;微信公众号可能需要有效 Cookie(默认配置通常可用)。资料注明仅用于教育和研究目的,不要大规模爬取,需尊重目标网站 robots.txt 与服务条款。具体收费、价格、授权方式暂未提供。