用途:从主流新闻平台提取文章正文、标题、作者、发布时间及图片/视频链接,输出结构化的 JSON 和 Markdown 文件,适合内容整理、研究资料归档等场景。
主要能力:自动检测 URL 所属平台;支持 12 个平台(微信公众号、今日头条、网易新闻、搜狐新闻、腾讯新闻、BBC、CNN、Twitter/X、Lenny's Newsletter、Naver Blog、Detik、Quora);可指定输出目录与格式(JSON、Markdown 或两者);Twitter 受保护推文可通过 --cookie 传入认证信息;提供 --list-platforms 列出支持平台。
使用方式:本技能遵循 Agent Skills 规范,包含完整 SKILL.md、脚本与依赖,独立可迁移。运行需 Python 3.9+、uv 和目标站点网络访问。首次使用在 news-extractor 目录执行 uv sync 安装依赖(pydantic、requests、curl_cffi、tenacity、parsel、demjson3)。所有脚本须用 uv run 执行,不要直接用 python。基本命令:uv run scripts/extract_news.py "URL";可选参数 --output ./output 指定目录,--format json 或 --format markdown 指定格式,--cookie "auth_token=xxx; ct0=yyy" 用于 Twitter 受保护推文。默认输出 {news_id}.json 和 {news_id}.md 到 ./output。
限制:仅支持列出的 12 个平台;无法识别平台、提取失败或认证失败时会报错,需检查 URL、重试或重新获取 Cookie;微信公众号可能需有效 Cookie,Twitter 公开推文无需认证,受保护推文需 Cookie。资料仅用于教育和研究目的,不应大规模爬取,须尊重目标网站 robots.txt 和服务条款。官方未提供收费、价格及效果数据。