用途:按出版商来源检索和读取公开新闻内容,返回规范化 JSON。适合获取某栏目、主题或出版商的最新头条,按文章规范 URL 读取正文与元数据,搜索 Financial Times、Google News,或浏览某出版商的栏目/主题归档,也可查看 BBC/CNN 直播报道或 Foreign Policy 项目/直播页面。若任务需要多源综合、报道时间线或 GDELT 背景,应改用 news-briefing-research。
主要能力:栏目/主题/分类发现接口返回当前可用的 slug;有界头条或搜索页返回规范 URL、发布时间/更新时间、作者与栏目;文章接口按 URL 取全文;部分出版商提供直播、项目或对话类页面。
使用方式:先在 crawlora.net 获取 Crawlora API key,并在运行辅助脚本前设置环境变量 CRAWLORA_API_KEY;脚本从环境读取该变量,请求发往 https://api.crawlora.net/api/v1。示例:scripts/crawlora.sh /nyt/sections | jq '.';scripts/crawlora.sh /nyt/headlines section=world | jq '.';scripts/crawlora.sh /nyt/article url="https://www.nytimes.com/example" | jq '.';scripts/crawlora.sh /ft/search q="semiconductor exports" sort=date | jq '.';scripts/crawlora.sh /reuters/news page=1 | jq '.';scripts/crawlora.sh /foreignpolicy/live | jq '.'。参数细节见 reference/endpoints.md。
适用场景:需要按单一出版商做原生检索、读取公开文章正文、浏览栏目归档或查看直播页面时。
限制:仅限公开出版商内容,订阅专属、计量付费、验证挑战、视频、播客和直播博客页面可能不可用或不完整。应保留来源 URL 与出版商时间戳,不得把有界 feed 当作完整报道,也不得因标题一致就推断真实性。引用从简并链接原文。并非每个出版商都有搜索、文章、作者或发现接口,部分仅提供公开新闻列表;只能使用该媒体返回的栏目/分类值和可用路由,不能承诺从仅头条或列表响应中获得全文。各出版商的归档与分页过滤条件不同。若 HTTP 成功但应用返回错误,或内容被挑战、为空、不完整,应记录实际获取到的内容;文章不可用不等于该报道不存在。栏目发现结果不等于完整归档。