用途:从多个公开新闻发布方与 GDELT 收集近期新闻,生成带日期的简报,附来源链接,并明确区分报道内容与推断。适用于汇总某话题、公司、人物或事件的近期报道,比较不同媒体对同一事件的框架,在限定时间窗内追踪报道量、情感、实体或时间线,以及查找原始文章页与实时更新。
工作流程:搜索前先定义主题词、地域、语言、日期窗口、来源集合与更新截止时间;标题查询不等于完整新闻语料。分别检索 GDELT 与各发布方端点,按规范 URL、标题、发布方和发布时间去重,同时保留能提供不同报道的转载版本。优先使用原始文章,记录发布时间/更新时间、作者、媒体、URL,并标注该条目是评论、实时更新还是报道。跨来源比较说法,标注未经证实的指控、更正、缺失背景和模型生成的摘要;不要从共现或报道量推断因果关系。
用法示例: scripts/crawlora.sh /gdelt/search query="semiconductor exports" | jq '.' scripts/crawlora.sh /bbc/search query="semiconductor exports" | jq '.' scripts/crawlora.sh /cnn/search query="semiconductor exports" | jq '.' scripts/crawlora.sh /guardian/search query="semiconductor exports" | jq '.' scripts/crawlora.sh /yahoo-news/search query="semiconductor exports" | jq '.'
限制:仅限公开文章与订阅源,不绕过付费墙、不访问私有账户、不执行发布操作。各来源的搜索索引因地区与时效而异,应说明采集窗口与覆盖范围,而非称结果穷尽。引用从简,链接原始页面,保留更正或更新。情感与实体抽取应视为来源衍生的信号,而非事实。完整端点列表见 reference/endpoints.md。