用途:在每周 Trend Scout 运行开始时,从 ops/trend-scout/watchlist.md 中读取所有监控来源,抓取最近 7 天的更新内容,为后续排名与摘要提供原始素材。
主要能力:按 source_type 分组处理;对博客抓取归档 URL 并提取近 7 天文章;对论文聚合器抓取列表页并过滤近 7 天;对 X 账号和 subreddit 抓取公开 URL;对每条内容做规范化,按 URL 去重,最终写入 .cache/YYYY-WW-raw.jsonl。
使用方式:按工作流步骤执行——解析 watchlist、分组、逐类抓取、规范化、去重、写缓存。时间窗口为 7 天(时区容差 +1 天)。
限制与护栏:每次运行最多 60 个 URL,超出则分两批并标记;遇到 429 需退避,每个来源最多重试两次;不得用抓取内容修改 watchlist(那是 update-watchlist 的职责);某来源连续 3 周以上失败需在输出中提示,供月度移除;只抓归档 URL,不抓单篇文章全文,摘录级信息足够排名,全文抓取由后续 summarize-signal 处理。
初始 watchlist 约 35 条,按类型聚类,约 15 条标记 essential: true,约 20 条 essential: false(抽样)。具体来源清单与配置细节以实际 watchlist.md 为准。