SuperAPI AI 工具集

regulationsgov-comments-fetch

数据与分析

查看项目

更新于 10-16 04:57

技能介绍

用途:从 https://api.regulations.gov/v4/comments 抓取评论数据,按可配置时间窗口(lastModifiedDate 或 postedDate)筛选,可附加 agencyId、commentOnId、searchTerm 等条件;返回机器可读 JSON,并可选本地保存 JSONL 记录,配合结构化日志与日志文件保持可观测。

主要能力:使用认证请求访问评论列表这一单一原子端点;支持分页、重试、限流与传输校验。内置健壮性包括对 429/500/502/503/504 的指数退避重试,遵守 Retry-After 并在超过配置上限时停止,请求间设最小间隔限流;安全上限由 --max-pages(受 REGGOV_MAX_PAGES_PER_RUN 限制)与 --max-records(受 REGGOV_MAX_RECORDS_PER_RUN 限制)约束。校验涵盖 HTTP/content-type、UTF-8 与 JSON 解析、JSON:API 风格 data/meta 结构、评论项字段(id、type、时间格式),并可用 --quarantine-dir 隔离异常数据。

使用方式:先从 assets/config.example.env 配置运行时环境变量,运行前加载:set -a; source assets/config.example.env; set +a。校验配置:python3 scripts/regulationsgov_comments_fetch.py check-config --pretty。干跑验证查询参数(不发起远程调用):python3 scripts/regulationsgov_comments_fetch.py fetch --filter-mode last-modified --start-datetime 2026-03-10T00:00:00Z --end-datetime 2026-03-10T23:59:59Z --max-pages 2 --dry-run --pretty。正式抓取时在 fetch 下使用 --filter-mode、时间窗口、--agency-id、--max-pages、--max-records、--output-dir、--quarantine-dir、--log-level、--log-file、--pretty 等参数。在 OpenClaw 中以 $regulationsgov-comments-fetch 调用,每次调用处理一个配置窗口,需要周期性轮询时由外部编排重复调用。

适用场景:按时间窗口采集 Regulations.gov 评论、做质量门校验(检查 validation_summary.total_issue_count 与 stop_reason)、为下游集成提供 JSON 或 JSONL 产物。

限制:仅实现评论列表抓取这一原子端点,不内置调度/轮询循环;一次调用仅对应一个配置窗口;需要认证环境变量;分页与记录数受环境上限约束。更多配置、API 说明与限制见 references/env.md、references/regulationsgov-api-notes.md、references/regulationsgov-limitations.md、references/openclaw-chaining-templates.md。