用途:从网页、API 和数据库收集并综合信息,将研究结果整理为结构化报告,适合安全漏洞调研、威胁情报汇总和主题资料整理。
主要能力:抓取并解析网页内容(HTML、JSON、XML);查询 NVD、MITRE ATT&CK 等 API 获取结构化数据;监控 RSS/Atom 安全资讯源;维护来源引用;生成 Markdown 研究报告;提供文件缓存与限速机制。
使用方式:基于 Python,使用 requests、BeautifulSoup、feedparser 等库。示例包括 extract_page_content(url) 抓取网页、search_nvd_cves(keyword, cvss_severity, days_back) 查询 NVD、fetch_feed(feed_url, limit) 解析订阅源、get_attack_techniques(tactic, platform) 查询 ATT&CK、generate_research_report(topic, findings, sources) 生成报告。可通过环境变量 RESEARCH_CACHE_DIR、RESEARCH_CACHE_TTL、RESEARCH_RATE_LIMIT、NVD_API_KEY 配置缓存、限速和 API 密钥;脚本选项包括 --query、--source、--output、--format(json、markdown、csv)。
适用场景:漏洞与 CVE 调研、威胁行为体研究、安全新闻聚合、技术主题资料汇编。
限制:外部 API 有限速;缓存数据可能过期;部分来源需认证或订阅;JavaScript 动态渲染页面可能无法正确提取;需遵守 robots.txt 与服务条款。遇到 403 应设置合适请求头并限速,遇到 429 可采用指数退避。