SuperAPI AI 工具集

analyzing-threat-intelligence-feeds

安全与审计

查看项目

更新于 10-15 13:55

技能介绍

用途

本技能用于分析结构化和非结构化的威胁情报源,提取可操作的指标(IOC)、攻击者战术与战役上下文。典型使用场景包括:

  • 接入新的商业或 OSINT 威胁情报源,评估其信噪比
  • 将异构 IOC 格式(STIX 2.1、OpenIOC、YARA、Sigma)归一化为统一模式
  • 评估情报源的新鲜度、保真度以及与组织威胁画像的相关性
  • 构建自动化富化流水线,将 IOC 与 SIEM 事件关联

不适用场景:原始数据包捕获分析,或在未建立 CTI 基线前进行实时事件分诊。

前置条件

  • 可访问威胁情报平台(TIP),如 ThreatConnect、MISP 或 OpenCTI
  • 至少一个商业情报源的 API 密钥(Recorded Future、Mandiant Advantage 或 VirusTotal Enterprise)
  • TAXII 2.1 客户端库(taxii2-client Python 包或等效工具)
  • 对 TIP 指标数据库具有读写权限的角色

工作流程

步骤 1:枚举并优先排序情报源

按类型列出所有可用情报源(商业、政府、ISAC、OSINT):

  • 商业:Recorded Future、Mandiant Advantage、CrowdStrike Falcon Intelligence
  • 政府:CISA AIS(Automated Indicator Sharing)、FBI InfraGard、MS-ISAC
  • OSINT:AlienVault OTX、Abuse.ch、PhishTank、Emerging Threats

对每个情报源按更新频率、历史准确率、对本行业的覆盖度、归因深度进行评分。使用加权评分矩阵,评分标准参考 NIST SP 800-150(Guide to Cyber Threat Information Sharing)。

步骤 2:通过 TAXII 2.1 或 API 接入

对于支持 TAXII 的情报源:

taxii2-client discover https://feed.example.com/taxii/
taxii2-client get-collection --collection-id <id> --since 2024-01-01

对于 REST API 情报源(如 Recorded Future):

  • 查询 /v2/indicator/search,使用 risk_score_min=65 过滤低置信度 IOC
  • 应用速率限制和指数退避以保证 API 韧性

步骤 3:归一化为 STIX 2.1

使用 OASIS 标准模式将每个 IOC 转换为 STIX 2.1 对象:

  • IP 地址 → indicator 对象,pattern: "[ipv4-addr:value = '...']"
  • 域名 → indicator,pattern: "[domain-name:value = '...']"
  • 文件哈希 → indicator,pattern: "[file:hashes.SHA-256 = '...']"

附加 relationship 对象,将 indicator 关联到 threat-actor 或 malware 对象。根据来源保真度评级设置 confidence 字段(0–100)。

步骤 4:去重与富化

以归一化值 + 类型作为复合键,对现有 TIP 数据库执行去重。对保留下来的 IOC 进行富化:

  • VirusTotal:检出率、沙箱行为报告
  • PassiveTotal(RiskIQ):WHOIS 历史、被动 DNS、SSL 证书链
  • Shodan:banner 数据、开放端口、地理位置

步骤 5:分发到消费系统

通过 TAXII 2.1 push 将富化后的指标导出到 SIEM(Splunk、Microsoft Sentinel)、防火墙(Palo Alto XSOAR playbooks)和 EDR 平台。按指标类型设置 TTL(生存时间):IP 地址 30 天,域名 90 天,文件哈希 1 年。

关键概念

  • STIX 2.1:Structured Threat Information Expression,OASIS 标准 JSON 模式,用于 CTI 对象,包括指标、威胁行为者、战役和关系。
  • TAXII 2.1:Trusted Automated eXchange of Intelligence Information,基于 HTTPS 的协议,用于在服务器和客户端之间共享 STIX 内容。
  • IOC:Indicator of Compromise,妥协指标,指表明系统可能已被入侵的可观测痕迹(IP、域名、哈希、URL)。
  • TLP:Traffic Light Protocol,红绿灯协议,用颜色分类(RED/AMBER/GREEN/WHITE)定义 CTI 的共享限制。
  • Confidence Score:置信度分数,STIX 中 0–100 的数值,反映生产者对指标恶意归因的确定性。
  • Feed Fidelity:情报源保真度,通过生产检测中的真阳性率衡量的历史准确率。

工具与系统

  • ThreatConnect TC Exchange:聚合 100+ 商业和 OSINT 情报源;提供 IOC 富化的自动化 playbooks。
  • MISP(Malware Information Sharing Platform):开源 TIP,支持 STIX/TAXII;被 ISAC 和政府 CERT 广泛使用。
  • OpenCTI:开源平台,原生集成 MITRE ATT&CK,提供基于图的关系可视化。
  • Recorded Future:商业情报源,具备 AI 驱动的风险评分和实时暗网监控。
  • taxii2-client:用于 TAXII 2.0/2.1 客户端操作的 Python 库(pip install taxii2-client)。
  • PyMISP:用于 MISP 情报源管理和 IOC 提交的 Python API。

常见陷阱

  • IOC 时效陈旧:IP 地址和域名轮换频繁;应用一年前的 IOC 会产生误报。应强制执行 TTL 策略。
  • 缺少上下文:在不了解关联战役或攻击者的情况下封锁 IOC,可能中断合法业务流量(例如与恶意行为者共享的 CDN IP)。
  • 情报源重叠但未去重:从五个情报源接入同一 IOC 而不去重,会虚增指标数量并增加 SIEM 规则复杂度。
  • 违反 TLP:将 RED 级情报再分发到授权边界之外,违反共享协议和信任关系。
  • 对低置信度指标过度封锁:置信度低于 50 的指标应触发仅检测规则而非封锁,以避免运营中断。