用途:从应用日志(注册流程与认证流程)中做基于规则的反欺诈检测,面向金融科技场景,识别机器人、撞库、速度滥用等行为,并可对日志做 GDPR 个人信息暴露审计。
主要能力:采用四层架构——LogFileReader(遍历目录、解压 .gz、逐行读取)、LogParser(正则提取为注册事件/认证事件的 dataclass)、SessionAggregator(按 token、IP、设备、邮箱分组并计算特征)、RuleEngine 与报告(评估规则,输出 Markdown 与 CSV)。规则分三类:欺诈速度(注册 R1-R12、认证 A1-A13)、机器人识别(R13-R17、A14-A19)、行为分析(R18-R22、A20-A25),另有 GDPR 个人信息扫描,贯穿两类脚本。输出 report_YYYYMMDD_HHMMSS.md(摘要表、严重级别分布、含日志证据的详细告警)与 alerts_YYYYMMDD_HHMMSS.csv(每行一条告警,可导入 SIEM/工单系统)。
使用方式:需 Python 3.10+,标准库足够,唯一 pip 依赖为 pandas,tabulate 可选。示例命令:python registration_fraud.py examples/epa-registration/ --mode discover --output reports/ ;python registration_fraud.py /path/to/new-day-logs/ --config config/registration_rules.json --output reports/ ;认证脚本同模式。规则阈值放在外部 JSON 配置中,可不改代码调整。
适用场景:为注册或认证日志构建欺诈检测脚本、分析 K8s 应用日志中的可疑行为、从结构化日志检测机器人与凭证填充、审计日志中的未脱敏邮箱/手机/姓名、设计可调阈值规则引擎、为安全团队生成告警报告。
限制:明确不用于机器学习欺诈评分(应改用 ai-ml-data-science)、应用安全加固(OWASP、认证实现)、基础设施日志分析(访问日志、防火墙、WAF)与实时流式检测。适用中等数据量(约每天 5 万条)。已知问题包括多行日志条目、重复日志行、脱敏数据降低关联能力、不同时间戳格式(注册用逗号、认证用点表示毫秒)、跨节点关联盲区、内部扫描器噪音,以及报告中个人信息泄露风险。