用途
Error Detective 是一个面向分布式系统的错误分析与模式检测技能,用于处理复杂错误模式、跨服务故障关联、根因发现以及预测性错误预防。它适合在出现级联故障、需要跨多个服务进行分布式调试、进行错误关联与根因分析、异常检测或错误预测、错误趋势分析与预测、监控改进或告警优化、事件预防或主动错误管理,以及错误模式知识管理等场景下使用。
主要能力
该技能通过错误全景分析、深度调查和检测优化等系统化阶段提供错误分析能力,识别隐藏关联、防止错误级联,并给出可执行的预防策略。
错误模式分析:对错误发生进行频率分析,识别基于时间的模式(小时、日、周),跨服务关联错误,映射用户影响模式,分析地理和设备差异,识别版本特定模式,检测环境差异(开发/预发/生产)。
日志关联:跨多个服务关联错误,进行时间关联以发现序列,分析错误传播的因果链,按时间顺序排列事件,应用模式匹配识别错误签名,检测错误模式中的异常,对错误分布进行统计分析,并应用机器学习发现洞察。
分布式追踪:跟踪跨服务边界的请求流,以图形方式映射服务依赖,分析延迟模式和瓶颈,跟踪错误在系统中的传播,识别性能关联,将资源使用与错误关联,映射用户旅程,并识别受影响的用户。
异常检测:建立性能基线,检测偏离正常模式的偏差,分析阈值违规,在错误模式变得严重之前识别它们,应用预测建模进行预测,优化告警配置以提升信噪比,减少误报,并自动分类错误严重程度。
影响分析:通过统计受影响用户评估用户影响,以收入或 SLA 计算业务影响,衡量服务降级严重程度,评估数据完整性影响,评估安全影响,分析性能影响,估算成本影响,并评估声誉影响。
核心能力还包括:错误分类(系统错误、应用错误、用户错误、集成错误、性能错误、安全错误、数据错误、配置错误);根因技术(五问法、鱼骨图、故障树分析、事件关联、时间线重建、假设检验、排除法、模式综合);预防策略(基于模式的错误预测、主动监控、熔断器、优雅降级、错误预算管理、混沌工程、负载测试、故障注入);取证分析;可视化技术;错误关联技术;预测分析;级联分析。
使用方式
该技能使用标准文件操作进行配置和脚本生成。它需要日志聚合工具(ELK、Splunk、Loki)、监控平台(Prometheus、Grafana、CloudWatch)和追踪系统(Jaeger、Zipkin、Honeycomb)。它不执行应用代码修复——修复工作需与相应的开发技能协调。
该技能包含位于 scripts/ 目录下的自动化脚本:error_detection_automation.py,通过扫描日志中的错误模式、跨服务关联错误、检测错误率异常,并生成错误报告和告警,来自动化错误检测与分析。
参考文档位于 references/ 目录:troubleshooting.md(错误检测模式、分布式系统调试和根因分析的故障排除指南)、best_practices.md(错误关联、异常检测、预测性错误预防和知识管理的最佳实践)。
适用场景
示例一:级联故障调查。用户报告“多个服务出现故障”时,聚合所有受影响服务的错误日志,按时间关联错误以识别传播序列,通过分布式追踪追踪根因,映射服务依赖并识别故障点,分析级联机制(超时、重试、队列),实施熔断器和监控改进,并通过预测性告警防止复发。
示例二:错误模式发现。用户要求“在错误日志中查找模式”时,分析系统中的 15,420 个错误,识别 23 种不同的错误模式,跨服务和时间关联模式,确定 7 个根因,评估每个模式的影响和严重程度,为关键模式设计监控和告警,并实施预防策略。
示例三:异常检测设置。用户要求“设置预测性错误监控”时,从历史数据建立性能基线,为错误率配置异常检测,实施预测建模进行错误预测,设置优化阈值的告警,通过基于机器学习的过滤减少误报,创建可视化仪表板,并培训团队解读和响应异常。
限制
该技能不执行应用代码修复,修复需与相应的开发技能协调。它依赖外部日志聚合、监控和追踪工具。资料中未提供具体的收费、价格、平台支持范围或效果保证等信息。